Google Search Consoleでインデックス登録をリクエストしているのに、なぜかまったくクロールされないページがありました。
しかも1ページだけではなく、似た構成の2ページ。
最終的にはページの内容を変えず、スラッグを変更しただけで両方とも速攻でクロールされ、そのままインデックス。
原因まで断定できる話ではないですが、同じような症状で悩んでいる方の参考になるかもしれないので、この記事にまとめておきます。
「検出 - インデックス未登録」のまま動かない
問題が起きていたのは、当サイトで公開しているライブラリの配布ページです。
対象は髪型ライブラリと髪色ライブラリの2ページ。
サーチコンソールから「インデックス登録をリクエスト」を実行。
が、登録されるどころか、クロール自体がされない。
Search ConsoleではURL自体は認識されていて、ステータスは「検出 - インデックス未登録」。
ここだけならよくある話なんですが、気になったのはクロール履歴。
何日待ってもクロールされない。
いやね、クロールしたけど記事内容が低クオリティなのでindexはしない、ってことならまだ納得できるんだけど、今回の場合はそもそも一度もクロールされてない状態。
自分の経験上、ここまでクロールがされないのはおかしいなって感じたんですよ。
ライブテストでは普通に問題なし
最初はページ側に何か問題があるのかと思って、いろいろ確認。
- Search ConsoleのURL検査でライブテストすると、ページの取得は成功
- インデックス登録も許可されていて、canonicalも自分自身を指定
- robots.txtで止めているわけでもなく、noindexも無し
- サイトマップにも載っているし、他の記事から内部リンクも張ってある
少なくとも見える範囲では「ここが原因だろう」というものが見つかりません。
なのに通常クロールだけ来ない。
なんなんすか、これは!?
試しにスラッグを変えてみた
悩んでいたところ、ふと以前どこかの個人サイトさんの記事で「スラッグを変更したらインデックスされた」という記事を見たのを思い出した、わたくし。
正直、そんなので変わるのか？とは思ったものの、今のURLはそもそもインデックスされていません。
失うものもほとんどないので試してみることに。
当初のURLはこんな感じでした。
https://aijinbutsu.com/library/hairstyle-library-download/
https://aijinbutsu.com/library/hair-color-library-download/
これを以下のようなスラッグ（URL）に変更
/hairstyle-library-public/
/hair-color-library-public/
ページ本文はそのままです。
速攻でインデックスされた
スラッグ変更後、新しいURLをSearch Consoleからインデックス登録のリクエスト。
すると、これまで何日待っても通常クロールされなかったページが、あっさりクロールされました。
しかもそのままインデックス。
早っ。
なんなんだ、この意味わからんムーブは…。
ま、無事インデックスされたから結果オーライなんですが。
「download」が原因とは断定できない
今回のスラッグ変更は、「download」という文字列を「public」に変えただけ。
ただし、その結果だけをもって「downloadという文字がURLに入っているとGoogleにクロールされない」とまでは言えないです。
今回分かったのは、あくまで「クロールされない状態だったURLを別のURLへ変更したところ、2ページともすぐクロール・インデックスされた」というところまで。
単純に新しいURLとしてGoogle側の処理がやり直された可能性もあります。
旧URL固有で何か変な状態になっていたのかもしれないし、たまたまクロールのタイミングが重なった可能性もゼロではありません。
Googleの中で何が起きていたのかまでは分からない。
それに、今回の２つのページより前に記事を作成した「顔パーツライブラリ」はこの↓URLで、「download」という文字列がスラッグに含まれているけど、この記事自体は普通にインデックスされています。
<https://aijinbutsu.com/library/face-parts-library-download/>
クロールされない時の一手としてはアリかも
インデックスされないページを見つけるたびにスラッグを変えるのはおすすめしません。
すでに検索結果へ出ているページや、外部リンクを集めているページなら、URL変更には別の問題も出てきます。
でも今回のように、
- GoogleにはURLを検出されている
- ライブテストでは問題なし
- インデックス登録も許可されている
- それなのに一度も通常クロールされない
- まだインデックスもされていない
という状態なら、切り分けの一つとしてスラッグ変更を試してみるのはアリだと思います。
少なくとも今回はそれで2ページとも一発でインデックスされました。
なんなんすかこれは、Google先生…。
人物構成用のライブラリはコチラ
今回の記事で扱った、生成AIでランダムに人物を構成するための顔パーツや髪型、髪色のバリエーションをまとめたライブラリページへのリンクを貼っておきます。
