Googleはいつまで404ページをクロールし続けるのか (Buzzy Dizzy Biz)

Googleはいつまで404ページをクロールし続けるのか

うっかりおかしなページへリンクを貼ってしまい、スパイダーがアクセスし続ける。あわててページを削除、或いはエラーを返すようにしたものの、相変わらずクロールされ続けてエラーログが溜まる一方...
そんな経験をしている方は、一体いつになったらロボットは「ここにはアクセスして欲しくない」ということを理解してくれるのだろう？と考えたりしないでしょうか。
WebmasterWorldでその議論がされていましたが、結論から言うと「ずっと来続ける」ということのようです。

How long does Google request 404 page?

逆にクローラーが「ここは404だ」と学習して来るのを止めてしまうと、そのページが復活しても「ここには無い」という情報が残ってしまうのが問題じゃないかという見解ですが...その時はまた、復活するであろう被リンクを辿って来てくれれば良い話な気もします。
スレッドでは既に2年も前に削除したページにアクセスし続けられている人の話もありますが...
どうしても止めたい場合は、robots.txtを使うのが正解のようです。