metaに検索エンジンのクロールを設定する方法は？

会社で運営しているブログはlivedoorやはてなブックマークなど利用して書いていましたが、Wordpressと出会いついに無料ブログサービスから撤退することを決断しました。

無料ブログの場合は機能は充実していますが、モバイルからのアクセスでの広告があまりにも多く、読者からクレームが来ていたのが乗り換えの決断となりました。

ドメインをそのまま移管しようと思ったのですが、さすがに大きな手間暇がかかるため断念、記事データをCSVで出力し、とりあえずWordpressにCSVで登録。

画像データや絵文字データは外の無料ブログのから読み込んでいますが、今後必要な場合において再編集することで割り切ることにしました。コストが合わないからです。

Googleでのカスタム検索とウェブサイト両方を登録していたので、カスタム検索からも外しインデックスも来ないようにとりあえず細工、その時のmeta情報のメモが以下の通りになります。

<meta name=”robots” content=”INDEX”>
検索エンジンからクロールされたい場合

<meta name=”robots” content=”NOINDEX”>
検索エンジンにクロールされたくない場合

<meta name=”robots” content=”FOLLOW”>
検索ロボットに、記事内のリンク先ページも追跡するようにする

<meta name=”robots” content=”NOFOLLOW”>
検索ロボットに、記事内のリンク先ページを追跡するようにする

<meta name=”robots” content=”ARCHIVE”>
該当ページを、検索エンジンのキャッシュに残すようにする

<meta name=”robots” content=”NOARCHIVE”>
該当ページを検索エンジンのキャッシュに残さないようにする

忘れがちなのでメモということで。