クローリングとは、検索エンジンが導入しているクローラ（ボット/スパイダー）が、
WEB上にあるWEBサイトを巡回し、WEBページをデータベースやインデックスに登録する作業を意味する。
クローラはWEBページのリンクをたどってサイト上にある情報を収集していき、新規更新ページや既存のページの更新情報などをインデックスに登録し、検索結果に反映させる。
クローラの訪問頻度はWEBサイトによって異なり、新規サイトはクローリングが遅いため、新規ページ更新から検索結果に表示されるまで時間がかかる。
ある程度の期間経過しているWEBサイトなら頻繁にクローラが訪れるため、早く検索結果に反映される。
Googleウェブマスターツールの機能のひとつ・Fetch as Googleを使うことで、こちらからクローリングを要求することが可能→Fetch as Google