クローラとは、検索エンジンに導入されているプログラムで、
各WEBサイトを巡回し、WEBページの情報を収集してデータベース、およびインデックス作成を行う。
ボット、ロボット、スパイダーと呼ばれることもある。
「Crawl」は「はう、のろのろ走る」という意味の英単語。

クローラによって新しく作られたWEBページや、更新されたWEBページの情報がデータベースに登録されることで検索エンジンの検索結果に反映されるため、クローラに巡回してもらわないことには検索結果に表示されない。
クローラがWEBページを巡回・収集していくことをクローリングと呼ぶ。
クローラは検索エンジンによって異なり、Googleはグーグルボット、NAVERはYetiBot(イエティボット)、百度はBaiduspiderと呼ばれるクローラを用いている。

新規サイトはクローラの訪問頻度が低いためインデックスに登録されにくく、検索結果に表示されるまでに時間がかかるが、ある程度の期間運営するとクローラが頻繁に訪れるようになり、インデックス登録されるのが早くなる。
インデックス登録が早くなるということは、WEBページを新規作成してから検索結果に表示されるまでの時間が短いということであり、（上位表示されれば）検索流入が得られるということである。
クローラの訪問頻度は検索エンジンの性能、およびWEBサイトによって異なる。
クローラがWEBサイトを訪れてくれなければ検索結果に表示されないため、クローリングはSEOに直接関係する。
クローラの訪問頻度が低い新規サイトはFetch as Googleを使ってクローリングを要求するという対策がある→Fetch as Google
インデックスについては別記事で解説→インデックス