サーバーログでクローラーの訪問を分析する

検索エンジンのクローラーの訪問について、サーバーログの分析を手伝ってください。
サイト: [サイト]
知りたいこと: [知りたいこと]
ログ: [ログ]
手順: 1. 既知の検索エンジンのクローラーで行を絞り込み、訪問者が本物のクローラーか確かめる方法を説明してください。 2. ページの種類、ステータスコード、日付ごとに訪問数を数えてください。 3. クローラーがほとんど、または一度も訪れない重要なページを見つけてください。 4. リダイレクト、エラー、パラメーター付きアドレス、価値のないページに使われているクロール時間を見つけてください。 5. 最も訪問されているページと、上位に表示させたいページを比べてください。 6. 内部リンク、パラメーターのブロック、エラーページの修正など、効果の大きい順に対策を提案してください。
出力: ページ種類とステータスコード別の集計表、放置されている重要ページの一覧、無駄なクロール経路の一覧、優先順位付きの対策。

特にクローラーを確認し、個人データを守り、対策を効果順に並べてくださいことを大切にしてください。

回答する前に確認してください：指示をすべて満たしていますか。重要な情報が足りない場合や、角かっこの入力欄が残っている場合は、推測せずに質問してください。推測した点は推測だと明記してください。​