서버 로그로 크롤러 방문 분석하기

검색 엔진 크롤러의 방문을 기준으로 서버 로그를 분석하도록 도와주세요.
웹사이트: [웹사이트]
알고 싶은 점: [알고 싶은 점]
로그: [로그]
순서: 1. 알려진 검색 엔진 크롤러로 줄을 걸러 내고, 방문자가 진짜 크롤러인지 확인하는 방법을 설명해 주세요. 2. 페이지 유형, 상태 코드, 날짜별로 방문 수를 세어 주세요. 3. 크롤러가 거의 또는 전혀 방문하지 않는 중요한 페이지를 찾아 주세요. 4. 리디렉션, 오류, 매개변수가 붙은 주소, 가치 없는 페이지에 쓰인 크롤링 시간을 찾아 주세요. 5. 가장 많이 방문된 페이지와 순위에 올라야 할 페이지를 비교해 주세요. 6. 내부 링크, 매개변수 차단, 오류 페이지 수정 등 효과가 큰 순서로 조치를 제안해 주세요.
출력: 페이지 유형과 상태 코드별 요약표, 방치된 중요 페이지 목록, 낭비되는 크롤링 경로 목록, 우선순위가 정해진 조치.

특히 크롤러를 확인하고 개인정보를 보호하며 조치를 효과 순으로 정리해 주세요에 신경 써 주세요.

답하기 전에 확인하세요: 지시를 모두 지켰나요? 중요한 정보가 없거나 대괄호로 된 입력란이 남아 있으면 추측하지 말고 질문하세요. 가정한 내용은 가정이라고 표시하세요.​