비디오: Can I use robots.txt to optimize Googlebot's crawl? 2025
웹 사이트를 검색 엔진 스파이더에게 더 친숙하게 만드는 가장 좋은 방법은 XML 사이트 맵을 추가하는 것입니다. XML 사이트 맵은 현재 Sitemap 프로토콜 형식 (www. sitemaps. org에서 규정)에 따라 작성해야합니다. Sitemap Protocol을 사용하면 검색 엔진에 크롤링해야하는 웹 사이트의 URL을 알릴 수 있습니다.
XML 사이트 맵 은 사이트 맵 프로토콜을 사용하고 사이트의 URL 목록을 포함하는 문서입니다. 의정서는 주요 검색 엔진 (Google, Yahoo! 및 라이브 검색)이 모든 규모의 사이트를 수용 할 수 있도록 확장 성이 뛰어나도록 작성되었습니다. 또한 웹 마스터는 검색 엔진이 사이트를보다 지능적으로 크롤링 할 수 있도록 각 URL에 대한 추가 정보 (마지막 업데이트시기, 변경 빈도 및 사이트의 다른 URL과의 관련성)를 포함 할 수 있습니다. 이름이 전통적인 HTML 사이트 맵과 비슷하지만 XML 사이트 맵은 완전히 다른 종류의 문서이며이 둘은 상호 교환 할 수 없습니다. 사이트에 XML 사이트 맵만 의존해서는 안됩니다.
XML 사이트 맵은 거미에 대해 사이트의 중요성과 우선 순위를 정의하여 검색 엔진으로 하여금 전체 사이트를 색인하고 사이트 변경, 사이트 확장 또는 사이트 축소를 신속하게 재 색인화하도록합니다. 이 XML 형식은 우수한 사이트 색인 작성 및 스파이더 액세스를 제공합니다. 또한 많은 사이트 매핑 도구가 중복 된 콘텐츠, 끊어진 링크 및 스파이더가 액세스 할 수없는 영역에 대해 알려주는 XML 사이트 맵을 진단 할 수 있습니다. Sitemaps. org에는 XML 파일을 생성하는 도구가 있으며 시작하기 좋은 곳입니다.
Google은 Sitemap에서 지시 한대로 Sitemap Protocol 0.을 준수합니다. org. Sitemap Protocol 0. 9를 사용하여 Google 용으로 만든 사이트 맵은 Sitemap 표준을 채택한 다른 검색 엔진과 호환됩니다. org.
XML 코드의 일반적인 버전은
http: // www. 예. com / 2005-01-01 매월 0. 8
아래 표는 XML 사이트 맵에서 필수 태그와 선택적 태그를 모두 보여줍니다.
태그 | 필수 또는 선택 | 설명 |
---|---|---|
필수 | 파일을 캡슐화하고 현재 프로토콜
표준을 참조합니다. |
|
필수 | 각 URL 항목에 대한 상위 태그. 나머지 태그는이 태그의 자식
입니다. |
|
필수 | 페이지의 URL입니다. 이 URL은 프로토콜 (예:
http)으로 시작하고 후행 슬래시로 끝나야합니다 (웹 서버에 가 필요하다면).이 값은 2048 자 미만이어야합니다. |
|
선택 사항 | 파일의 마지막 수정 날짜. 이 날짜는 W3C Datetime 형식으로
여야합니다. 이 형식을 사용하면 원하는 경우 시간 부분을 생략하고 YYYY-MM-DD 형식을 사용할 수 있습니다. |
|
선택 사항 | 페이지 변경 빈도. 이 값
은 검색 엔진에 일반 정보를 제공하고 페이지를 크롤링하는 빈도와 정확히 연관되지 않을 수 있습니다. 선택 사항 |
|
이 URL의 우선 순위는 사이트의 다른 URL과 관련이 있습니다. | 유효한 값의 범위는 0. 0에서 1입니다.이 값은 다른 사이트의 페이지와 비교하여
페이지에 영향을 미치지 않으며 가장 중요한 것으로 판단되는 페이지를 검색 엔진에서만 알 수 있습니다 그래서 귀하가 선호하는 방식으로 귀하의 페이지를 크롤링 할 수 있습니다. 페이지의 기본 우선 순위는 0입니다. 5. 착륙 페이지를 더 높은 우선 순위로 설정하고 비 착륙 페이지를 로 설정해야합니다. XML 사이트 맵은 또한 |
여는 urlset 태그로 시작하고 닫는 urlset 태그로 끝나야합니다.
-
각 URL에 대한 url 항목을 상위 XML 태그로 포함시킵니다.
-
각 url 부모 태그에 대한 loc 하위 항목을 포함합니다.
