비디오: HTML - 검색엔진최적화 6 : robotstxt & sitemap 2024
메타 로봇 태그를 사용하여 검색 엔진 스파이더가 웹 사이트의 특정 페이지를 크롤링하지 못하도록 할 수 있습니다. 페이지의 HTML 코드에 특수 태그를 포함시켜 로봇에게 해당 페이지의 색인을 생성하지 않거나 해당 페이지의 링크를 따르지 않도록 할 수 있습니다. 이 태그는 웹 페이지의 머리 부분에있는 HTML 코드의 일부인 메타 태그 뒤에 배치합니다.
메타 로봇 태그를 사용하는 것은 두 가지 이유로 사이트 전체 로봇 텍스트 파일을 사용하는 것보다 효율적이지 않습니다. 첫째, 로봇은 때때로 메타 로봇 태그를 무시하고 두 번째 태그는 로봇이 페이지를 읽는 속도를 늦추므로 크롤링 할 수있는 페이지 수가 줄어들 수 있습니다. 또한 태그가 중앙 파일이 아닌 개별 페이지에 유지되어야하기 때문에이 방법을 사용하면 웹 마스터에게 고민 할 수 있습니다.
아래의 메타 로봇 태그는 검색 엔진 로봇에게 페이지 와 의 색인을 생성하지 말고 페이지의 링크를 따르지 않도록 지시합니다.이 태그를 사용할 수 있습니다
다음 태그는 로봇에게 페이지 내용을 무시하도록 지시하지만