Monday, May 08, 2006
구글 사이트맵(Google Sitemaps)을 사용하면, 서버의 robots.txt 를 무시할 수 있나요? [QnA]
없는 것 같습니다. 구글 사이트맵 도움말에 이런 구절이 있습니다:
로봇 텍스트는 거의 절대적인 것이기 때문에 무시할 수가 없겠지요.
▶▶ [QnA] 혹시 '네이버 블로그'가 구글에서 검색됩니까?
▶▶ 구글 사이트맵(Google Sitemaps)을, 가입형 블로그에 적용
robots.txt에 의해 제한된 URL [?]
다음은 크롤링하려 했으나 robots.txt 파일에 나열되어 있기 때문에 크롤링하지 못한 URL입니다(Sitemaps의 링크나 다른 페이지의 링크를 통해 검색). Google에서 해당 URL을 크롤링하지 못하도록 robots.txt 파일을 설정했을 수 있습니다. 이러한 경우 Google은 해당 파일에 대해 계속 robots.txt를 참조하므로 이 문제를 해결할 필요가 없습니다. 이러한 페이지를 크롤링할 수 있도록 하려면 robots.txt 파일에서 Google 액세스를 제한하지 마십시오.
로봇 텍스트는 거의 절대적인 것이기 때문에 무시할 수가 없겠지요.
▶▶ [QnA] 혹시 '네이버 블로그'가 구글에서 검색됩니까?
▶▶ 구글 사이트맵(Google Sitemaps)을, 가입형 블로그에 적용
tag: html
HTML | CSS | 자바스크립트 JavaScript
<< Home