mwultong Blog ... 프로그래밍 / 계산기

컴퓨터 엑셀 워드 포토샵 구글어스 WINDOWS JAVASCRIPT JAVA C++

 
Monday, May 08, 2006

구글 사이트맵(Google Sitemaps)을 사용하면, 서버의 robots.txt 를 무시할 수 있나요? [QnA]


없는 것 같습니다. 구글 사이트맵 도움말에 이런 구절이 있습니다:


        robots.txt에 의해 제한된 URL   [?]

다음은 크롤링하려 했으나 robots.txt 파일에 나열되어 있기 때문에 크롤링하지 못한 URL입니다(Sitemaps의 링크나 다른 페이지의 링크를 통해 검색). Google에서 해당 URL을 크롤링하지 못하도록 robots.txt 파일을 설정했을 수 있습니다. 이러한 경우 Google은 해당 파일에 대해 계속 robots.txt를 참조하므로 이 문제를 해결할 필요가 없습니다. 이러한 페이지를 크롤링할 수 있도록 하려면 robots.txt 파일에서 Google 액세스를 제한하지 마십시오.




로봇 텍스트는 거의 절대적인 것이기 때문에 무시할 수가 없겠지요.

▶▶ [QnA] 혹시 '네이버 블로그'가 구글에서 검색됩니까?

▶▶ 구글 사이트맵(Google Sitemaps)을, 가입형 블로그에 적용




tag: html
HTML | CSS | 자바스크립트 JavaScript

0 Comments:

<< Home RSS 2.0 feed

구글 Google 에서 제공하는 무료 블로그 서비스인 블로거 Blogger 의 인터넷 주소는 www.blogger.com 입니다. Blogger 에 블로그를 만들면, blogspot.com 이라는 주소에 블로그가 생성됩니다.
블로그를 직접 방문하지 않고도 최신 게시물을 구독하려면 RSS 2.0 feed 주소를 리더기에 등록하시면 됩니다.
Previous Posts
Monthly Archives
Top