검색엔진최적화 – robots.txt 활용하기

예1) 모든로봇에서 /sub/sample.php만 불허하고자 할 땐 User-agent: * Allow: / Disallow: /sub/sample.php 예2) 모든 컨텐츠 검색엔진에 노출 허용 User-Agent:* Allow: / User-agent: *대상 검색 봇 종류(*:모든 검색봇, googlebot:구글봇, slurp:야후봇, MSNBot:msn봇, 네이버:yeti, 다음:daum, 다음:daumoa 등) Disallow: /wp-admin/Disallow는 검색엔진로봇이 크롤링 해선 안되는 페이지를 나타낸다. robots.txt 위치robots.txt를 적용할 웹사이트의 최상위 디렉토리에 적용하면 됩니다. 참고 사이트1)검색엔진최적화 – robots.txt 활용하기 …