검색엔진최적화 – robots.txt 활용하기

예1) 모든로봇에서 /sub/sample.php만 불허하고자 할 땐
User-agent: *
Allow: /
Disallow: /sub/sample.php

예2) 모든 컨텐츠 검색엔진에 노출 허용
User-Agent:*
Allow: /

User-agent: *
대상 검색 봇 종류(*:모든 검색봇, googlebot:구글봇, slurp:야후봇, MSNBot:msn봇, 네이버:yeti, 다음:daum, 다음:daumoa 등)

Disallow: /wp-admin/
Disallow는 검색엔진로봇이 크롤링 해선 안되는 페이지를 나타낸다.

  1. robots.txt 위치
    robots.txt를 적용할 웹사이트의 최상위 디렉토리에 적용하면 됩니다.

참고 사이트
1)검색엔진최적화 – robots.txt 활용하기
http://seosem.kr/%EA%B2%80%EC%83%89%EC%97%94%EC%A7%84%EC%B5%9C%EC%A0%81%ED%99%94-robotstxt-%ED%99%9C%EC%9A%A9%ED%95%98%EA%B8%B0/

2)robots.txt 소개와 사용법
https://server-talk.tistory.com/93

Leave a comment

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다