막다른 골목의 컨텐츠

컨텐츠에는
이야기, 스토리가 있어야 한다.
그러면서 정보가 되어야 한다.

달이 차면 기운다.
달도 차면 기운다.

아웃라인을 잡는다.
안 될 것 같은 아웃라인.

자꾸 하면, 반복해서 하면 뭔가 나오겠지.
여태 안 해 봤쟎아.
하나라도 해 보면은.

근데. 이제 해 볼 도리밖에 달리 뭐가 없다.
막다른 골목까지 또 간 거다.

검색엔진최적화 – robots.txt 활용하기

예1) 모든로봇에서 /sub/sample.php만 불허하고자 할 땐
User-agent: *
Allow: /
Disallow: /sub/sample.php

예2) 모든 컨텐츠 검색엔진에 노출 허용
User-Agent:*
Allow: /

User-agent: *
대상 검색 봇 종류(*:모든 검색봇, googlebot:구글봇, slurp:야후봇, MSNBot:msn봇, 네이버:yeti, 다음:daum, 다음:daumoa 등)

Disallow: /wp-admin/
Disallow는 검색엔진로봇이 크롤링 해선 안되는 페이지를 나타낸다.

  1. robots.txt 위치
    robots.txt를 적용할 웹사이트의 최상위 디렉토리에 적용하면 됩니다.

참고 사이트
1)검색엔진최적화 – robots.txt 활용하기
http://seosem.kr/%EA%B2%80%EC%83%89%EC%97%94%EC%A7%84%EC%B5%9C%EC%A0%81%ED%99%94-robotstxt-%ED%99%9C%EC%9A%A9%ED%95%98%EA%B8%B0/

2)robots.txt 소개와 사용법
https://server-talk.tistory.com/93