User-agent 하나의 로봇의 지정함
User-agent: * 모든 로봇을 허용험
User-agent: Mediapartners-Google 검색 로봇이 모든 URL 방문, 모든 디렉터리에 수집 접근 하는것을 허용함
Disallow: 모두 허용함, 봇에 의한 수집을 거부할 디렉토리
Disallow: / 모두 차단함, 봇에게 몇 가지 디렉토리 수집을 거부
Allow: 모두 차단함, 봇에 의한 수집을 허용할 디렉토리를 입력
Allow: / 모두 허용함, 모든 디렉토리에의 자료 수집 허용을 의미
Disallow
Disallow, Allow 경우 뒤에 폴더나 파일의 경로를 표시하며, 폴더는 반드시 슬래시(/) 기호로 끝나야 함.
Crawl-delay: 크롤링 주기. (초단위 사용) 서버부하 방지에 도움. ( Googlebot은 무시함 )
봇에 의한 수집이 너무 자주 발생하지 않게 딜레이를 둘 수 있으며, 1~30의 값이 입력
Sitemap: https://your-blog-url/sitemap.xml 이뜻은 검색 엔진 로봇이 웹 사이트의 사이트맵을 참조하도록 하는 명령어
사이트맵은 웹 사이트의 모든 페이지를 검색 엔진에게 알려주는 역할함.
**모든 검색엔진 허용.
User-agent: *
Allow: /
또는,
User-agent: *
Disallow:
예시
------------------------------------
# 모두 차단
User-agent: *
Disallow: /
------------------------------------
# 단, 아래 검색봇들은 허용
------------------------------------
# 구글 (Google)
User-agent: Googlebot
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
# 네이버 (Naver)
User-agent: AdsBot-Naver
Allow: /
User-agent: NaverBot
Allow: /
User-agent: Yeti
Allow: /
# 다음 (Daum)
User-agent: Daum
Allow: /
User-agent: Daumoa
Allow: /
# 빙 (Bing)
User-agent: bingbot
Crawl-delay: 10
# 야후 (yahoo)
User-agent: Slurp
Crawl-delay: 10
User-agent: Yahoo-Slurp
Crawl-delay: 10
User-agent: Yahoo! Slurp
Crawl-delay: 10
# 줌 (zum)
User-agent: ZumBot
Crawl-delay: 10
# 사이트맵
Sitemap: https://자신의 블로그 주소/sitemap.xml
모든 크롤링은 허용하지 않지만 구글봇에게는 허용합니다.
User-agent: Googlebot
Disallow:
User-agent:*
Allow: /
Sitemap: https://자신의 블로그 주소/sitemap.xml
모든 크롤링은 허용하지 않지만 구글봇에게는 허용합니다.
User-agent: Mediapartners-Google
Disallow:
User-agent:*
Allow: /
Sitemap: https://자신의 블로그 주소/sitemap.xml
1. 모든 검색봇 차단
User-agent: * Disallow: / |
2. 모든 검색봇 허용
User-agent: * Allow: / |
3. 구글봇 차단 (구글봇, 구글봇이미지, 구글봇모바일)
User-agent: Googlebot Disallow: / User-agent: Googlebot-Image Disallow: / User-agent: Googlebot-Mobile Disallow: / |
4. 네이버봇 차단
User-agent: Yeti Disallow: / |
'컴퓨터 > Google Blogger' 카테고리의 다른 글
앞으로 Google Blogger 색인 생성이 쉽게 되지 않을것 같다. (1) | 2024.11.20 |
---|---|
우여곡절 끝에 애드센스 승인 되었다. "고시 합격후기" (3) | 2024.11.06 |
블로그 사이트 등록 주소 모음(링크) (2) | 2024.10.13 |
Google Search Console설정, Robots.txt설정 (0) | 2024.10.12 |
구글블로그, Dynamic View 스킨 소개 및 활성화편 (0) | 2024.10.11 |