Tạo robots.txt blogspot chuẩn seo cập nhật thường xuyên

Tạo robots.txt blogspot chuẩn seo cập nhật thường xuyên
Tạo robots.txt blogspot chuẩn seo cập nhật thường xuyênTệp robots.txt được tạo ra nhằm thêm nội dung các quy tắc chặn các công cụ tìm kiếm thu thập và lập chỉ mục các liên kết URLs của trang web, nếu bạn không thêm tệp robots.txt mặc định sẽ cho phép các công cụ tìm kiếm thu thập.

Cấu trúc của tệp robots.txt

User-agent: Tên bot của công cụ tìm kiếm
Disallow: Liên kết bị chặn
Allow: Liên kết cho phép
Sitemap: /sitemap.xml Sơ đồ trang web

Ví dụ về tệp robots.txt cho Blogspot


User-agent: Googlebot

User-agent: Bingbot

User-agent: Twitterbot

User-agent: Facebot

Disallow:

User-agent: *

Disallow: /feeds

Disallow: /search

Disallow: /search?*

Disallow: *max-results=*

Disallow: *?showComment=*

Allow: /search/label/template-blogspot-ban-hang

Allow: /search/label/template-blogspot-mien-phi

Allow: /search/label/thiet-ke-blogspot

Allow: /search/label/blogger-templates

Allow: /search/label/blog

User-agent: Mediapartners-Google

Allow: /

Sitemap: https://www.layout.vn/sitemap.xml


Hướng dẫn chặn link bài viết, trang hoặc chặn tất cả

- Chặn trang (page)
+ Ví dụ 1: chặn tất cả các trang

User-agent: Googlebot

User-agent: Twitterbot

User-agent: Facebot

Disallow: /p

Allow: /

User-agent: Mediapartners-Google

Allow: /

Sitemap: https://www.domain.com/sitemap.xml


Nếu chặn tất cả page thì có thể thêm các page ấn định như: Allow: /p/about-us.html
+ Ví dụ 2: chặn 1 trang chỉ định bởi người chặn

User-agent: Googlebot

User-agent: Twitterbot

User-agent: Facebot

Disallow: /p/code.html

Allow: /

User-agent: Mediapartners-Google

Allow: /

Sitemap: https://www.domain.com/sitemap.xml


- Chặn 1 bài viết (post)
Disallow: /2019/09/post-title.html

- Chặn tất cả

Disallow: *?showComment=*

Disallow: *?spref=fb

Disallow: *?spref=tw

Disallow: *?spref=gp

Disallow: *?spref=pi

Disallow: *?utm_source=*


Với quy tắc thêm (*) này, không cần biết liên kết nào cứ liên kết có các giá trị đằng sau dấu (*) đều sẽ bị chặn.

Tổng hợp

Đăng bởi : Doan Nguyen Tạo robots.txt blogspot chuẩn seo cập nhật thường xuyên Đánh giá: 9.1 / 10

0 Nhận xét
NEWSLETTER

Nhập email của bạn để nhận cập nhật mẫu mới qua Email

Blog