Mặc định của robot.txt cho blogspot:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Lưu ý khi tối ưu Robot.txt cho blogspot
- Mediapartners-Google là một robot từ Google Adsense, hãy cứ để nó bởi vì nếu bạn thay xóa hoặc thay đổi thì quảng cáo hiện thị có thể không phù hợp với nội dung web bạn.
- Dòng tiếp theo là cho tất cả các robot và phần đánh dấu (*). Trên cấu hình mặc định không cho phép lập chỉ mục các nhãn Disallow: /search
Tối ưu Robot.txt cho blogspot
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Cách tối ưu Robot.txt cho blogspot
B1: đăng nhập vào tài khoản blogspot bạn muốn tối ưu Robot.txt tốt cho seo
B2: Chọn mục cài đặt-> tùy chọn tìm kiếm -> chọn chình sửa Robot.txt tùy chỉnh?
B3: đổi copy đoạn code trên vào và lưu lại , thế là xong.
Tác giả: SEO in 24h