Cách tạo robot.txt và thẻ meta robots cho website

20/1/14

Cách tạo file Robots.txt

File robots.txt nằm trong thư mục gốc ở website hoặc trong subdomain
Khi viết file robots.txt, việc đầu tiên là xác định rõ nó sẽ nhắm tới loại bọ tìm kiếm nào ? Hay loại bọ tìm kiếm nào sẽ phải tuân theo chỉ dẫn trong file này. Đó có thể là googlebot (của google ), hoặc bọ của những công cụ tìm kiếm khác.
Việc tiếp theo là xác định những nơi nào trên website mà bọ tìm kiếm không được tìm. Việc này thực hiện bằng cách liệt kê tất cả những thư mục, những trang web mà con bọ không được truy cập vào.
Bên cạnh đó, trong file này bạn cũng nên chỉ rõ vị trí của sơ đồ website XML, để máy tìm kiếm có thể dễ dàng tìm tới nó, từ đó nó dễ dàng dò quét toàn bộ website của bạn .

Dưới đây là ví dụ của 1 file robots.txt:

User-agent:*(có thể là googlebot, Bingbot, Baiduspider…)

Disallow:/register.html

Disallow:/category/

Sitemap: http://vietmoz.net/Sitemap.xml

Cách sử dụng thẻ meta robots

Ví dụ về một thẻ meta robots

<meta name=”robots” content=”COMMAND”>

Dưới đây là danh sách các câu lệnh thường được sử dụng trong thẻ meta robots

index – trang này cần được index. Mặc định mọi trang web đều được index, nên câu lệnh này là không cần thiết
noindex- không index trang này, hoặc gỡ bỏ nó khỏi cơ sở dữ liệu nếu nó đã được index
follow- khuyến khích máy tìm kiếm đi theo tất cả links trên trang này, câu lệnh này không cần thiết
nofollow – yêu cầu máy tìm kiếm không được show bản cache của trang web trên bảng kết quả. Câu lệnh này rất ít khi được sử dụng
noarchive- yêu cầu máy tìm kiếm không được show bản cache của trang web trên bảng kết quả. Câu lệnh này rất ít khi được sử dụng
nosnippet- yêu cầu máy tìm kiếm không được hiển thị thông tin miêu tả về trang trên bảng kết quả