Cách tạo file robots.txt chuẩn cho website Wordprepss

Làm cách nào để có thể tạo một file robots.txt chuẩn cho website WordPress? Các bạn hãy cùng với Thiết kế Web Online tìm hiểu trong bài viết dưới đây

File robots.txt là gì?

Robots.txt là một tập tin dạng văn bản đơn giản, với phần mở rộng .txt. Tập tin này là một phần của REP – Robots Exclusion Protocol, nó chứa các tiêu chuẩn web quy định cách mà Robot Web hoặc Robot của các công cụ tìm kiếm thu thập các dữ liệu trên web, truy cập, cung cấp nội dung… đến người dùng

tạo file robot.txt cho website

Điều cần biết về Robots.txt

  • Crawl-Delay: Xác định thời gian mà bots phải đợi trước khi nó chuyển sản phần tiếp theo (tinh bằng giây). Nó vô cùng có ích trong việc ngăn các search engine load server một cách tùy tiền
  • #: Được dùng trước các dòng cần comment
  • User-agent: Quy định các bot được phép truy cập. Hiện tại có rất nhiều bot như Googlebot (Google), Googlebot Image, Bingbot, Yahoo Slurp…
  • Allow: cho phép bot dò và index trang, thư mục, bài viết
  • Disallow: Chặn không cho bot dò và index đến một trang hay thư mục nào đó.

tạo file robot.txt cho website

Cú pháp và ý nghĩa

  • User-agent: * – cho phép mọi loại bot truy cập
  • Allow: / – cho phép dò và index toàn bộ các trang, thư mục, file có trong web
  • Disallow: / – chặn không cho bot truy cập và index toàn bộ web
  • Disallow: /folder/ – chặn toàn bộ thư mục folder và những gì có trong thư mục.
  • Disallow: /file.html – chặn trang file.html

Ví dụ mình muốn chặn con Googlebot không cho nó dò và index trang web của mình, mình sẽ “viết” vào file Robots.txt như sau:

User-agent: Googlebot

Disallow: /

Một số lưu ý khi tạo file Robots.txt

Để tạo file robots.txt đúng chuẩn thì buộc bạn phải thật cẩn thận, thường xuyên theo dõi và cũng nên lưu ý một số điểm sau:

  • Phân biệt chữ hoa, chữ thường
  • Không được viết dư hoặc thiếu khoảng trắng
  • Một dòng chỉ chứa một lệnh. Nếu muốn viết lệnh khách thì phải xuống dòng
  • Không được chèn các ký tự đặc biệt
  • Thường xuyên kiểm tra file robots.txt

File robots.txt chuẩn dành cho website

tạo file robot.txt cho website

Bạn có thể sử dụng file sau cho website của bạn.

User-agent: *

Disallow: /wp-admin/

Disallow: /author/

Allow: /wp-admin/admin-ajax.php

Vậy là xong bạn đã hiểu được cách mà bots hoạt động khi bạn khai báo trong file Robots.txt rồi đấy. Chúc các bạn thành công


LIÊN HỆ VỚI CHÚNG TÔI ĐỂ ĐƯỢC TƯ VẤN HỖ TRỢ

    Trả lời

    Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *