Cách tạo file robots.txt trong WordPress

Bài viết chia sẻ cách tạo file robots.txt trong WordPress  giúp bạn kiểm soát các công cụ tìm kiếm như Googlebot truy cập và lập chỉ mục nội dung trên trang web của bạn. Dưới đây là cách tạo và chỉnh sửa file robots.txt trong WordPress.

Cách tạo file robots.txt trong WordPress

1. Tạo file robots.txt trực tiếp trong WordPress

Nếu bạn không muốn cài đặt thêm plugin, bạn có thể tạo file robots.txt thông qua cPanel hoặc bằng cách tải file lên thư mục gốc của trang web.

Bước 1: Tạo file robots.txt

• Sử dụng một trình soạn thảo văn bản (như Notepad) để tạo file robots.txt.
• Thêm các dòng mã sau vào file (đây chỉ là một ví dụ, bạn có thể tùy chỉnh theo nhu cầu):

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yourdomain.com/sitemap_index.xml

• User-agent: * có nghĩa là áp dụng cho tất cả các bot tìm kiếm.
• Disallow: /wp-admin/ để ngăn các bot truy cập vào thư mục quản trị.
• Allow: /wp-admin/admin-ajax.php cho phép bot truy cập vào file admin-ajax.php.
• Sitemap: thêm đường dẫn tới sitemap của bạn.

Bước 2: Tải file robots.txt lên WordPress

• Sử dụng FTP hoặc File Manager trong cPanel để tải file robots.txt vào thư mục gốc của trang web (thường là public_html).

2. Tạo và chỉnh sửa robots.txt bằng plugin Yoast SEO

Nếu bạn đã cài đặt plugin Yoast SEO, bạn có thể tạo và chỉnh sửa file robots.txt trực tiếp từ bảng điều khiển WordPress.

Bước 1: Truy cập vào Yoast SEO

• Đăng nhập vào trang quản trị WordPress.
• Vào SEO > Công cụ (Tools).

Bước 2: Tạo file robots.txt

• Chọn File Editor (Chỉnh sửa tệp).
• Nếu bạn chưa có file robots.txt, Yoast sẽ cung cấp cho bạn tùy chọn để tạo mới.

Bước 3: Chỉnh sửa file robots.txt

• Bạn có thể chỉnh sửa file trực tiếp trong trình chỉnh sửa của Yoast.
• Sau khi hoàn thành, nhấn Save Changes (Lưu thay đổi).

3. Tạo file robots.txt bằng plugin khác

Ngoài Yoast SEO, có nhiều plugin khác cũng hỗ trợ tạo và chỉnh sửa file robots.txt như:

• All in One SEO: Cung cấp tính năng chỉnh sửa robots.txt.
• Rank Math SEO: Một plugin SEO khác có thể giúp bạn quản lý robots.txt dễ dàng.

Kiểm tra file robots.txt

Sau khi tạo và chỉnh sửa, bạn có thể kiểm tra file robots.txt của mình bằng cách truy cập vào https://yourdomain.com/robots.txt.

Lưu ý: Khi chỉnh sửa file robots.txt, hãy cẩn thận để không vô tình ngăn cản các công cụ tìm kiếm lập chỉ mục các trang quan trọng trên trang web của bạn.

Kết lại

Khi đã tạo và cấu hình file robots.txt, bạn sẽ có thể kiểm soát tốt hơn cách các công cụ tìm kiếm tiếp cận và lập chỉ mục nội dung trên trang web của mình. Điều này giúp tối ưu hóa SEO và bảo vệ những phần quan trọng khỏi bị truy cập không mong muốn. Đừng quên kiểm tra lại file robots.txt sau khi chỉnh sửa để đảm bảo rằng mọi cài đặt đều hoạt động như mong muốn. Quản lý tốt robots.txt là một bước quan trọng trong việc duy trì sức khỏe SEO tổng thể của trang web WordPress của bạn.