Việc lập chỉ mục các trang web là bước khởi đầu của quá trình tối ưu hóa công cụ tìm kiếm (SEO). Cho phép các bot của công cụ tìm kiếm truy cập nội dung của bạn có nghĩa là các trang của bạn đã sẵn sàng cho khách truy cập, chúng không gặp bất kỳ sự cố kỹ thuật nào và bạn muốn chúng hiển thị trong SERP, vì vậy việc lập chỉ mục toàn diện nghe có vẻ là một lợi ích to lớn ngay từ cái nhìn đầu tiên. Dù vậy, đôi khi cần ẩn việc lập chỉ mục để tối ưu thứ hạng. Vậy, làm thế nào?
Các trang cần được ẩn khỏi tìm kiếm
Dưới đây là danh sách các trang bạn nên ẩn khỏi công cụ tìm kiếm để chúng không xuất hiện trong SERP:
- Trang có dữ liệu riêng tư: Các trang có thông tin bí mật của công ty, thông tin về sản phẩm alpha, thông tin hồ sơ người dùng, thư từ riêng tư, dữ liệu thanh toán, v.v.
- Trang đăng nhập: Các trang có biểu mẫu đăng nhập không có giá trị bổ sung cho người dùng.
- Trang cảm ơn: Các trang mà người dùng nhìn thấy sau khi thực hiện thành công một hành động trên trang web, chẳng hạn như mua hàng, đăng ký hoặc bất kỳ điều gì khác.
- Các phiên bản trang thân thiện với máy in hoặc trình đọc: Nội dung trên các trang này trùng lặp với nội dung của các trang chính trên trang web của bạn.
- Trang sản phẩm tương tự: Đây là vấn đề thường gặp đối với các trang web thương mại điện tử lớn có nhiều sản phẩm chỉ khác nhau về kích thước hoặc màu sắc.
- Kết quả tìm kiếm nội bộ: Các SERP nội bộ của bạn có thể không mang lại gì ngoài thời gian trên trang thấp và tỷ lệ thoát cao.
- Trang tiểu sử của tác giả trên các blog của một tác giả: Nếu blog của bạn có tất cả các bài đăng do một tác giả viết, thì trang tiểu sử của tác giả là bản sao hoàn toàn của trang chủ blog.
- Trang biểu mẫu đăng ký: Giống như trang đăng nhập, biểu mẫu đăng ký thường không có gì ngoài biểu mẫu để bạn nhập dữ liệu để đăng ký.
- Trang đang phát triển: Các trang đang trong quá trình phát triển phải được giữ tránh xa các trình thu thập thông tin của công cụ tìm kiếm cho đến khi chúng hoàn toàn sẵn sàng cho khách truy cập.
- Trang nhân bản (Mirror pages): Các trang nhân bản là bản sao giống hệt các trang của bạn trên một máy chủ/vị trí riêng biệt.
- Ưu đãi đặc biệt và trang đích quảng cáo: Ưu đãi đặc biệt và trang quảng cáo chỉ có nghĩa là hiển thị với người dùng sau khi họ hoàn thành bất kỳ hành động đặc biệt nào hoặc trong một khoảng thời gian nhất định (ưu đãi đặc biệt, sự kiện, v.v.).
Cách ẩn một trang khỏi tìm kiếm
Khi bạn thiết lập hướng dẫn cho các công cụ tìm kiếm, bạn có hai tùy chọn. Bạn có thể hạn chế thu thập dữ liệu hoặc bạn có thể hạn chế lập chỉ mục một trang.
Hạn chế thu thập dữ liệu bằng tệp robots.txt
Cách đơn giản và trực tiếp nhất để hạn chế các trình thu thập thông tin của công cụ tìm kiếm truy cập các trang của bạn là tạo tệp robots.txt. Tệp robots.txt cho phép bạn chủ động giữ tất cả nội dung không mong muốn khỏi kết quả tìm kiếm. Với tệp này, bạn có thể hạn chế quyền truy cập vào một trang, toàn bộ thư mục hoặc thậm chí một hình ảnh hoặc tệp duy nhất.
Hạn chế lập chỉ mục bằng thẻ meta robots và thẻ X-Robots
Việc sử dụng thẻ meta robots noindex hoặc thẻ X-Robots sẽ cho phép các bot của công cụ tìm kiếm thu thập dữ liệu và truy cập trang của bạn, nhưng ngăn trang đó vào chỉ mục, tức là không xuất hiện trong kết quả tìm kiếm.
Thẻ meta robots noindex:
Thẻ meta robots noindex được đặt trong mã nguồn HTML của trang của bạn (phần <head>). Quá trình tạo các thẻ này chỉ yêu cầu một chút bí quyết kỹ thuật và có thể dễ dàng thực hiện ngay cả đối với một SEOer mới vào nghề.
Thẻ X-Robots:
Bên cạnh thẻ meta robots noindex, bạn có thể ẩn một trang bằng cách thiết lập phản hồi tiêu đề HTTP với thẻ X-Robots có giá trị noindex hoặc none. Ngoài các trang và phần tử HTML, X-Robots-Tag cho phép bạn không lập chỉ mục các tệp PDF, video, hình ảnh hoặc bất kỳ tệp không phải HTML nào khác mà không thể sử dụng thẻ meta robots.
Một số loại trang nhất định tốt hơn hết là nên tránh xa SERP để bảo vệ thứ hạng của bạn. Điều đó có nghĩa là bạn cần ẩn chúng khỏi lập chỉ mục. Trong bài đăng trên, Hasontech đã hướng dẫn bạn các loại nội dung cần ẩn khỏi công cụ tìm kiếm và chỉ cho bạn cách thực hiện.