File robots.txt và cách tạo file này – Facebook Ninja
File robots.txt là một file dùng để cấm hoặc cho phép các cỗ máy tìm kiếm đánh chỉ mục cho website của bạn, những con robots này hoạt động hoàn toàn tự động và thông thường thì trước khi truy cập vào website của bạn để “craw” chúng sẽ kiểm tra file robots.txt xem có hiện diện…
