Mengenal robots.txt pada blog wordpress
Robots.txt atau dikenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah konvensi untuk mencegah bekerjasama web crawler dan robot web lain dalam mengakses semua atau bagian dari website yang dapat dilihat secara publik. Robot sering digunakan oleh mesin pencari untuk mengkategorikan dan mengarsipkan situs web, atau oleh webmaster untuk mengoreksi kode sumber. Standar ini berbeda, tetapi