Cari Istilah Internet Marketing

>> Robots txt

Robots txt

Kategori : Search Engine SEO Website Blog Internet Marketing Tools

Apa itu Robots txt? Robots txt adalah istilah yang terdapat di Search Engine. Pengertian Robots txt adalah protokol pengecualian robot mesin pencari, yaitu file teks yang disimpan dalam direktori root sebuah situs, yang memberitahukan robot penelusur mesin pencari agar tidak memasukkan suatu halaman situs dalam indeks mesin pencari.

Jadi, Robots.txt ini seperti mengatakan kepada Crawler, "Jangan cari saya !". Robots.txt merupakan sebuah alternatif untuk sebuah Meta Tag Robots atau proteksi password.

Robots.txt memungkinkan webmaster atau blogger untuk memblokir Crawler Search Engine untuk mengakses halaman, atau secara khusus memblokir Crawlers tertentu, sehingga tidak akan ditampilkan pada halaman hasil search engine.

Namun, tidak ada jaminan bahwa Crawler akan memenuhi permintaan ini.