Pengertian Robots.txt dan Fungsi Robots.txt

Pengertian Robots.txt pada Website (Meta Robots)

The robots exclusion protocol (REP), atau robots.txt adalah file text dari webmaster yang dibuat untuk memandu robot pencarian (search engine biasanya) bagaimana dia harus melakukan crawling atau pencarian halaman halaman yang ada di dalam website. Terletak di root folder website kalian, bersamaan dengan .htaccess dan subfolder2. Biasanya digunakan untuk memblokir halaman yang tidak ingin di index atau diikuti oleh robot.

Beberapa tahun terakhir Robots.txt sangatlah populer bagi pengguna website baik wordpress, blogger, joomla dan lainnya. Karena fitur ini memberikan kemudahan pada developer untuk mengatur privasi website mereka, banyak pengguna yang sudah mahir menggunakan robots.txt. Namun hingga sekarang masih banyak pula yang tidak mengetahui fungsi dari Robots.txt ini. Mau tau fungsi dari robots.txt dan pengertian robots.txt?

Search Engine apa yang support Meta Robots atau Robots.txt?

Coba kita lihat tabel dibawah!

Robots valueGoogleYahoo!MSN / LiveAsk
indexYesYesYesYes
noindexYesYesYesYes
noneYesDoubtDoubtYes
followYesDoubtDoubtYes
nofollowYesYesYesYes
noarchiveYesYesYesYes
nosnippetYesNoNoNo
noodpYesYesYesNo
noydirNo useYesNo useNo use

Pengertian Robots.txt atau Meta Robots (Perintah)

  • index : Settingan default, membiarkan halaman yang dimaksud untuk dilihat dan diindex pada pencarian
  • noindex : Tidak mengizinkan mesin pencari mengindeks halaman yang dimaksud
  • noimageindex : Tidak mengizinkan gambar untuk di index mesin pencari. Ini digunakan oleh instagram
  • follow : Pada defaultnya semua halaman memiliki perintah follow. Agar tiap halaman diikuti oleh robot pencarian
  • nofollow : Kebalikan dari follow. Memblokir akses robot pencarian terhadap link
  • noarchive : Tidak mengizinkan mesin pencari memberikan data cadangan halaman yang dimaksud
  • nocache : Sama seperti noarchive hanya saja khusus dibagian cache
  • nosnippet : Tidak mengizinkan mesin pencari memunculkan kalimat potongan dari Halaman yang dimaksud
  • noodp : Tidak mengizinkan mesin pencari menggunakan deskripsi halaman dari DMOZ
  • noydir : Perintah khusus Yahoo! directory
  • none ini perintah yang paling mantap. Artinya Robot pencarian dilarang melakukan apapun
Tinggalkan Komentar