Pengertian Robots.txt dan Fungsi Robots.txt

Pengertian Robots.txt pada Website (Meta Robots)

The robots exclusion protocol (REP), atau robots.txt adalah file text dari webmaster yang dibuat untuk memandu robot pencarian (search engine biasanya) bagaimana dia harus melakukan crawling atau pencarian halaman halaman yang ada di dalam website. Terletak di root folder website kalian, bersamaan dengan .htaccess dan subfolder2. Biasanya digunakan untuk memblokir halaman yang tidak ingin di index atau diikuti oleh robot. Beberapa tahun terakhir Robots.txt sangatlah populer bagi pengguna website baik wordpress, blogger, joomla dan lainnya. Karena fitur ini memberikan kemudahan pada developer untuk mengatur privasi website mereka, banyak pengguna yang sudah mahir menggunakan robots.txt. Namun hingga sekarang masih banyak pula yang tidak mengetahui fungsi dari Robots.txt ini. Mau tau fungsi dari robots.txt dan pengertian robots.txt?

Search Engine apa yang support Meta Robots atau Robots.txt?

Coba kita lihat tabel dibawah!

Robots valueGoogleYahoo!MSN / LiveAsk
indexYesYesYesYes
noindexYesYesYesYes
noneYesDoubtDoubtYes
followYesDoubtDoubtYes
nofollowYesYesYesYes
noarchiveYesYesYesYes
nosnippetYesNoNoNo
noodpYesYesYesNo
noydirNo useYesNo useNo use

Pengertian Robots.txt atau Meta Robots (Perintah)

index : Settingan default, dimana kita membiarkan halaman yang dimaksud untuk dilihat dan diindex pada pencarian.

noindex : Tidak mengizinkan mesin pencari mengindeks halaman yang dimaksud

noimageindex : Tidak mengizinkan gambar untuk di index mesin pencari. Ini digunakan oleh instagram!

follow : Pada defaultnya semua halaman memiliki perintah follow. Agar tiap halaman diikuti oleh robot. Misalkan jika ada update atau perubahan judul. Terserah mesin pencari ingin mengindeksnya atau tidak.

nofollow : Kebalikan dari nofollow. Tapi masih dapat diindeks secara manual.

noarchive : Tidak mengizinkan mesin pencari memberikan data cadangan halaman yang dimaksud. Biasanya merugikan jika halaman sudah dihapus tapi masih disimpan oleh mesin pencarian. Sehingga user yang sedang mengakses halaman tersebut masih dapat melihat konten yang sebenarnya telah kalian hapus!

nocache : Sama bae kaya noarchive.

nosnippet : Tidak mengizinkan mesin pencari memunculkan kalimat potongan dari Halaman yang dimaksud. Jadi hanya bagian/karakter yang sudah ditentukan aja yang boleh tampil.

noodp : Tidak mengizinkan mesin pencari menggunakan deskripsi halaman dari DMOZ (aka ODP). Coba cek pengertiannya di google.

noydir : Perintah khusus Yahoo! directory

none ini perintah yang paling mantap. Artinya TIDAK BOLEH MELAKUKAN SEMUANYA!

Tinggalkan Komentar