Apa itu Robots.txt?
Robots.txt adalah sekumpulan instruksi untuk mesin pencari atau format yang menunjukkan jalan kepada mesin pencari.
Simpelnya robots.txt ini sebagai jalan atau tanda yang digunakan situs web untuk menunjukkan jalan kepada mesin pencari.
Saat sebuah website baru dihubungkan dengan Google Webmaster Tool maka setiap halaman web akan di ‘crawl’ oleh Google dan muncul di hasil pencarian.
Nah, Google akan melakukan pendataan sesuai dengan kata kunci yang ada pada situs tersebut dan lain sebagainya.
Robots.txt juga dapat disetting untuk memisahkan halaman mana yang tidak ingin Anda tampilkan di dalam mesin pencari.
Selain itu robots.txt juga bertugas untuk menghalangi beberapa situs pencari agar tidak melakukan crawl situs.
Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh situs.
Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan/tidak ditampilkan pada mesin pencari.
Konfigurasi File Robots.txt di Blog
Format robots.txt termasuk cukup simpel dikarenakan hanya ada beberapa perintah saja yang diperlukan.
Berikut ini adalah contoh dari konfigurasi file robots.txt
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://www.bahaskimia.com/sitemap.xml
Penjelasan Kode File Robots.txt
User-agent: Mediapartners-Google :
Kode ini berfungdi untuk Google Adsense yang membantu menampilkan iklan lebih baik. Aktif atau tidak adsense biarkan kode ini tetap ada ya
Disallow:
Kode ini berarti yang tidak diizinkan tidak ada
Disallow: /search
Kode ini berarti pencarian yang memiliki kata kunci /search tepat setelah domain akan diabaikan.
User-agent: *
Ini berarti pengaturan tautan halaman label dibatasi untuk diindek oleh mesin pencari (tidak diindeks).
Allow: /
Yang diizinkan untuk dirayapi oleh robots.txt tanda / ialah blog kamu.
Sitemap: https://www.bahaskimia.com/sitemap.xml
Ini berarti setiap post yang diterbutkan di blog ini akan otomatis dirayapi oleh mesin pencari. Perayap akan lebih mudah merayapi semua postingan blog tanpai mengabaikan sedikit pun.
Cara Setting robots.txt di Blog
Langkah 1 – Klik Setelan/Setting
Klik Setelah (sebe;ah kiri) lalu scroll ke bawah danakan menemukan Crawaler dan Pengindeks-an.
Langka 2 - Klik Aktifkan robots.txt kustom
Gulir tombol nya ke kanan untuk mengaktifkan robots.txt kustom
Baca Juga : Cara Konfigurasi Tajuk Robot KustomLangkah 3 - Klik robots.txt kustom
Langkah 4 - Input format text sebagai berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://www.bahaskimia.com/sitemap.xml
Untuk cara mengkonfigurasu kustom robots nya ditulis di artikel selanjutnya ya. Sekian artikel cara simpel setting robots.txt di blog. Semoga bermanfaat