Mungkin teman-teman sudah tak asing lagi dengan istilah Robots.txt. namun, bagi sebagian orang yang baru terjun di dunia bloging, masih belum familiar dengan Robots.txt. Oleh sebab itu untuk lebih tau tentang robots.txt ini teman-teman bisa membaca dan setting terlebih dahulu di artikel sebelum ini.
Kali ini bahaskimia.site akan memberikan tutorial cara mengatur robots.txt tag header, bertujuan untuk mengindeks blog kita di mesin pencarian dan ini juga teknik untuk mengoptimumkan SEO.
Jadi robots.txt tag header ini khusus memberikan informasi perayapan google untuk halaman blog kita, dari sisi lain ini penting untuk mempercepat pengindeksan dan menghilangkan ketidakperluan perayapan yang memungkinkan penolakan indeks dari perayap itu sendiri terhadap blog kita.
Seperti artikel yang sudah bahaskimia.site jelaskan mengenai file robots.txt juga berkaitan dengan pengaturan di bagian robots.txt tag header, untuk selanjutnya ikuti step by step agar pengaturan di bagian robots.txt tag header ini dengan benar, ikuti langkah-langkahnya sebagai berikut.
Caranya sama seperti yang diatas yaitu melalui menu Setelan Crawler dan Pengindeksan. Kemudian ikuti langkah-langkah berikut ini dengan benar seperti gambar berikut:
Langkah 1 Klik Aktifkan tag header robot kustom
Langkah 2 Klik all pada tag robot kustom untuk halaman beranda
Kemudian klik Simpan
Baca Juga : Cara Simpel Setting Robots.txt yang BenarLangkah 3 Klik preferensi seperti pada gambar berikut ini pada tag robot kustom untuk halaman penelusuran dan arsip
Langkah 4 Klik all pada tag robot kustom untuk postingan dan halaman
Penjelasan Tag Kustom
1. all - Jika Anda mengatur tag ini, perayap tidak terikat oleh kendala apa pun. Mereka dapat dengan bebas merangkak, mengindeks dan mengekspos konten Anda.
2. noindex - Tidak semua blog untuk pemberitahuan publik. Bahkan jika Anda tidak membagikan URL blog pribadi Anda dengan siapa pun, kemungkinan orang akan mendapatkannya dari hasil pencarian. Pada skenario seperti itu, Anda dapat menggunakan tag noindex karena mencegah mesin pencari mengindeks halaman.
3. nofollow - Tag nofollow dan dofollow adalah untuk tautan keluar. Dofollow adalah tag robot default untuk semua tautan keluar Anda. Itu berarti mesin pencari dapat menyelinap ke halaman yang Anda tautkan. Jika Anda tidak ingin bot pencarian melihat-lihat tautan Anda, penambahan tag nofollow harus membantu Anda.
4. none - tidak ada yang menggabungkan fitur dari tag noindex dan nofollow. Perayap tidak akan mengindeks halaman Anda atau menelusuri tautan.
5. noarchive - Anda mungkin telah memperhatikan label yang di-cache dengan sebagian besar tautan situs web di SERPs. Ini menunjukkan bahwa Google telah mengambil salinan situs Anda ke server mereka untuk ditampilkan jika turun. Yang sedang berkata, tag noarchive mematikan versi cache di halaman pencarian.
6. nosnippet - Potongan teks dalam hasil pencarian membantu orang menemukan apa yang ada di halaman web. Jika Anda ingin konten tetap eksklusif, Anda dapat mengaktifkan tag tajuk ini.
7. noodp - Open Directory Project atau Dmoz adalah direktori situs web buatan manusia. Google terkadang menggunakan informasi dari sana. Anda dapat mematikannya dengan tag ini jika mau.
8. notranslate - Apakah Anda ingin menonaktifkan terjemahan di situs Anda? Kemudian gunakan notranslate untuk tujuan yang tepat.
9. noimageindex - Jika Anda mengizinkan Google untuk mengindeks gambar Anda, orang-orang dapat mencurinya dan menggunakannya di situs web mereka sendiri. Untuk mencegahnya, Anda dapat menjaga gambar tetap deindex menggunakan tag noimageindex.