Cara Mengaktifkan dan Setting Robot.txt di Blog dengan Benar - Rafsablog.id

Cara mengaktifkan dan setting robot.txt di blog - Sebelumnya apa itu robot.txt? mengutip dari situs dukungan google, File robots.txt adalah file pada akar situs Anda yang menunjukkan bagian dalam situs yang tidak Anda izinkan untuk diakses oleh perayap mesin telusur. File menggunakan Standar Pengecualian Robot, yang merupakan protokol dengan sekelompok kecil perintah yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan berdasarkan jenis perayap web tertentu (seperti perayap seluler vs perayap desktop).

Menurut beberapa artikel dan beberapa orang di grup, robot.txt ini sangat membantu sekali atau sangat berpengaruh dalam SEO. Fungsi dari mengaktifkan robot.txt sendiri untuk merayapi artikel yang telah terpublikasikan, dan jika ingin mensetting beberapa laman agar tidak di tampilkan dalam mesin pencari juga salah satu fungsi dari robot.txt ini.

Dulu saat saya masih awam sekali didunia blogging mengganggap bahwa mengaktifkan atau setting robot.txt ini tidaklah berguna, setelah saya mendapatkan saran dari  beberapa teman di grup dan saya mempraktekkan bagaimana cara mengaktifkan robot.txt ini, akhirnya saya merasakan hasil yang menurut saya pribadi adalah memuaskan. Dan saya sempat menyesal karena dari dulu saya tidak mengaktifkan robot.txt dan setting robot header tags di blog.

Saya mencoba membuat artikel cara mengaktifkan robot.txt dan setting robot header tags di blog ini juga ada seorang teman dari sosial media yang menanyakan bagaimana cara mengaktifkan robot.txt di blog. Akhirnya saya membuat artikel ini dan berharap agar semua orang bisa mencoba mempraktekannya, khususnya seorang blogger yang masih baru di dunia blogging. Oke langsung saja, berikut langkah-langkahnya.

Cara Mengaktifkan dan Setting Robot.txt di Blog

Sebelumnya Anda harus mengsubmit terlebih dahulu blog Anda di google webmaster klik DISINI. Login terlebih dahulu menggunakan akun google Anda, lalu setelah login Anda klik ADD A PROPERTY, kemudian masukkan link blog Anda lalu klik Add. Jika blog Anda sudah di submit di google webmaster sekarang lanjut ke langkah berikutnya untuk mengaktifkan robot.txt, berikut langkah-langkahnya.

Langkah 1: Pertama Anda masuk dan login di blogger.com.

Langkah 2: Lalu klik Setelan dan pilih Preferensi Penelusuran.

Langkah 3: Kemudian pada bagian "robot.txt khusus" yang masih bertuliskan [Dinonaktifkan] lalu klik edit untuk mengaktifkannya.

Langkah 4: Pilih option Ya/Yes, lalu masukkan perintah berikut pada kolom yang sudah di sediakan.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Allow: /

Sitemap: http://rafsablog.id/feeds/posts/default?orderby=UPDATED

Langkah 5: Jika dirasa sudah benar lalu klik Simpan perubahan.
Kelompok baris pertama adalah sebuah informasi user agent milik google yang menandakan bahwa blog Anda adalah partner google. User agent tersebut bisa memudahkan Anda untuk menjadi publisher google adsense dan memberitahukan bahwa blog Anda bisa di cari di mesin pencari.

Kelompok baris kedua adalah sebuah mesin informasi untuk semua crawl dari mesin pencari. Dituliskan dengan Disallow: /search yang artinya bahwa semua robot dari mesin pencari tidak boleh mengindeks bagian page label yang berguna untuk mencegah duplikasi konten.

Di bagian kelompok baris ketiga berfungsi untuk mesin pencari agar mudah mengindeks artikel dari blog Anda yang baru saja di publikasikan.

Tanda "/" adalah sebuah tanda yang bisa di artikan adalah bagian home page dari blog Anda. Jadi jangan pernah meletakkan tanda ini pada bagian kolom disallow yang bisa berakibat mesin pencari tidak bisa mengindeks home page blog Anda.

Ganti rafsablog.id menjadi blog alamat Anda.

Cara Setting Robot Header Tags di Blog

Langkah 1: Sepert tadi, yang masih di bagian Setting Preferensi Penelusuran.

Langkah 2: Pada bagian "Tag tajuk robot khusus," klik edit lalu pilih Ya/Yes kemudian akan muncul beberapa option untuk tahap setting robot header tags.

Langkah 3: Pada bagian "Beranda/Homepage" centang atau pilih all dan noodp. Pada bagian "Laman Arsip dan Penelusuran" centang noindex dan noodp. Lalu pada bagian "Default untuk Postingan dan Halaman" centang all dan noodp. Atau Anda bisa lihat gambar di bawah ini.

Langkah 4: Klik Simpan perubahan.

Gunakan dengan hati-hati, atau blog Anda akan di asingkan di mesin pencari. Mungkin itu dulu artikel kali ini tentang cara mengaktifkan robot.txt dan setting robot header tags di blog.