Cara Mengatasi Url yang di Cekal Robot.Txt

Cara Mengatasi Url yang di Cekal Robot.Txt - Apa sih Robot.txt itu ? Robot.txt itu dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti FriendsterFacebook, dan Twitter.

Bagaimana cara mengetahui  berapa banyak url dicekal di blog anda?, Silahkan masuk ke Webmaster tools Google anda untuk mengetahuinya, Kemudian pilih blog anda yang ingin anda lihat url yang di cekal, kemudian pilih perayapan -> Url yang dicekal. Lihat berapa banyak url yang dicekal di blog anda. Kalau belum mendaftar ke webmaster pasti  tidak akan ketahuan berapa jumlah url yang dicekal tersebut.

Langkah - Langkah Cara Mengatasi Url yang di Cekal Robot.Txt :
Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang dicekal atau setidaknya menguranginya.
  1. Masuk dashboard -> setelan -> preferensi penelusuran -> Pada Perayap dan pengindeksan pliih edit di menu robots.txt khusus.
  2. Aktifkan konten robots.txt khusus? jawab "Ya".
  3. Nanti Akan Muncul Gambar seperti di bawah ini masukan kodenya.
  4. Jika sudah Klik Simpan Perubahan dan selesai.
Isikan kode ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://www.hostze.net/feeds/post/default?orderby=UPDATED
Keterangan :
Silahkan ganti kode yang berwarna merah dengan url blog anda.
Demikianlah artikel yang berjudul tentang Cara Mengatasi Url yang di Cekal Robot.Txt semoga bermanfaat.
Angga Permana
Angga Permana Spesialis Web Desain dari tahun 2013 sebagai Front End specialist, Desain Grafis dan system/network technician.