Cara Mengatasi Url yang di Cekal Robot.Txt
Cara Mengatasi Url yang di Cekal Robot.Txt - Apa sih Robot.txt itu ? Robot.txt itu dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.
Langkah - Langkah Cara Mengatasi Url yang di Cekal Robot.Txt :
Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang dicekal atau setidaknya menguranginya.
Bagaimana cara mengetahui berapa banyak url dicekal di blog anda?, Silahkan masuk ke Webmaster tools Google anda untuk mengetahuinya, Kemudian pilih blog anda yang ingin anda lihat url yang di cekal, kemudian pilih perayapan -> Url yang dicekal. Lihat berapa banyak url yang dicekal di blog anda. Kalau belum mendaftar ke webmaster pasti tidak akan ketahuan berapa jumlah url yang dicekal tersebut.
Langkah - Langkah Cara Mengatasi Url yang di Cekal Robot.Txt :
Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang dicekal atau setidaknya menguranginya.
- Masuk dashboard -> setelan -> preferensi penelusuran -> Pada Perayap dan pengindeksan pliih edit di menu robots.txt khusus.
- Aktifkan konten robots.txt khusus? jawab "Ya".
- Jika sudah Klik Simpan Perubahan dan selesai.
User-agent: Mediapartners-GoogleKeterangan :
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://www.hostze.net/feeds/post/default?orderby=UPDATED
Silahkan ganti kode yang berwarna merah dengan url blog anda.Demikianlah artikel yang berjudul tentang Cara Mengatasi Url yang di Cekal Robot.Txt semoga bermanfaat.