Robots.txt berfungsi untuk mengizinkan dan menolak mesin pencarian untuk melakukan crawl pada halaman tertentu dan seperti yang kita ketahui bahwa settingan umum robots.txt pada blogger yang sering digunakan adalah sebagai berikut.
User-agent: *
Allow: /
Disallow: /search
Mengizinkan bing melakukan crawl menyeluruh
Kode * adalah semua nama User-Agent mesin pencarian termasuk bing, jika demikian maka bing juga dibatasi untuk melakukan crawl. Apabila anda ingin bing saja yang dapat melakukan crawl secara menyeluruh maka anda dapat menambahkan settingan berikut ini.User-agent: Bingbot
Allow: /
Disallow:
Jadi hasil settingannya akan seperti ini.
User-agent: *
Allow: /
Disallow: /search
User-agent: Bingbot
Allow: /
Disallow:
Catatan:
- Bingbot adalah nama user-agent untuk mesin pencarian bing.
- Allow: / adalah perintah untuk mengizinkan si user-agent untuk melakukan crawl di semua direktori.
- Disallow: adalah perintah untuk menolak user-agent untuk melakukan crawl, karena anda ingin bing melakukan crawl menyeluruh, maka biarkan kosong.
Comments
Post a Comment