Berikut settingan robots.txt untuk blogger yang umum digunakan
1. Klik Setelan, robots.txt custom.
2. Masukkan settingan berikut ini.
2. Masukkan settingan berikut ini.
User-agent: *
Disallow: /search
Allow: /Sitemap: https://nama blog anda.blogspot.com/sitemap.xml
3. Simpan.
Catatan:
- User-agent: adalah jenis bot pencarian.
- Disallow: adalah perintah untuk melarang User-agent merayapi halaman atau direktori tertentu.
- Allow: adalah perintah untuk mengizinkan User-agent merayapi halaman atau direktori tertentu.
- * adalah semua nama User-agent semisal google, bing, yandex.
- /search adalah URL direktori hasil pencarian internal didalam blog.
- /sitemap: URL direktori sitemap pada blog.
- https://nama blog anda.com/sitemap.xml adalah URL sitemap blog, silahkan anda ganti teks yang berwarna merah sesuai dengan nama blog anda.
Melihat robots.txt yang berhasil di setting
Untuk melihat atau mengecek robot.txt yang sudah berhasil anda setting, silahkan anda buka URL blog anda dengan menambahkan direktori robots.txt pada akhir URL blog anda, nanti anda akan di arahkan menuju ke halaman robots.txt.
Contoh:
https://nama blog anda.blogspot.com/robots.txt
Silahkan anda ganti teks yang berwarna merah sesuai dengan nama blog anda, semoga bermanfaat.
Comments
Post a Comment