Skip to content Skip to sidebar Skip to footer

Setting Robot.txt Secara Baik Sesuai SEO Agar Cepat Terindex Google

Pengertian Robot.txt

Apa yang dimaksud dengan Robot.txt ?

Robots.txt adalah sebuah ketentukan yang dibuat oleh mesin pencari, untuk mencegah web crawler dan robot web lain, baik dari perayapan sebagaian maupun secara keseluruhan dari sebuah web.


Robot ini berfungsi untuk melakukan pengawasan terhadap halaman-halaman web, agar dapat segera di index atau tidak sama sekali di index oleh mesin pencari seperti google, bing, yandex dll.

Apa yang dimaksud dengan Ter-Index ?

Arinya bahwa halaman web yang sobat buat akan terdaftar di halaman pencarian, contoh untuk google dari setiap halaman akan menampilkan 10 halaman web, dan masih terdapat jumlah halaman lain yang bisa dibuka oleh orang yang mencari sesuatu di dalamnya.

Semakin web sobat menempati halaman kecil misalkan terdapat di halaman ke 3 ke 2 atau bahkan halaman pertama (page one), maka kemungkinan besar web sobat akan dibanjiri pengunjung. Sehingga menjadi keuntungan yang luar biasa.

Cara mengatur Custom Robots.txt di Blogspot.

  • Silahkan masuk ke dashboard blog sobat
  • Pilih menu Setelan (Settings)
  • Pilih Preferensi Penelusuran (Search preferences)
  • Klik Edit di Custom robots.txt
  • Masukan Code dibawah ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://blogger-anda.blogspot.com/sitemap.xml

Note : Tulisan Merah ubah dengan Link Web anda dan Save.