Home → Cara Setting Robots.txt Khusus di Blogspot

Diposkan oleh On November 15, 2016 with 22 comments

Cara Setting Robots.txt Khusus di Blogspot - Sebagai blogger setidaknya kita mengetahui apa yang dimaksud dengan robots.txt khusus ? File robots.txt merupakan cara terbaik bagi para webmaster untuk mengontrol setiap halaman web pada mesin telusur. Secara singkat robots.txt dapat memabantu kita untuk mengontrol setiap konten yang ada pada web kita apakah konten tersebut boleh di rayapi oleh web crawler dan diindeks oleh mesin telusur atau sebaliknya. Untuk dapat lebih jelas memahami pengertian dari file robots.txt ini Anda dapat membaca artikelnya dibawah ini.

Baca Juga : Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya

Setelah kita paham mengenai pengertian dan fungsi utama dari robots.txt maka selanjutnya kita dapat mencoba mempraktekan atau menerapkannya kedalam blog kita. Tujuan utama mengaktifkan robots.txt ini adalah untuk mengontrol setiap konten atau halaman yang boleh dirayapi dan diindeks oleh mesin telusur, misalnya saja laman archive dan label kedua laman ini memang tidak seharusnya kita tampilkan pada mesin telusur karena tidak mengarah pada konten seseungguhnya. Namun, bagi yang tetap ingin mengindeks halaman archive dan label maka Anda bisa mengaturnya sendiri sesuai kebutuhan.
Cara Setting Robots.txt Khusus di Blogspot - Kreasikan

Bagaimana Cara Mengaktifkan Robots.txt di Blogger ?

Secara default robots.txt pada blogger nonaktif, oleh karena itu kita perlu mengaktifkannya dan mengatur laman mana saja yang perlu diindeks mesin telusur. Berikut cara setting robots.txt khusus di blogspot :
Cara Setting Robots.txt Khusus di Blogspot Workflow
1. Masuk ke Blogger.com
2. Lalu klik pada bagian Setelan > Preferensi Penelusuran
3. Kemudian masukkan file robots.txt dibawah ini
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.kreasikan.com/feeds/posts/default?orderby=UPDATED
4. Lalu klik simpan perubahan
Catatan :
http://www.kreasikan.com ganti dengan URL blog Anda.

File robots.txt diatas merupakan robots.txt yang standar dan paling banyak digunakan oleh para blogger. Untuk mengetahui mengetahui jenis-jenis file robots.txt lainnya Anda bisa membacanya pada artikel selanjutnya.

Baca Juga : Kumpulan File Robots.txt SEO Friendly

Setelah mengaktifkan fitur robots.txt pada blogspot, kita juga perlu mengatur pada bagian tag tajuk robot khusus fitur ini juga sama fungsinya hanya saja yang ini untuk mengontrol pada bagian laman konten di blogspot, nah dalam mengaktifkannya Anda perlu berhati-hati kalau salah bisa-bisa konten yang kita tulis malah tidak terindex. Lalu bagaimana cara setting tag tajuk robot khusus ini, akan kita bahas pada artikel selanjutnya.

Baca Juga : Cara Setting Tag Tajuk Robot Khusus di Blogspot

Semoga dengan mengaktifkan file robots.txt pada blogger dapat memaksimalkan lagi hasil penelusuran konten kita pada mesin pencari sehingga blog kita bisa rampai di penuhi pengunjung. Jadi cobalah untuk mengaktifkannya tapi jika Anda masih ragu silahkan untuk tidak mengaktifkannya. Tetapi jika Anda berani dengan resikonya bisa Anda coba dengan mengaktifkan file robots.txt ini karena hasilnya juga akan memuaskan asalkan kita benar dalam memberikan perintah pada file robots.txt tersebut.

22 Komentar Untuk "Cara Setting Robots.txt Khusus di Blogspot"

pernah robot txt ini saya pasang mas, tapi masalahnya laporan url terindeks yang ada di search console justru malah banyak sekali yang gak diindeks. takut artikel-artikel saya gak ada yang nongol akhirnya saya copot lagi. itu gimana ya mas, gak apa-apa? atau gimana?

itu mungkin ada perintah yang salah mas, jadi di blokir semua sama robot nya, memang perlu hati-hati kalau mau mengaktifkan fitur robots.txt ini dan kalau blog sudah berumur lama dan artikel banyak pas fitur robots di aktifkan pasti banyak yang error

tapi robot txt yang saya pasang udah seperti yang di atas itu to mas. terus kira kira kalau robot txt gak diaktifkan efeknya gimana ya mas?

secara default robots.txt akan merayapi setiap laman web, jadi kebanyakan robots.txt digunakan untuk memblokir laman supaya di indeks aja

Jujur kang baru tahu kali ini deh kalau secara detailnya begini mah, ahi hi hi jadi malu ( kudet ), tapi sekarang mah kayaknya sudah tahu full movie...eh

saya kurang begitu mengerti mas, udah baca 2 kali juga masih kurang hehehee
dan untuk masalah resikonya itu apakah akan sangat fatal mas?

Asal jangan salah pengaturannya ya kang, robot txt ini agar bisa bekerja denagn baik..

Biasanya kalau kagak salahmah itu juga sering dipake supaya blog kita ndak dirayapi oleh auto visitor,,, tapi kurang tahu sihhh,,, XD

ya kang gpp lah kita belajar sama-sama disini hehe...

coba lah baca 3 kali, hehe
paling artikel gak ke indeks itu saja, hihi...

iya kang, kalau settingnya bener pasti bekerja dengan baik...

hmmm, bisa jadi ya kang, kalau tidak mau dirayapi bot sih mending pakai user-agent googlebot jadi artikel cuman bisa di indeks google saja

Kalau saya jujur dulu pernah juga sih mempergunakan robots txt.Dan sekarang saya lepas semua karena saya lebih suka di Webmaster Tool aja settingnya Kang..dan kayanya lebih enak..hhehee

weee biasa g jujur ya...?

saya berpendapat.... hampir semua design template sudah di desain secara keseluruan dari pembuatnya terkait entah itu seo atau pun tag h1 sampai h5 serta elemen Robots.txt gitu Mas...

penerapan robot.txt yang benar akan membantu optimasi seo blog kita, saya pernah salah pasang robot.txt, walhasil blog saya banyak kerusakan link T_T

Saya belum pernah mncobanya gan, lain waktu ane coba lah robot ini

OHW...default blogger dimatikan robot txtnya...saya sih gak pernah utak atik ini mas takut salah malah trafik turun deh soalnya dengan default saja trafik dah lumayan

iya betul mas, sekarang template blog rata-rata sudah pakai meta tag robots

nah kalau mau pasang robots txt sih bagusnya pas awal-awal bikin blog atau kalau masih kontennya sedikit, karena kalau sudah banyak bisa-bisa yang keblokir linknya banyak juga.

silahkan sob, semoga bermanfaat...

iya mas, robots txt secara default dalam posisi tidur, kalau sampai di bangunkan hemm... wkwk

1. Jangan menaruh link aktif maupun non aktif
2. Jangan promosi dalam bentuk apapun
3. Jangan menggunakan kata-kata yang tidak pantas

Terimakasih atas komentar Anda di "Cara Setting Robots.txt Khusus di Blogspot"