Home → Kumpulan Kode Robots.txt Blogger SEO Friendly

Diposkan oleh On November 17, 2016 with 17 comments

Kumpulan Kode Robots.txt Blogger SEO Friendly - Kita bahas kembali mengenai penggunaan robots.txt pada blogger, kali ini saya akan memberikan beberapa kode yang bisa digunakan untuk membuat file robots.txt di blogger. Pada kesempatan sebelumnya saya sudah pernah menjelaskan pengertian dari robots.txt untuk mengingatnya kembali Anda bisa baca kembali artikel tersebut.

Baca Juga : Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya

Disini saya akan memberikan contoh sederhana mengenai kumpulan file robots txt yang mungkin bisa Anda coba diterapkan pada situs web Anda khususnya blogger. Tentunya setelah Anda membaca artikel ini mungkin Anda ingin menerapkannya atau mencobanya memasang pada blog Anda, saya sudah pernah menjelaskannya cara menggunakan file robots.txt ini namun file tersebut masih standar, jadi disini Anda akan menemukan beberapa kode alternatif file robots.txt yang bisa Anda gunakan untuk blog Anda, untuk cara memasangnya Anda bisa baca artikel sebelumnya.

Baca Juga : Cara Setting Robots.txt Khusus di Blogspot

Seletah paham pengertian dari robots.txt dan tahu cara menggunakannya kini kita coba untuk menggunakan file robots.txt yang berbeda dari bawaannya. Saya ingatkan kembali bahwa file robots.txt ini berfungsi untuk mengontrol situs web kita dalam mesin penelusuran, jika situs web Anda memiliki data yang penting dan tidak ingin dirayapi dan diindeks mesin telusur salah satu solusinya yaitu dengan menggunakan robots.txt ini. Langsung saja kita simak kumpulan kode robots.txt seo friendly untuk blogger dibawah ini.
Kumpulan Kode Robots.txt Blogger SEO Friendly - Kreasikan
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.kreasikan.com/feeds/posts/default?orderby=UPDATED
Kode robots.txt diatas merupakan kode standar atau default yang biasanya banyak digunakan oleh blogger, file robots.txt tersebut memberitahukan kepada semua mesin telusur yang ditandai dengan tanda * (asterisk) dan memberikan perintah disallow /search yang berarti semua mesin telusur tidak boleh merayapi dan mengindeks folder /search contohnya /search/label/ dan seterusnya.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://www.kreasikan.com/feeds/posts/default?orderby=UPDATED
Apa bedanya kode diatas dengan file robots.txt yang pertama ? Tentu saja beda, kode ini menunjukan bahwa semua mesin telusur boleh merayapi dan melakukan indeks kepada seluruh laman yang ada pada sebuah web karena perintah disallow semuanya kosong, sehingga robots tidak dilarang untuk merayapi seluruh laman web.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /

Sitemap: http://www.kreasikan.com/feeds/posts/default?orderby=UPDATED
Kode diatas hampir sama dengan robots.txt yang pertama, namun kode ini tidak melarang seluruh folder /search untuk tidak dirayapi dan diindeks karena kode ini memberikan larangan yang lebih spesifik lagi seperti pada file robots.txt diatas dan folder .../search/label/... masih bisa dirayapi dan diindeks oleh web crawler.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /p/about.html
Allow: /

Sitemap: http://www.kreasikan.com/feeds/posts/default?orderby=UPDATED
Kode robots.txt ini berfungsi untuk memblokir halaman tertentu di mesin telusur. Diatas merupakan contoh jika kita ingin memblokir laman .../p/about.html pada hasil penelusuran mesin pencari.
User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0

User-agent: *
Disallow: /search

Sitemap: http://www.kreasikan.com/feeds/posts/default?orderby=UPDATED
Kode robots.txt ini memberikan perintah kepada robot yang dimiliki Google yaitu googlebot untuk tidak merayapi folder /search folder /?m=1 dan /?m=0 dimana kode m=1 dan m=0 berlaku untuk penelusuran dengan menggunakan perangkat mobile. Jadi, blog Anda tidak akan tampil dengan versi mobile jika menggunakan kode robots.txt ini. Namun, saya sarankan jika Anda memiliki blog dengan menggunakan template yang sudah resposive dan memiliki tampilan khusus mobile, Anda tidak perlu menggunakan file robots.txt ini. Tetapi, file robots.txt ini dapat mengatasi duplikat konten khususnya konten versi mobile dan konten versi desktop.

Nah, kode diatas merupakan kumpulan file robots.txt yang seo friendly, dari beberapa kode di atas Anda masih bisa mengkreasikannya supaya lebih baik, misalnya kode pertama dan kedua Anda gabungkan mungkin hasilnya akan bagus untuk blog Anda, tapi hal tersebut harus disesuaikan dengan kebutuhan Anda sendiri.

17 Komentar Untuk "Kumpulan Kode Robots.txt Blogger SEO Friendly"

saya pake cara yang kedua mas, ternyata ga tepat ya..

tergantung kebutuhan juga mba, kalau yang kedua itukan mengizinkan semua robot untuk mengindeks seluruh laman web kita, kalau memang itu diperlukan ya tidak masalah, hehe...

Nahh asyiik saya coba ya Mas..hehe

silahkan mba, hati-hati dalam menggunakannya ya...

saya kurang begitu mengerti mas kalau masalah beginian hehee tapi mau coba juga sih :D

kalau saya pakai cara yang paling atas.. standard ya :)

kalau mau coba harus ngerti dulu mas :)

Kalau gitumah mendingan saya comot dulu script kumpulan kode robots nya mang,, biar tak terapin ke blogku...

nah iya tuh bener mang Yono, hehe
tak kenal maka tak sayang

iya mang, yang paling atas kode standar robots.txt yang banyak di pakai blogger

silahkan mang, di kreasikan kode robots.txt nya

sayaa pake robots.txt yg standar, tapi kok banyak duplikat kontennya di webmaster. gimana itu mas?

duplikat konten biasanya terjadi akibat banyaknya konten yang di telusuri oleh mobile dan desktop, nah Kang Ucup bisa coba robots.txt yang terakhir, tapi tidak saya sarankan kang. Coba tambahkan kode ini dibagian meta tag
<link expr:href='data:blog.url' rel='canonical'/>

Wih Mantep gan makasih ya gan

1. Jangan menaruh link aktif maupun non aktif
2. Jangan promosi dalam bentuk apapun
3. Jangan menggunakan kata-kata yang tidak pantas

Terimakasih atas komentar Anda di "Kumpulan Kode Robots.txt Blogger SEO Friendly"