Jika dulu udah belajar seo dan juga tips seo untuk pemula, kali ini akan membahas tentang mengoptimalkan seo secara mendalam dengan robots.txt. Sebelum masuk ke materi robots.txt saya jabarkan dulu fungsi dan kegunaan robots.txt secara gampangannya saja untuk mengoptimalkan seo di blog maupun situs kamu.
1. Robots.txt dapat mencegah terjadinya duplikat di situs kamu. Contoh mudahnya saja dalam blog ini terjadi duplikat saat anda mengakses page dari blog ini. http://www.bayumukti.com/page/2/ dan http://www.bayumukti.com/page/3/. Terjadinya duplikat dikarenakan meta description dan keywordnya di kedua page itu terjadi. Maka akan terjadi yang namanya duplikat konten 
. Kalau sudah duplikat konten seperti itu, maka kualitas situs atau blog kita di mata google akan turun.
. Kalau sudah duplikat konten seperti itu, maka kualitas situs atau blog kita di mata google akan turun.2. Robots.txt mencegah index dari situs kita yang bersifat pribadi. File-file penting dalam blog atau situs kita jangan sampai diindex google, karena kalau sudah keindex, bahaya hacking bisa terjadi .
.3. Mencegah google mengindex halaman-halaman yang tidak perlu dan tidak seharusnya masuk kedalam index.
Mungkin untuk fungsi dan manfaat dari robots.txt kurang lebihnya adalah 3 hal itu. Nah untuk membuat sebuah robots.txt sendiri caranya sangat mudah. Tinggal pergi ke halaman file manager hosting kamu, lalu buat file bernama robots.txt. Tuliskan beberapa perintah robots.txt sesuai keinginan kamu. Ini beberapa perintah yang saya ambil dari panduan robots txt google.
*Block dengan cara menuliskan disallow ditambah /.
Disallow: /
* block halaman page dengan cara seperti berikut ini .
Disallow: /page/
* Untuk memblok gambar agar tidak diindex google dengan cara berikut ini :
User-agent: Googlebot-Image
Disallow: /images/bayumukti.jpg
*Menghapus dan tidak mengingikan google mengindex semua halaman gambar kamu:
User-agent: Googlebot-Image
Disallow: /
*Untuk memerintah semua diindex di search engine
User-agent:
Allow: /
*untuk memerintahkan google tidak mengindex halaman yang berhubungan dengan kata comment, page, search dan banyak lagi
User-agent: Googlebot
Disallow: /comment*/
Nah itu adalah beberapa perintah robots.txt yang bisa anda pelajari dalam mengoptimalkan seo di situs dan blog anda. Kalau pengen tahu tiap situs robots.txt nya kayak gimana, tinggal tambahkan domain.com/robots.txt . Mungkin ini saja yang bisa saya berikan untuk kali ini dalam masalah pengoptimalan SEO untuk situs atau blog kamu. Selamat mencoba.
Related posts: . Mungkin ini saja yang bisa saya berikan untuk kali ini dalam masalah pengoptimalan SEO untuk situs atau blog kamu. Selamat mencoba.