SEO blog wordpress dengan robots.txt

Apa itu file robots.txt dan apa kegunaanya? File ini dipergunakan untuk menginstruksikan para robot mesin pencari untuk dapat menjelajahi/crawled dan mengindex suatu halaman di website kita. Kebanyakan website dan blog mempunyai file dan folder yang tidak relevan untuk mesin pencari (seperti gambar atau file admin) sehingga membuat sebuah file robots.txt dapat benar-benar akan membantu blog kamu berada pada ranking tertinggi di Search Engines (dari Google, Yahoo, MSN dan sebagainya).
File ini sangat mudah untuk dibuat hanya dengan notepad kita sudah dapat memuatnya lalu menguploadnya ke website/blog kamu. Perlu diingat pada saat kamu menkonfigurasi file ini pastikan kalau search engine tidak dapat menjelajahi atau merambah file – file pada blog wordpress kamu. Berikut contoh lengkap dari robots.txt untuk SEO :

User-agent: *<br> Disallow: /cgi-bin<br> Disallow: /wp-admin<br> Disallow: /wp-includes<br> Disallow: /wp-content</p> <p>User-agent: Mediapartners-Google<br> Allow: /</p> <p>User-agent: Adsbot-Google<br> Allow: /</p> <p>User-agent: Googlebot-Image<br> Allow: /</p> <p>User-agent: Googlebot-Mobile<br> Allow: /</p> <p>Sitemap: http://yustian.web.id/sitemap.xml

Atau kamu dapat mendownloadnya melalui Yustian Blog. Nah sekarang tinggal upload ke root direktori blog wordpress kamu dan selesai. Sekiranya informasi ini dapat membantu.

Posted in: Teknik SEO