Setelah tadi aku posting mengenai Bagaimana Cara Submit Sitemap Blog Di Google, Sekarang saatnya mengurai apa itu robots.txt. Diibaratkan kalau Sitemap.xml/Atom.xml ialah peta yang kita berikan pengunjung mengenai isi website. Supaya pengunjung/Google tahu lokasi-lokasi yang sanggup ditemukan dengan mudah, robot.txt ialah palang isu dan peringatan untuk Mesin Pencari. Adapun letak robots.txt harus sempurna berada pada root directory web/hosting. Tidak dianggap jikalau posisinya ada di dalam sub direcoty/sub domain.
Isi robots.txt sanggup dicontohkan sebagai berikut.
Dari pola di atas (folder1) robots.txt menyampaikan pada Google..
Goooogle,, ada yang gres lho.... Masuk sini aja... Lihat-lihat....
Sedangkan baris ketiga dan ke empat (folder2) ialah warning bagi Google.
Heh,, Google.. Jangan masuk ke sini.. Didalem ada Buayanya lho...
dan Google akibatnya menjawab.. Hii.. Atut,,, Okey Dech klo gitu,,, Tengkyu.... aQ tak ke folder1 kalo gitu...
Itu aja dongeng perihal persahabatab dari SiRobocop.txt dan Mbah Google. Dan akibatnya mereka hidup berdampingan dan berbahagia... hahaha...
Isi robots.txt sanggup dicontohkan sebagai berikut.
User-agent: * Allow: /folder1/ User-Agent: Googlebot Disallow: /folder2/
Dari pola di atas (folder1) robots.txt menyampaikan pada Google..
Goooogle,, ada yang gres lho.... Masuk sini aja... Lihat-lihat....
Sedangkan baris ketiga dan ke empat (folder2) ialah warning bagi Google.
Heh,, Google.. Jangan masuk ke sini.. Didalem ada Buayanya lho...
dan Google akibatnya menjawab.. Hii.. Atut,,, Okey Dech klo gitu,,, Tengkyu.... aQ tak ke folder1 kalo gitu...
Itu aja dongeng perihal persahabatab dari Si
Sumber https://kangmis.blogspot.com/
