Custom robots.txt

Robots.txt kustom adalah cara bagi Anda untuk menginstruksikan mesin pencari yang Anda tidak ingin menjelajah halaman tertentu blog Anda ("merangkak" berarti bahwa crawler, seperti Googlebot, melalui konten Anda, dan indeks sehingga lainnya orang dapat menemukannya ketika mereka mencari untuk itu). Sebagai contoh, katakanlah ada bagian dari blog Anda yang memiliki informasi Anda lebih suka tidak mempromosikan, baik untuk alasan pribadi atau karena tidak mewakili tema umum blog Anda - ini adalah di mana Anda dapat memperjelas pembatasan ini.

Namun, perlu diingat bahwa situs lain mungkin terkait dengan halaman yang Anda telah memutuskan untuk membatasi. Selanjutnya, Google dapat mengindeks halaman Anda jika kita menemukan dengan mengikuti link dari situs orang lain. Untuk menampilkannya dalam hasil pencarian, Google akan perlu untuk menampilkan judul dari beberapa jenis dan karena kita tidak akan memiliki akses ke konten halaman Anda, kami akan mengandalkan konten off-halaman seperti jangkar teks dari situs lain. (Untuk benar-benar memblokir URL dari diindeks, Anda dapat menggunakan meta tag.)

To exclude certain content from being searched, go to Settings | Search Preferences and click Edit next to "Custom robots.txt." Enter the content which you would like web robots to ignore. For example:

User-agent: *
Disallow: /about

You can also read about robot.txt on this post on the Google Webmaster’s blog .

Apakah artikel ini berguna?

TRAFICTSEO