Как действуют краулеры Google
Автор: Rolf Broer
Порядок, в котором Гугл исследует страницы вашего сайта — информация весьма ценная. Если вы ей обладаете, вы можете манипулировать краулерами гугла, заставляя их сперва посещать наиболее важные страницы сайта. Возможность подобной манипуляции особенно ценна, когда речь идет о новом сайте с большим количеством контента — вам будет очень важно, чтобы наиболее существенные для вас разделы были проиндексированы в первую очередь.
Чтобы узнать, как действуют краулеры, мы провели эксперимент, а именно — взяли домен с нулевой историей (никогда не регистрировался ранее, входящих ссылок нет) и создали на нем страницу с 250 ссылками. Ссылки вели на другие страницы, на каждой из которых имелось еще 250 ссылок, ведущих, в свою очередь, на другие страницы, на каждой из которых тоже имелось 250 ссылок. И так далее, и так далее. Тексты ссылок и адреса страниц получили в качестве имен номера от 1 до 250, в соответствии с порядком появления в исходном коде. Затем мы сделали сабмит сайта через службу «addurl» и стали ждать.
Читать статью целиком »
