Роботы поисковой системы, иногда их называют <пауки> или <кроулеры> (crawler) - это программные модули, занимающиеся поиском web-страниц. Как они работают? Что же они делают в действительности? Почему они важны?

Учитывая весь шум вокруг поисковой оптимизации и индексных баз данных поисковиков, вы, наверное думаете, что роботы должно быть великие и могущественные существа. Неправда. Роботы поисковика обладают лишь базовыми функциями, похожими на те, которыми обладали одни из первых броузеров, в отношении того, какую информацию они могут распознать на сайте. Как и ранние броузеры, роботы попросту не могут делать определенные вещи. Роботы не понимают фреймов, Flash анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем и не могут нажимать на все те кнопочки, которые есть на сайте. Они могут "заткнуться" в процессе индексирования динамических адресов URL и работать очень медленно, вплоть до остановки и безсилием над JavaScript-навигацией.

Как работают роботы онлайн поисковой системы?

Поисковые роботы стоит воспринимать, как программы автоматизированного получения данных, путешествующие по сети в поисках информации и ссылок на информацию.

Когда, зайдя на страницу "Submit a URL", вы регистрируете очередную web-страницу в поисковике - в очередь для просмотра сайтов роботом добавляется новый URL. Даже если вы не регистрируете страницу, множество роботов найдет ваш сайт, поскольку существуют ссылки из других сайтов, ссылающиеся на ваш. Вот одна из причин, почему важно строить ссылочную популярность и размещать ссылки на других тематических ресурсах.

Прийдя на ваш сайт, роботы сначала проверяют, есть ли файл robots.txt. Этот файл сообщает роботам, какие разделы вашего сайта не подлежат индексации. Обычно это могут быть директории, содержащие файлы, которыми робот не интересуется или ему не следовало бы знать.

Роботы хранят и собирают ссылки с каждой страницы, которую они посещают, а позже проходят по этим ссылкам на другие страницы. Вся всемирная сеть построена из ссылок. Начальная идея создания Интернет сети была в том, что бы была возможность перемещаться по ссылкам от одного места к другому. Вот так перемещаются и роботы.

"Остроумность" в отношении индексирования страниц в реальном режиме времени зависит от инженеров поисковых машин, которые изобрели методы, используемые для оценки информации, получаемой роботами поисковика. Будучи внедрена в базу данных поисковой машины, информация доступна пользователям, которые осуществляют поиск. Когда пользователь поисковой машины вводит поисковый запрос, производится ряд быстрых вычислений для уверенности в том, что выдается действительно правильный набор сайтов для наиболее релевантного ответа.

Вы можете просмотреть, какие страницы вашего сайта уже посетил поисковый робот, руководствуясь лог-файлами сервера, или результатами статистической обработки лог-файла. Идентифицируя роботов, вы увидите, когда они посетили ваш сайт, какие страницы и как часто. Некоторые роботы легко идентифицируются по своим именам, как Google's "Googlebot". Другие более скрытые, как, например, Inktomi's "Slurp". Другие роботы так же могут встречаться в логах и не исключено, что вы не сможете сразу их идентифицировать; некоторые из них могут даже оказаться броузерами, которыми управляют люди.

Помимо идентификации уникальных поисковых роботов и подсчета количества их визитов, статистика также может показать вам агрессивных, поглощающих ширину катала пропускания роботов или роботов, нежелательных для посещения вашего сайта.

Как они читают страницы вашего web-сайта?

Когда поисковой робот посещает страницу, он просматривает ее видимый текст, содержание различных тегов в исходном коде вашей страницы (title tag, meta tags, и т.д.), а так же гиперссылки на странице. Судя по словам ссылок, поисковая машина решает, о чем страница. Есть много факторов, используемых для вычисления ключевых моментов страницы "играющих роль". Каждая поисковая машина имеет свой собственный алгоритм для оценки и обработки информации. В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базу данных поисковой системы.

После этого, информация, доставленная в индексные базы данных поисковой системы, становится частью поисковика и процесса ранжирования в базе. Когда посетитель существляет запрос, поисковик просматривает всю базу данных для выдачи конечного списка, релевантного поисковому запросу.

Базы данных поисковых систем подвергаются тщательной обработке и приведению в соответствие. Если вы уже попали в базу данных, роботы будут навещать вас периодически для сбора любых изменений на страницах и уверенности в том, что обладают самой последней информацией. Количество посещений зависит от установок поисковой машины, которые могут варьироваться от ее вида и назначения.

Иногда поисковые роботы не в состоянии проиндексировать web-сайт. Если ваш сайт упал или на сайт идет большое количество посетителей, робот может быть безсилен в попытках его индексации. Когда такое происходит, сайт не может быть переиндексирован, что зависит от частоты его посещения роботом. В большинстве случаев, роботы, которые не смогли достичь ваших страниц, попытаются позже, в надежде на то, что ваш сайт в ближайшее время будет доступен.

Многие поисковые роботы не могут быть идентифицированы, когда вы просматриваете логи. Они могут посещать вас, но логи утверждают, что кто-то использует Microsoft броузер и т.д. Некоторые роботы идентифицируют себя использованием имени поисковика (googlebot) или его клона (Scooter = AltaVista).

В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базы данных поисковой машины.

Базы данных поисковых машин подвергаются модификации в различные сроки. Даже директории, имеющие вторичные поисковые результаты используют данные роботов как содержание своего web-сайта.

Собственно, роботы не используются поисковиками лишь для вышеизложенного. Существуют роботы, которые проверяют баз данных на наличие нового содержания, навещают старое содержимое базы, проверяют, не изменились ли ссылки, загружают целые сайты для просмотра и так далее.

По этой причине, чтение лог-файлов и слежение за выдачей поисковой системы помогает вам наблюдать за индексацией ваших проектов.

Все правильно, но нужно еще и обратить внимание на следующее:
Разработчики поисковых систем принимают меры по совершенствованию пауков. Сегодня практически все поисковые пауки умеют отсеивать поисковый спам вводимый в теги и скрытые поля. Проводить сравнительный анализ на осмысленность и соответствие содержанию ваших страниц. По этому, если в ключевые слова вы впишете слова «Москва», «Реферат», «Порно», «секс» и прочие слова, которые публикуются в списках популярных запросов, а робот не найдёт на ваших страницах материала соответствующего заголовку, то скорее всего ваш ресурс будет внесён в чёрный список и робот наведается к вам не очень скоро. Из этого следует, что страницы вашего сайта не будут проиндексированы и останутся, не известны.

я б не сказал что бот яши чтото умеет там вообще полный беспредел косит всех под одну гребенку что говносайты что некоторые сдл

я б не сказал что бот яши чтото умеет там вообще полный беспредел косит всех под одну гребенку что говносайты что некоторые сдл

Да уж, новый алгоритм убивает большое количество страниц, которые находились до сих пор в индексе и жили себе спокойно. А сейчас все - надо работать больше над блогами.

сейчас надо чтобы поисковики работали по быстрей.

они и так вроде не медленно трудятся

Все равно еще далеко до идеального отображения результатов поиска, иногда такой бред показывает...(

Сообщение от LOOK

я б не сказал что бот яши чтото умеет там вообще полный беспредел косит всех под одну гребенку что говносайты что некоторые сдл

Назначение бота всего лишь в закачке страниц сайтов. Ранжирует выдачу не бот а внутренние алгоритмы ПС, которые кажется в данном случае называются Матрикснет.

Сообщение от Саш_а

Все равно еще далеко до идеального отображения результатов поиска, иногда такой бред показывает...(

Даже если будет создан настоящий полноценный искусственный интеллект, все равно выдача поисковой системы зависит не только от содержания самих сайтов, а еще и в предсказании того, что именно нужно Задумайтесь, вы можете предсказать мысли и хотелки своих жен? Женская логика вообще делает ИИ в этом случае бессмысленным.

они и так вроде не медленно трудятся

Ну, если сравнить Яндекс и гугл, то последний быстрее индексирует новые страницы, а вот обновление апдейтов Яндекса желают лучшего...

да какой может быть заработок ???

У меня страницы из индекса выпадают...(

вот это интересно почему выпадают???

Алгоритму ПС что-то не понравилось вот и выпадают, но бывают и глюки и очень часто, когда страницы и целые сайты выпадают просто так, без причины. Но потом в следующий апдейт возвращаются.

ссылки + контент = хорошие позиции
если писать уникальный контент с клюами + трастовые ссылки, это именно то, на что обращает внимание поисковик

сейчас проверил сайт по хтул.
сообщение: из-за сбоя алгоритма яндекса - сайт не может быть проверен.
в последнее время у яндекса как-то проблемы вообще с алгоритмами.

Да, многие вебмастера жалуются на качели, позиции практично скачут ежедневно, то вверх, то вниз. Что то опять колдует Яша с ранжированием.

Сообщение от LOOK

я б не сказал что бот яши чтото умеет там вообще полный беспредел косит всех под одну гребенку что говносайты что некоторые сдл

Да, полный неадекват там последнее время )

Уважаемые, нуждаюсь в поиске конкретной технической информации, но являюсь обычным пользователем ПК и инета, к тому же необходим разовый поиск информации. Подскажите, к кому можно обратиться, кто может оказать мне услугу в поиске конкретной информации в инете. Поисковики Гугла, Яндекса и других обычных браузеров не находят необходимую мне информацию. Скачивать плагин-робот, ничего не понимаю, как это инсталировать на ПК, к тому же вроде как Гугл и другие поисковики не приветствуют такие плагины. Мне проще оплатить услугу в поиске разовой информации профессионалу айтишнику, который отышет мне информацию "по длинному хвосту", "лисьему хвосту". Подскажите форум, русскоязычный, где обитают подобные профи по "поисковым роботам"?

ссылки + контент = хорошие позиции

Согласна, что нужно чаще обновлять полезный контент на своем сайте, а вот с ссылками нужно быть осторожным и проверять доноров на отсутствие переспама, на схожесть тематик и т.д.

На самом деле, поисковые роботы не отличаются высокими скоростями. Иной раз ждать индексации новых текстов приходится до 2-3 недель. А что в этом случае делать, если тебе надо как можно скорее привести посетителей на сайт и продвинуть (продать) тот или иной продукт? Поэтому я частенько советую настроить контекстную рекламу и тем, кто использует поисковое продвижение. Одно другому не мешает, а скорее наоборот))