Как работают поисковые роботы - Бизнес Форум
 

Вернуться   Бизнес Форум » Форум вебмастеров | SEO форум » Поисковые системы | Социальные сети
Читать нас
facebook google + ВКонтакте Youtube Мой Мир Twitter RSS

Важная информация

Поисковые системы | Социальные сети Новости и обсуждения Google, Яндекс, Rambler, Yahoo, Aport, VK, OK, Twitter, Facebook, YouTube...


Ответ
 
Опции темы Поиск в этой теме
Старый 25.02.2009, 00:30   #1
dast
Guest
 
Аватар для dast
 
Сообщений: n/a


По умолчанию Как работают поисковые роботы

Роботы поисковой системы, иногда их называют <пауки> или <кроулеры> (crawler) - это программные модули, занимающиеся поиском web-страниц. Как они работают? Что же они делают в действительности? Почему они важны?

Учитывая весь шум вокруг поисковой оптимизации и индексных баз данных поисковиков, вы, наверное думаете, что роботы должно быть великие и могущественные существа. Неправда. Роботы поисковика обладают лишь базовыми функциями, похожими на те, которыми обладали одни из первых броузеров, в отношении того, какую информацию они могут распознать на сайте. Как и ранние броузеры, роботы попросту не могут делать определенные вещи. Роботы не понимают фреймов, Flash анимаций, изображений или JavaScript. Они не могут зайти в разделы, защищенные паролем и не могут нажимать на все те кнопочки, которые есть на сайте. Они могут "заткнуться" в процессе индексирования динамических адресов URL и работать очень медленно, вплоть до остановки и безсилием над JavaScript-навигацией.

Как работают роботы онлайн поисковой системы?

Поисковые роботы стоит воспринимать, как программы автоматизированного получения данных, путешествующие по сети в поисках информации и ссылок на информацию.

Когда, зайдя на страницу "Submit a URL", вы регистрируете очередную web-страницу в поисковике - в очередь для просмотра сайтов роботом добавляется новый URL. Даже если вы не регистрируете страницу, множество роботов найдет ваш сайт, поскольку существуют ссылки из других сайтов, ссылающиеся на ваш. Вот одна из причин, почему важно строить ссылочную популярность и размещать ссылки на других тематических ресурсах.

Прийдя на ваш сайт, роботы сначала проверяют, есть ли файл robots.txt. Этот файл сообщает роботам, какие разделы вашего сайта не подлежат индексации. Обычно это могут быть директории, содержащие файлы, которыми робот не интересуется или ему не следовало бы знать.

Роботы хранят и собирают ссылки с каждой страницы, которую они посещают, а позже проходят по этим ссылкам на другие страницы. Вся всемирная сеть построена из ссылок. Начальная идея создания Интернет сети была в том, что бы была возможность перемещаться по ссылкам от одного места к другому. Вот так перемещаются и роботы.

"Остроумность" в отношении индексирования страниц в реальном режиме времени зависит от инженеров поисковых машин, которые изобрели методы, используемые для оценки информации, получаемой роботами поисковика. Будучи внедрена в базу данных поисковой машины, информация доступна пользователям, которые осуществляют поиск. Когда пользователь поисковой машины вводит поисковый запрос, производится ряд быстрых вычислений для уверенности в том, что выдается действительно правильный набор сайтов для наиболее релевантного ответа.

Вы можете просмотреть, какие страницы вашего сайта уже посетил поисковый робот, руководствуясь лог-файлами сервера, или результатами статистической обработки лог-файла. Идентифицируя роботов, вы увидите, когда они посетили ваш сайт, какие страницы и как часто. Некоторые роботы легко идентифицируются по своим именам, как Google's "Googlebot". Другие более скрытые, как, например, Inktomi's "Slurp". Другие роботы так же могут встречаться в логах и не исключено, что вы не сможете сразу их идентифицировать; некоторые из них могут даже оказаться броузерами, которыми управляют люди.

Помимо идентификации уникальных поисковых роботов и подсчета количества их визитов, статистика также может показать вам агрессивных, поглощающих ширину катала пропускания роботов или роботов, нежелательных для посещения вашего сайта.

Как они читают страницы вашего web-сайта?

Когда поисковой робот посещает страницу, он просматривает ее видимый текст, содержание различных тегов в исходном коде вашей страницы (title tag, meta tags, и т.д.), а так же гиперссылки на странице. Судя по словам ссылок, поисковая машина решает, о чем страница. Есть много факторов, используемых для вычисления ключевых моментов страницы "играющих роль". Каждая поисковая машина имеет свой собственный алгоритм для оценки и обработки информации. В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базу данных поисковой системы.

После этого, информация, доставленная в индексные базы данных поисковой системы, становится частью поисковика и процесса ранжирования в базе. Когда посетитель существляет запрос, поисковик просматривает всю базу данных для выдачи конечного списка, релевантного поисковому запросу.

Базы данных поисковых систем подвергаются тщательной обработке и приведению в соответствие. Если вы уже попали в базу данных, роботы будут навещать вас периодически для сбора любых изменений на страницах и уверенности в том, что обладают самой последней информацией. Количество посещений зависит от установок поисковой машины, которые могут варьироваться от ее вида и назначения.

Иногда поисковые роботы не в состоянии проиндексировать web-сайт. Если ваш сайт упал или на сайт идет большое количество посетителей, робот может быть безсилен в попытках его индексации. Когда такое происходит, сайт не может быть переиндексирован, что зависит от частоты его посещения роботом. В большинстве случаев, роботы, которые не смогли достичь ваших страниц, попытаются позже, в надежде на то, что ваш сайт в ближайшее время будет доступен.

Многие поисковые роботы не могут быть идентифицированы, когда вы просматриваете логи. Они могут посещать вас, но логи утверждают, что кто-то использует Microsoft броузер и т.д. Некоторые роботы идентифицируют себя использованием имени поисковика (googlebot) или его клона (Scooter = AltaVista).

В зависимости от того, как робот настроен, информация индексируется, а затем доставляется в базы данных поисковой машины.

Базы данных поисковых машин подвергаются модификации в различные сроки. Даже директории, имеющие вторичные поисковые результаты используют данные роботов как содержание своего web-сайта.

Собственно, роботы не используются поисковиками лишь для вышеизложенного. Существуют роботы, которые проверяют баз данных на наличие нового содержания, навещают старое содержимое базы, проверяют, не изменились ли ссылки, загружают целые сайты для просмотра и так далее.

По этой причине, чтение лог-файлов и слежение за выдачей поисковой системы помогает вам наблюдать за индексацией ваших проектов.

Последний раз редактировалось LOOK; 27.06.2014 в 01:00.
  Ответить с цитированием
Старый 12.10.2009, 20:21   #2
andy_levkovich
Бывалый
 
Аватар для andy_levkovich
Оффлайн
 
Регистрация: 08.09.2009
Сообщений: 2,328
Поблагодарили 68 раз(а)


По умолчанию Re: Как работают поисковые роботы

Все правильно, но нужно еще и обратить внимание на следующее:
Разработчики поисковых систем принимают меры по совершенствованию пауков. Сегодня практически все поисковые пауки умеют отсеивать поисковый спам вводимый в теги и скрытые поля. Проводить сравнительный анализ на осмысленность и соответствие содержанию ваших страниц. По этому, если в ключевые слова вы впишете слова «Москва», «Реферат», «Порно», «секс» и прочие слова, которые публикуются в списках популярных запросов, а робот не найдёт на ваших страницах материала соответствующего заголовку, то скорее всего ваш ресурс будет внесён в чёрный список и робот наведается к вам не очень скоро. Из этого следует, что страницы вашего сайта не будут проиндексированы и останутся, не известны.

Последний раз редактировалось LOOK; 27.06.2014 в 00:59.
  Ответить с цитированием
Старый 15.10.2009, 01:36   #3
LOOK
Магистр
 
Аватар для LOOK
Оффлайн
 
Регистрация: 10.10.2008
Адрес: Интернет
Сообщений: 6,268
Поблагодарили 297 раз(а)


По умолчанию Re: Как работают поисковые роботы

я б не сказал что бот яши чтото умеет там вообще полный беспредел косит всех под одну гребенку что говносайты что некоторые сдл
  Ответить с цитированием
Старый 16.10.2009, 23:00   #4
wert
Не активные
 
Аватар для wert
Оффлайн
 
Регистрация: 11.12.2008
Сообщений: 410
Поблагодарили 17 раз(а)


По умолчанию Re: Как работают поисковые роботы

Цитата:
я б не сказал что бот яши чтото умеет там вообще полный беспредел косит всех под одну гребенку что говносайты что некоторые сдл
Да уж, новый алгоритм убивает большое количество страниц, которые находились до сих пор в индексе и жили себе спокойно. А сейчас все - надо работать больше над блогами.
  Ответить с цитированием
Старый 03.12.2013, 14:43   #5
ATORIST
Заблокированный
 
Аватар для ATORIST
Оффлайн
 
Регистрация: 27.11.2013
Сообщений: 10
Поблагодарили 0 раз(а)


По умолчанию Re: Как работают поисковые роботы

сейчас надо чтобы поисковики работали по быстрей.
  Ответить с цитированием
Старый 01.11.2014, 06:25   #6
st-amz
Интересующийся
 
Аватар для st-amz
Оффлайн
 
Регистрация: 01.11.2014
Сообщений: 21
Поблагодарили 1 раз


По умолчанию Re: Как работают поисковые роботы

они и так вроде не медленно трудятся
  Ответить с цитированием
Старый 23.12.2015, 19:15   #7
Саш_а
Заглянувший
 
Аватар для Саш_а
Оффлайн
 
Регистрация: 23.12.2015
Адрес: Россия, Спб
Сообщений: 10
Поблагодарили 1 раз


По умолчанию Re: Как работают поисковые роботы

Все равно еще далеко до идеального отображения результатов поиска, иногда такой бред показывает...(
  Ответить с цитированием
Старый 21.02.2016, 16:03   #8
Deasher
Заглянувший
 
Аватар для Deasher
Оффлайн
 
Регистрация: 21.02.2016
Сообщений: 3
Поблагодарили 0 раз(а)


По умолчанию Re: Как работают поисковые роботы

Цитата:
Сообщение от LOOK Посмотреть сообщение
я б не сказал что бот яши чтото умеет там вообще полный беспредел косит всех под одну гребенку что говносайты что некоторые сдл
Назначение бота всего лишь в закачке страниц сайтов. Ранжирует выдачу не бот а внутренние алгоритмы ПС, которые кажется в данном случае называются Матрикснет.

Цитата:
Сообщение от Саш_а Посмотреть сообщение
Все равно еще далеко до идеального отображения результатов поиска, иногда такой бред показывает...(
Даже если будет создан настоящий полноценный искусственный интеллект, все равно выдача поисковой системы зависит не только от содержания самих сайтов, а еще и в предсказании того, что именно нужно Задумайтесь, вы можете предсказать мысли и хотелки своих жен? Женская логика вообще делает ИИ в этом случае бессмысленным.
  Ответить с цитированием
Старый 27.02.2016, 08:55   #9
Fialka
Ученик
 
Аватар для Fialka
Оффлайн
 
Регистрация: 02.01.2016
Сообщений: 218
Поблагодарили 33 раз(а)


По умолчанию Re: Как работают поисковые роботы

Цитата:
они и так вроде не медленно трудятся
Ну, если сравнить Яндекс и гугл, то последний быстрее индексирует новые страницы, а вот обновление апдейтов Яндекса желают лучшего...
  Ответить с цитированием
Старый 29.04.2016, 14:36   #10
Мирах
Заблокированный
 
Аватар для Мирах
Оффлайн
 
Регистрация: 29.04.2016
Сообщений: 15
Поблагодарили 0 раз(а)


Smile Re: Как работают поисковые роботы

да какой может быть заработок ???
  Ответить с цитированием
Ответ

Метки
поисковые, работают, роботы


Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск

Похожие темы
Тема Автор Раздел Последнее сообщение
Автоматическое добавление сайта в поисковые системы
Автоматически добавить сайт в поисковые системы можно по ссылке ссылка --> Добавить сайт в поисковики проверенно, работает рекомендую Раскрутка сайта
jkjk Архив 26.01.2017 15:47
«Рамблер» начал использовать поисковые технологии «Яндекса»
«Рамблер» переходит на поиск от «Яндекса» и встраивается в его рекламную сеть. Системы контекстной рекламы «Бегун» и «Яндекс.Директ» будут работать параллельно. Сделка устраняет серьезный риск...
andrey67 Курилка 25.06.2011 20:48
Фотографии офисов Google. Вот в таких условиях работают буржуи
Думаю вам будет интересно посмотреть в каких условиях работают сотрудники известного гуглы (по материалам harchenko.us) Торонто http://bestmasters.biz/files/office/toronto.jpg Цюрих...
LOOK Поисковые системы | Социальные сети 27.04.2011 21:43
Роботы Яндекса меняют прописку
Компания Яндекс сегодня сообщила, что на протяжении 2010 года все роботы компании сменят имя и свойства. По словам представителя компании Яндекс, основной целью этих изменений является улучшение...
LOOK Поисковые системы | Социальные сети 08.05.2010 04:11

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

 


Текущее время: 01:45. Часовой пояс GMT +5.
Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2018, vBulletin Solutions, Inc.
vB.Sponsors
Рейтинг@Mail.ru