Роботов много, у каждого из них своя узкая специализация, алгоритм сканирования и оценки различных типов контента. Одни роботы сканируют исключительно свежий контент, добавленный за последние часы, например, робот Orange у Яндекса, роботы Яндекс Новостей и Google News. У этих роботов свои критерии оценки контента: во-первых, свежесть, во-вторых, авторитетность источника, далее — уникальность и полнота, социальные сигналы и пр. Роботы различаются:
- Принадлежностью к определенной поисковой системе;
- периодичностью обхода страниц;
- типом контента, который они сканируют;
- назначением (проверяет доступность, проверяет ссылки и пр.).
Механизм поиска Яндекса
У Яндекса есть два основных робота: Orange и Основной робот. Orange — быстроробот, совершает ежедневный обход сайтов, индексирует только свежий контент, последние изменения, но не весь сайт.
Основной робот — индексирует практически весь сайт, обходит интернет по заранее составленному плану (такой план, правда, есть и у робота Orange), результатом его работы являются Апдейты поисковой выдачи. Робот добавляет в индекс новые страницы и сайты или удаляет, если в процессе нескольких обходов они были недоступны.
Поисковая выдача Яндекса обладает двумя особенностями, которые SEO специалистам нужно учитывать:
Ориентированность на пользователя. Эта особенность присуща и Google. Благодаря файлам cookies, а также в случае, если у вас есть аккаунт и вы авторизованы в поисковой системе, Яндекс составляет результаты поиска для вас на основании ранее полученных данных: какие сайты вы предпочитаете, что регулярно ищете, какие уточняющие запросы вводите, какими сервисами интересуетесь и пр. Для пользователя этот функционал полезен, но SEO специалисту нужна объективность при оценке позиций сайта, поэтому при просмотре поисковой выдаче рекомендуется использовать режим Инкогнито вашего браузера.
Рандомизация. Недавно Яндекс анонсировал возвращение Explora-tion feature — функционал, который включает в выдачу сайты (имеются ввиду только релевантные запросу сайты) случайным образом. Но говорится, что это нововведение сильнее всего скажется на средней части SERP, т.е. чем выше оценка релевантности, тем меньше вероятность того, что позиции этого сайта будут колебаться. Для рядовых пользователей это ничего не изменит и даже может оказаться полезным для тех, кто ленится прокручивать страницу выдачи.
Механизм поиска Яндекса организован таким образом, чтобы за доли секунды давать ответ даже на те запросы, которые ранее не вводились. Процесс поиска осуществляется в двух измерениях — метапоиск и базовый поиск. Для себя можно провести следующую ассоциацию:
Метапоиск аналогичен оперативной памяти компьютера, в данном случае в нем хранятся выдачи по наиболее популярным запросам. В метапоиске работа над запросом идет в режиме реального времени — определяется язык, регион, добавляются данные персонализированного поиска, исправляются ошибки и, если такой запрос в недавнем прошлом уже вводился — выдаются результаты, которые хранятся достаточно короткое время в памяти метапоиска.
Базовый поиск — это как жесткий диск, там хранится весь интернет глазами Яндекса. И когда в метапоске не находится ответа на ваш запрос, он обращается к наименее загруженным серверам базового поиска, где хранится кластеризованная (и даже в квадрате кластеризованная) информация обо всех обработанных поисковым роботом сайтах. Ответ от серверов базового поиска поступает в виде перечня сайтов в алгоритм ранжирования Матрикснет, сайты сортируются на его усмотрение и в итоге вы получаете результаты ответа на свой запрос все за те же доли секунды.
Механизм поиска Google
Тут все неявно и интересно. Если любые изменения в технологиях поиска Яндекса сопровождаются какой-то странной рекламной кампанией, наведением ужаса и пр. шумихой, то в Google внедряют все инновации тихо, постепенно, эволюционным, а не революционным путем, без дешевого PR’а. Если в Яндексе только кричат о борьбе с накруткой ПФ, в Google с ней уже давно эффективно справляются. В Яндексе пугают Минусинском, Google уже давно отлично распознает и не учитывает некачественные, спамные ссылки.
И так можно продолжать долго — мобильный поиск, индексация JavaScript, дополнительный функционал в поисковой выдаче (калькулятор, конвертер валют, переводчик, киноафиша и т.п. — у Яндекс в ответ есть провалившиеся “Острова”).
За 2015 год Google круто обновил все фильтры — Panda, Penguin и пр. и улучшил механизм поиска, пока Яндекс обивал пороги судов.
У Google множество роботов, которые обходят интернет нон-стоп, каждый из них имеет свою специализацию. Если апдейты поисковой выдачи происходят где-то раз 5-10 дней, то у Google — ежедневно.
Есть красивый сайт, который наглядно иллюстрирует механизм поиска Google.
Если коротко, то запрос сначала анализируется (еще в процессе ввода в строку) — способ ввода запроса, язык, местоположение, исправление ошибок, дополнение. То есть запрос обрабатывается специальным алгоритмом, чтобы лучше понять, что именно вы ищете.
Затем в базе данных проиндексированных страниц находятся подходящие результаты (текст, изображения), а затем эти результаты проходят через несколько фильтров, каждый из которых ранжирует по определенным признакам: качество сайта, безопасность, степень соответствия запросу, актуальность, учет персонализированных данных вашего аккаунта (если вы зарегистрированы), перевод, если нужен и т.д.
На выходе: отсортированные результаты поиска в соответствующем виде: заголовок + сниппет, картинки, адреса с рейтингом и пр.
