Обновленный поиск Яндекса: алгоритм Королев

Время чтения: 4 минуты


Десятилетиями поисковые системы работают над улучшением выдачи: увеличивают количество факторов ранжирования, учитывают новые и новые факторы. Все это позволяет пользователям получать более релевантные ответы.

Долгое время работа поисковиков базировалась на анализе конкретных поисковых слов и фраз. Но пользователям удобней и привычней вводить запросы на естественном, разговорном языке. Чтобы соответствовать времени и сделать выдачу лучше, Яндекс анонсировал запуск нового алгоритма “Королёв”, который все меняет: теперь это поиск не по словам, а по смыслу.

Дорога от слова к смыслу

Если раньше, когда страниц в поиске было относительно немного, достаточно было анализировать слова из поискового запроса, то сейчас этого недостаточно. Одним из существенных шагов на пути к пониманию фактического смысла запроса у Яндекса стал алгоритм “Палех”, запущенный в 2016 году. Он, как и новый “Королев”, основан на использовании нейронных сетей: преобразует запрос и заголовок веб-страницы в семантические векторы и анализирует степень их схожести. Чем больше эти группы чисел похожи, тем больше заголовок подходит запросу по смыслу, а не формальным признакам.

“Королев” действует схожим образом, но гораздо масштабнее: анализирует не только заголовок, но и и всю информацию на странице. Так как нейронной сети необходимо много ресурсов и времени, чтобы проанализировать всю страницу целиком (и так тысячи раз — для каждой страницы, которая попадет в выдачу по запросу), это происходит не в реальном времени, а на этапе индексирования. Это позволяет сохранить высокую скорость поиска, но значительно улучшить качество выдачи. Кроме анализа непосредственно содержания, алгоритм обращает внимание на другие запросы, по которым пользователи переходили на страницу. Эта информация позволяет лучше установить дополнительные связи и смыслы, важные для пользователей.

Как и любой алгоритм на основе нейросетей, “Королёв” обучается в процессе работы. Обрабатывая запросы и страницы, получая негативный или позитивный отклик от пользователей, он совершенствуется и становится умнее. Пока выдача по длинному запросу выглядит примерно вот так:

Обратите внимание: первые ссылки ведут на страницы, где вам дадут правильный ответ. Но это не очень удобно, а в картинках вообще ничего не намекает на искомый фильм. Для сравнения, результаты по аналогичному запросу из Google:

Представители Яндекса сообщили, что “Королёв” для обучения, в частности, использует статистику времени, которое пользователи проводят на странице. Если человек “завис”, значит нашел то, что искал, если ушел почти сразу — ответ ему не подошел. Но дело в том, что для считывания ответа на многие длинные запросы, типа “как называется фильм …” или “кто написал песню …” достаточно нескольких секунд. Пока алгоритм только начал работу и не научился достоверно определять более и менее подходящие ответы, в поиске Яндекса может происходить много всего интересного.


+ Нет комментариев

Добавить комментарий