Яндекс представил новую версию поиска

24.08.2017 |

Виталий Свиридов.

22 августа в Московском планетарии Яндекс презентовал новую версию поиска на основе алгоритма «Королёв».

Мероприятие было проведено на космическом уровне, в прямом и переносном смысле. Видео-презентация транслировалась на купол планетария. Это было очень впечатляющее зрелище. В процессе презентации была представлена команда разработчиков нового алгоритма, а представлял новый поиск Андрей Стыскин – руководитель «Яндекс.Поиска». Он же и нажал символическую кнопку, запустив новый поиск. В конце презентации всех ждал грандиозный сюрприз. Все гости стали участниками прямого выхода на связь с МКС (Международная космическая станция) прямо из планетария. Во время видеоконференции космонавты Фёдор Юрчихин и Сергей Рязанский пообщались со зрителями на тему Космоса, новых технологий и рассказали о том, как и для чего на МКС они пользуются поисковыми системами, и в частности Яндексом.

Космонавты Фёдор Юрчихин и Сергей Рязанский

Первый шаг к поиску по смыслу Яндекс сделал в прошлом году, когда внедрил алгоритм «Палех» — он в реальном времени сопоставляет смысл запроса и заголовка веб-страницы. В его основе лежит нейронная сеть. Нейросети показывают отличные результаты в задачах, с которыми люди традиционно справлялись лучше машин: например, распознавание речи или изображений. «Палех» научил нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел — «семантические векторы». Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом — и чем сильнее будет сходство, тем ближе друг к другу по смыслу находятся поисковый запрос и заголовок веб-страницы. А «Королёв» использует нейронную сеть, которая анализирует не только заголовок, а всю страницу целиком. Это сложная вычислительная задача, поэтому Яндекс определяет суть страницы заранее, на этапе индексирования. Благодаря этому количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч. Другая важная особенность «Королёва» в том, что помимо сопоставления смысла запроса и страницы, он учитывает ещё и смысл других запросов, по которым люди на неё переходят. В новой версии поиска шире используется поисковая статистика и учитываются оценки пользователей «Яндекс.Толоки». Что такое «Яндекс.Толоки», рассказала Ольга Мегорская - руководитель отдела обработки данных «Яндекс.Поиска». Для обучения поисковой системы нужны также оценки качества ответов. И чем сложнее система, тем больше оценок требуется. Раньше Яндекс оценивал качество поиска с помощью своих специалистов — асессоров. Теперь учитываются также оценки, которые выставляют пользователи Яндекс.Толоки. Это сервис, где любой желающий может выполнять задания и получать за них вознаграждение. Сейчас в Яндекс.Толоке зарегистрировано более миллиона пользователей, которые выставили уже более двух миллиардов оценок.

Команда разработчиков нового алгоритма «Королёв»

Чтобы нейронная сеть могла оценить смысловую близость запроса и документа, ей нужно огромное количество примеров. Такие примеры даёт обезличенная поисковая статистика: на какие сайты люди переходят по запросам и сколько времени там проводят. Так, если человек перешёл на страницу и просматривал её какое-то время, скорее всего, она близка по смыслу запросу. Используя поисковую статистику миллионов людей, Яндекс учится понимать смысловые связи. Например, он поймёт, что в запросе (картина где небо закручивается) речь идёт о картине Ван Гога, а в запросе (ленивая кошка из Монголии) — о мануле.

Поиск — это очень сложная система. Тысячи инженеров работают над тем, чтобы она понимала человека и помогала решать его задачи. В «Королёве» объединили машинный интеллект и усилия миллионов людей. Пользователи улучшают поиск вместе с Яндексом, задавая вопросы и помогая обучать алгоритмы. Так что все, кто пользуется «Поиском Яндекса» с этого момента являются частью сервиса.