Яндекс представил новый поисковый алгоритм «Королёв». Нейросети и искусственный интеллект в поиске

Администратор, 23.08.2017

«Королёв» - поиск, который мы делаем вместе



На видео: презентация нового поискового алгоритма «Королёв» (запись трансляции)

Под таким громким лозунгом прошла презентация нового алгоритма поиска «Яндекс», которая состоялась 22 августа. Чтобы разобраться в сути инновации и значении ее для «обитателей» русскоязычного сегмента интернета, пришлось посмотреть запись презентации продукта, несколько раз перечитать статью в блоге «Яндекса» и хорошенько пораскинуть мозгами. Давайте вместе разберемся, что же это такое, как это изменит нашу онлайн-жизнь и изменит ли вообще.

Что говорит Яндекс?

Яндекс запустил новую версию поиска, основанную на алгоритме «Королёв» — он использует нейронную сеть, которая способна сопоставлять смысл запросов и веб-страниц. Это позволяет поиску с высокой точностью отвечать на редкие и сложные вопросы. Для обучения искусственного интеллекта Яндекс задействует не только поисковую статистику, но и распределенную сеть ассесоров и толокеров, а также оценки миллионов пользователей.

Источник: Яндекс представил новый алгоритм «Королёв»

Возвращаясь к истокам


Чтобы понять, насколько уникальным является продукт «Поиска №1 в России», нужно вспомнить, с чего начиналась история поисковых систем. Начиналась она с достаточно примитивных алгоритмов поиска по словам. Пишу «династия сериал смотреть» - получаю страничку, на которой есть упомянутые слова. Кстати, история интернет-поиска началась почти тогда же, когда в наших краях была популярна упомянутая кино-эпопея – в середине 90-х. С тех пор система ранжирования, с одной стороны, претерпела немало изменений, но с другой стороны, не изменилась совершенно.

Если говорить об изменениях, то за прошедшие 20 лет значительно усовершенствовался алгоритм поиска. Давно ушли в прошлое ужасы пользователей, которые поисковики выдавали на первых строчках – страницы-«помойки», на которых текст представлял собой сплошной набор ключевых высокочастотных запросов, написанных бессвязным списком для повышения релевантности. Само собой, это не могло не остаться безнаказанным, и, спасибо поисковикам, сегодня у таких страниц «над могилой ветер свищет». 

Королёв и SEO  


Лучше всего можно проиллюстрировать ситуацию с помощью скриншотов результатов поиска.
Вот, как подбирали запросы большинство любителей и даже профессионалов раньше (с помощью сервиса Яндекс Вордсат ():

Алгоритм Яндекса «Королёв» и поиск запросов в Яндекс Вордстат
На фото: классический подбор ключевых слов с помощью Яндекс Вордстат

После выхода алгоритма "Палех", начал бурно обсуждать новый термин - LSI запросы.
Дело в том, что Вордстат показывает все слова, которые ищут вместе с искомым словом или словосочетанием.
Логика SEO оптимизаторов и владельцев сайтов такая - "каких запросов больше, такие и буду использовать в семантическом ядре".
Это делает в итоге поиск некачественным. Поэтому все усилия команды Яндекс пошли на создание системы, учитывающей контекст запроса и интент пользователя.
Я считаю, это очень правильно.

Вот как сейчас можно начать подбирать LSI запросы:

Алгоритм Яндекса «Королёв» и поиск LSI запросов
На фото: способ подбора LSI запросов с помощью Яндекс подсказок

Алгоритм Яндекса «Королёв» и поиск LSI запросов
На фото: способ подбора LSI запросов с помощью виджета "вместе с этим ищут"

Усовершенствованным алгоритмом поиска и ранжирования стал семантический поиск, то есть, поиск по смыслу. Несмотря на громкое название, он все же не стал инновацией, так как это по-прежнему был поиск по словам и фразам, просто, более углубленный. Теперь за основу ранжирования брались не просто две-три фразы на страницу, которые должны были употребляться максимальное количество раз, – возникла необходимость в построении семантического ядра для сайта и страницы. Семантическое ядро представляет собой набор тех самых слов и фраз, словоформ, склонений, частоты их использования на странице и других премудростей, с которыми не понаслышке знаком каждый уважающий себя копирайтер и СЕО-специалист.

Регулярно разрабатывались механизмы поощрения добросовестных создателей сайтов и наказания нерадивых, чтобы отучить от «читерства» в вопросах продвижения страничек. Отчасти это получилось, потому что сегодня все больше специалистов в области создания и продвижения сайтов уделяют внимание смыслу, а не частоте вхождения ключей. И все же, осталась одна важная проблема – необходимость как можно четче «состыковывать» запросы пользователей со страницами, наиболее подходящими по смыслу.
   

Кошки в Космосе и стиральной машине


Новый алгоритм «Королёв» получил свое название в честь всемирно известного советского ученого-конструктора Сергея Павловича Королева, благодаря которому 70 лет назад мы начали осваивать просторы Космоса. Немного пафосно (да что уж скрывать – ОЧЕНЬ пафосно!), но все же «Яндекс» не постеснялся сравнить значение открытий великого академика для человечества со своим новым алгоритмом.

В чем-то со Стыскиным (руководитель Поиска Яндекс) можно поспорить, но одно ясно, - в Рунете наступила новая эра. Эра смыслового поиска. На презентации нового продукта говорили много и не всегда понятно, но все же мне удалось уловить суть, которую я попробую вкратце изложить в том виде, в котором мне самому это было бы максимально понятно.

Итак, есть искусственные нейронные сети, которые разрабатывает и внедряет упомянутый поисковик для усовершенствования работы по подбору нужной пользователю информации. То есть, чтобы мне попасть на страницу, где изложен материал, подходящий по моему запросу, нейронная сеть должна как-то сопоставить одно с другим. Как мы уже знаем, раньше этот процесс реализовывался с помощью ключевых слов, словоформ и словосочетаний.

Со вчерашнего дня поисковая система начала учиться понимать нас с вами, подбирая страницы не по словам, а по смыслу. Даже если на подходящей странице используются совсем не те слова, которые звучат в запросе. Отличным примером стал запрос «фильм, где отец общается с дочерью с помощью секундных стрелок», к которому Яндекс выдал страницы с фильмом «Интерстеллар».

Что говорит Яндекс?

Напомним, что первый шаг к поиску по смыслу Яндекс сделал ещё в прошлом году, когда внедрил алгоритм «Палех» — он в реальном времени сопоставлял смысл запроса и заголовка веб-страницы. «Королёв» же использует нейронную сеть, которая анализирует уже всю страницу. Например, он поймёт, что в запросе [картина где небо закручивается] речь идёт о картине Ван Гога, а в запросе [ленивая кошка из монголии] — о мануле.

Такая работа нейросетей требует больших вычислительных мощностей, поэтому с внедрением нового алгоритма Яндекс стал определять суть страницы заранее, на этапе индексирования. Благодаря этому количество страниц, которые поиск может единовременно сопоставлять по смыслу с конкретным запросом, выросло со 150 документов до 200 тысяч. Другая важная особенность «Королёва» в том, что помимо сопоставления смысла запроса и страницы, он учитывает ещё и смысл других запросов, которым страница релевантна


Источник: Яндекс представил новый алгоритм «Королёв»

Как работает эта система? Из просмотренного и прочитанного материала по этому поводу я понял только то, что все очень сложно. Конечно, никто не будет раскрывать нам свои секреты. Одно ясно – важной частью алгоритма являемся как раз мы, пользователи. Чем больше поисковых запросов мы будет задавать и чем больше релевантных им страниц находить, тем быстрее и качественнее будет учиться «Королев». По словам разработчиков, на его обучаемость влияет в первую очередь количество времени, которые мы с вами проводим на странице, выданной нам поиском: открыли, посмотрели 5 секунд и закрыли, - плохо; задержались, чтобы изучить информацию – хорошо.

Итог

Как новый алгоритм отразится на тех, кто сегодня работает над созданием и продвижением сайтов? Точные прогнозы сделать сложно, а пугающие предсказания в духе «еще два года, и все сеошники выйдут в тираж» - не в моем стиле. Тем, кто производил качественный интернет-контент, опасаться точно нечего. Их сайты как были востребованы, так и будут оставаться на лидирующих позициях. А вот тем, кто штамповал сайты-клоны, наполненные дешевым рерайтом, зашлакованным высокочастотными ключами в прямом вхождении, стоит задуматься. Рано или поздно все же придется пересмотреть свое отношение к подачи информации – либо подстроиться под новые требования, либо сменить профессию.

P.S. А причем тут коты, Космос и стиральные машины? Кому интересно, посмотрите видео презентации алгоритма «Королев», там действительно много полезной информации.

Яндекс представил новый поисковый алгоритм «Королёв». Нейросети и искусственный интеллект в поиске