"Космічні" можливості: Яндекс презентував нову пошукову систему. Новий алгоритм Яндекса - Корольов - що нового в Яндексі
МОСКВА, 23 серпня. /ТАС/. Новий пошук "Яндекса", що базується на розумінні сенсу запиту, змусить власників сайтів уважніше стежити за якістю контенту та скоротить можливості для накрутки відвідуваності. Про це ТАРС у середу заявили експерти інтернет-галузі.
"Наразі можна лише з упевненістю сказати, що новий алгоритм не тільки дозволить суттєво покращити швидкість та якість пошуку, а й змусить власників сайтів уважніше ставитися до контенту", - вважає директор Російської асоціації електронних комунікацій Сергій Плуготаренко.
"І робити його (контент - прим. ТАРС) максимально "чесним", уникати будь-яких можливих "накруточних" механізмів, сірих і чорних схем, оскільки, чим вищою буде якість контенту та його релевантність дійсної ситуації, - наприклад, з пропонованими на сайті товарами чи послугами - тим більше шансів у сайту опинитися в перших рядках пошукової видачі", - зазначив він.
Експерт упевнений, що новий пошук "однозначно погано" позначиться на компаніях, які займаються накруткою відвідуваності сайтів. "І це – однозначно добре", - наголосив Плуготаренко.
Керівник продуктів для бізнесу Rambler&Co Леонід Чорний вважає, що перехід до семантичного пошуку – це логічний та закономірний крок для компанії, від якого виграє вся інтернет-індустрія, оскільки новий пошук призведе до зростання трафіку на ресурсах із достатньою кількістю необхідної користувачем інформації.
"Зараз здається, що перехід до аналізу вмісту сторінок може радикально позначитися на ринку пошукової оптимізації, або SEO. Але ще рано робити прогнози про те, чи надовго і наскільки помітним буде цей вплив. Але у виграші мають опинитися власники ресурсів із великою кількістю різноманітного унікального контенту", - сказав Чорний.
Національний герой
Плуготаренко наголосив, що запуск нового пошуку – дуже значуща подія для всього Рунету.
"Значність очевидно велика, тому що не просто дозволяє російським IT-лідерам йти в ногу з міжнародними, але й робить заявку на те, що в Рунеті ставляться експерименти, метою яких може стати зайняття лідируючих позицій на ринку інновацій та технологій", - вважає експерт .
"Я хотів би акцентувати увагу на важливості кожного успіху "Яндекс" для країни в цілому. Тільки вдумайтеся - на всій Земній кулі число локальних пошукових систем, які мають суттєву частку пошуку, можна перерахувати на пальцях, тобто "Яндекс" - це певною мірою наш національний герой і претендент на світову частку ринку пошуку – це дуже важливо, починаючи від патріотичних почуттів, закінчуючи міркуваннями на тему стратегії. інформаційної безпеки", - сказав генеральний директор digital агенції "КупіСлова.ру" Дмитро Вишневецький.
Він також згоден, що новий пошук негативно позначиться на ресурсах, які просуваються за рахунок "маніпуляцій заголовків документів та ключових слівОднак, на думку Вишневецького, новація ніяк не позначиться на ринку SEO.
"Ті, хто в тренді, так само продовжують займатися кластеризацією та впровадженням. А ті, хто живе вчорашнім пошуком дублів та іншими базисними, але застарілими технологіями, так само продовжують залишатися у вчорашньому дні. Тобто, по суті, на ринок не ніяк не вплине, хоча є власне припущення, що можна в перші місяці, отримати на 30% додаткового трафікуз інформаційних сайтів", - вважає експерт.
Чи зросте "Яндекс"
Незважаючи на позитивні відгуки про новий пошук, ряд експертів зауважують, що технологія, що лежить в його основі, не є новинкою. Так, компанія Googleще у 2013 році створила алгоритми сучасної лінгвістики Word2Vec.
"Самі підходи відомі, вони робітники, сучасні пошукові системи послідовно впроваджують нейронні мережі в свої двигуни і пошуковик Mail.ru в цьому плані не виняток. Ми давно і глибоко вивчаємо можливості машинного навчання для покращення якості не тільки пошуку, але й інших наших продуктів. Це справді позитивно позначається на якості пошуку, яке зрештою призводить до його покращення для користувача", - сказав керівник проекту Пошук Mail.Ru Андрій Калінін.
Водночас із запуском нового пошуку пов'язують надії на посилення позицій "Яндекса" у Рунеті.
"Пошук за змістом - звучить добре і заявка хороша. Однак це швидше те, що "Яндекс" і мав зробити. Більше враження справляє масштаб застосування технологій для такого великого проекту як пошук швидше, ніж самі технології... Якщо говорити про застосування, то цікаво буде подивитися чи помітимо ми з вами покращення і без того високої якості пошуку. І чи поверне це до зростання частку "Яндекса" у цьому ключовому для нього сегменті", - зазначив комерційний директор Brand Analytics Василь Чорний.
Новий пошук
Представлена у вівторок увечері "Яндексом" нова версія пошуку ґрунтується на зіставленні сенсу запиту та веб-сторінки. Новинка працює на алгоритмі "Королев", який порівнює семантичні вектори пошукових запитів та веб-сторінок повністю, а не лише їх заголовків.
"Яндекс" є найбільшою пошуковою системою у Росії. Частка компанії на російському пошуковому ринку (включаючи пошук на мобільних пристроях) у другому кварталі 2017 року становила в середньому 54,3%, у першому кварталі цього року - 54,7% (за даними аналітичного сервісу "Яндекс.Радар").
За даними Liveinternet.ru, у червні цього року пошукова частка "Яндекса" становила 51,3%.
Яндекс запустив нову версіюпошуку. В її основі лежить пошуковий алгоритм "Корольов" - за допомогою нейронної мережі він зіставляє сенс запиту та веб-сторінки. Завдяки цьому пошук розуміє, що саме потрібно користувачеві, і відповідає на складні питання ще точніше. У новій версії пошуку ширше використовується пошукова статистика та враховуються оцінки користувачів Яндекс.Толоки.Перший крок до пошуку за змістом Яндекс зробив минулого року, коли впровадив алгоритм «Палех» - він у реальному часі зіставляє сенс запиту та заголовку веб-сторінки. «Корольов» використовує нейронну мережу, яка аналізує як заголовок, а всю сторінку цілком. Це складне обчислювальне завдання, тому Яндекс визначає суть сторінки наперед, на етапі індексування. Завдяки цьому кількість сторінок, які пошук порівнює за змістом із запитом, зросла зі 150 документів до 200 тисяч. Інша важлива особливість «Корольова» в тому, що крім зіставлення сенсу запиту та сторінки, він враховує ще й зміст інших запитів, якими люди на неї переходять.
Щоб нейронна мережа могла оцінити смислову близькість запиту та документа, їй потрібна величезна кількість прикладів. Такі приклади дає знеособлена пошукова статистика: на які сайти люди переходять на запити і скільки часу там проводять. Так, якщо людина перейшла на сторінку і переглядала її якийсь час, швидше за все, вона близька за змістом запиту. Використовуючи пошукову статистику мільйонів людей, Яндекс навчається розуміти смислові зв'язки. Наприклад, він зрозуміє, що у запиті [картина де небо закручується] йдеться про картину Ван Гога, а в запиті [лінива кішка з монголії] - про манулу.
«Пошук – це дуже складна система. Тисячі інженерів працюють над тим, щоб вона розуміла людину і допомагала вирішувати її завдання. У „Королеві“ ми об'єднали машинний інтелект та зусилля мільйонів людей. Наші користувачі покращують пошук разом з нами, ставлячи запитання та допомагаючи навчати наші алгоритми», - каже Андрій Стыскин, керівник Пошуку Яндекса.
Для навчання пошукової системи необхідні також оцінки якості відповідей. І що складніша система, то більше оцінок потрібно. Раніше Яндекс оцінював якість пошуку за допомогою своїх фахівців – асессорів. Наразі враховуються також оцінки, які виставляють користувачі Яндекс.Толоки. Це сервіс, де будь-хто може виконувати завдання і отримувати за них винагороду. Наразі в Яндекс.Толоку зареєстровано понад мільйон користувачів, які виставили вже понад два мільярди оцінок.
23 серпня 2017 року найпопулярніший у Росії вітчизняний пошуковий сервіс Яндексзапустив нову версію пошуку У її основі якої лежить алгоритм «Королів», який зіставляє сенс запиту та веб-сторінки за допомогою нейронної мережі. Тепер пошуковик повинен стати дещо «людянішим» і краще розуміти образні та не надто прямолінійні запити користувачів.
На офіційній презентації, яка була повністю оформлена у космічній тематиці, відбулася 22 серпня у столичному планетарії на Барикадній. Подробиці про новинку та її розробку нам розповіли Андрій Стискін, Керівник Яндекс.Пошуку, Олександр Сафронов, Керівник служби релевантності Яндекс.Пошуку та Ольга Мегорська, Керівник відділу обробки даних Яндекс.Пошуку.
Навчити пошук пошуку
Нейронні мережі нині в тренді: їх вчать розпізнавати картинки, а також малювати їх, покращувати фотографії, писати тексти і ще купу різних штук. Нейросеть - система учня. Це програмне та апаратне втілення математичної моделі, побудованої за образом та подобою нервових клітин живих організмів – нейронів. А головне, нейронна мережа здатна вчитися та відточувати навички.
Торік Яндекс зробив перший крок до пошуку за змістом, впровадивши алгоритм «Палех». Той зіставляв сенс запиту та заголовка веб-сторінки реального часу. «Корольов» пішов далі: він використовує нейронну мережу, яка аналізує як заголовок, а взагалі всю сторінку цілком. Щоб впоратися з таким непростим обчислювальним завданням, Яндекс визначає суть сторінки заздалегідь, на етапі індексування. Завдяки цьому кількість сторінок, які пошук порівнює за змістом із запитом, зросла зі 150 документів до 200 тисяч. Інша важлива особливість «Корольова» в тому, що крім зіставлення сенсу запиту та сторінки, він враховує ще й зміст інших запитів, якими люди на неї переходять.
Звичайно, щоб навчити нейронну мережу оцінювати смислову близькість запиту і документа, необхідно «натягувати» її на величезній кількості прикладів. Звичайно, їх дає загальна статистика: на які сайти люди переходять на запити, скільки часу там проводять, які переходи роблять. Пошукова статистика мільйонів людей вчить Яндекс розуміти смислові зв'язки, на кшталт [картина де небо закручується] - це явно про знамениту картину Ван Гога, а [ледача кішка з Монголії] - манув. «Пошук – це дуже складна система. Тисячі інженерів працюють над тим, щоб вона розуміла людину і допомагала вирішувати її завдання. У „Королеві“ ми об'єднали машинний інтелект та зусилля мільйонів людей. Наші користувачі покращують пошук разом з нами, ставлячи запитання та допомагаючи навчати наші алгоритми», - пояснив Андрій Стискін, керівник Пошуку Яндекса.
Процес навчання нейронної мережі не пустили на самоплив. Їй, як, наприклад, будь-якому школяреві, потрібні спеціальні впорядковані вправи для тренування та відточування навичок. Якщо раніше Яндекс вивчав та оцінював якість пошуку за допомогою сотні своїх працівників асессорів, то для підготовки нейромережі знадобилося набагато більше людей. Тому було створено Яндекс.Толоки. (Толока - форма взаємодопомоги, яку колись практикували в селах.) Це сервіс, де будь-хто може виконувати завдання і отримувати за них винагороду. Наразі в Яндекс.Толоку зареєстровано понад мільйон користувачів, які виставили вже понад два мільярди оцінок. На презентацію покликали найкращого толокера проекту, щоб урочисто вручити нагороду: ним став Ілля Михаленко із Челябінська.
Що зрештою?
Чи можна довго розмірковувати про теорію, але що ми маємо на практиці? Якщо коротко і у справі, то раніше пошукова система орієнтувалася саме на слова пошукового запиту, а тепер нейромережа навчилася розуміти не найочевидніші запити, де потрібно, немов людині, мислити образно та асоціативно, вичленювати важливе з контексту.
Наприклад, вам потрібно згадати назву фільму за уривчастими спогадами про сюжет. Імена акторів не знаєте, режисера теж. Що робити? Йти на форум кіноманів? Тепер можна просто забити свої міркування у віконце пошуку та Яндекс знайде потрібний фільм!
Або інше показове завдання: визначити картинку за описом. Раніше пошукова система орієнтувалася на назву та коментарі до зображення або на зміст тексту, який воно ілюструє. Нейросеть здатна орієнтуватися безпосередньо на картинку. Якщо із запитом [собаки в космосі] проблем не передбачається, то з кішками справи складніші. Єдиний документально підтверджений суборбітальний політ представника цього виду було здійснено Францією у 1963 році. На загальне розчарування, героїню Фелісетт зняти після місії не вдалося, - вона моментально втекла з капсули після приземлення. А що наш пошук? Він видає не лише фотографії домашніх пухнастиків у тематичних костюмах та ілюстрації художників, а й показовий знімок кота в пральній машинці, який людська уява цілком могла б уявити як ілюмінатор шатла. Тепер і нейромережа навчилася робити подібні висновки.
Поліпшилося і сприйняття системою пошуку людської мови. Нейронна мережа розуміє звичні нам формулювання набагато краще і реагує все адекватніше та адекватніше. Наприклад, тепер багато зайнятих батьків можуть перекласти почесну місію відповідати на численні запитання своїх маленьких «чомучок» на Яндекс!
Пуск!
Урочистий запуск нового алгоритму на сцену планетарію піднялася вся команда Яндекс.Пошуку, яка брала участь у розробці «Корольова». З 22 числа можна пробувати нові можливості чуйних розуміючих нейромереж!
Фіналом заходу став справжнісінький дзвінок на орбіту. Присутні побачили сеанс зв'язку зі справжніми космонавтами, які особисто відповіли на деякі популярні запити на тематику, які отримував свого часу пошуковик. У результаті тепер ми знаємо, що плакати в космосі можна, але незручно, а «Біле сонце пустелі» космонавти дивляться для проходження тесту на згадку: запам'ятовують найдрібніші деталі сюжету та відповідають на каверзні запитання.
Логотип пошуковика тепер теж виглядає по-іншому: космічний сюжет із буквою "Я" - два рівнозначні елементи // Фото прес-служби Яндекса
Подія, яку широко анонсували протягом цього літа, нарешті відбулася. Яндекс запустив нову версію пошуку, в основі якої лежить алгоритм «Королев», названий на вшанування легендарного конструктора ракетно-космічноїгалузі.
"Росія - одна з небагатьох країн, де розвивають космічні програми є своя пошукова система", - так розробники оригінально пояснили зв'язок назви ноу-хау з ім'ям конструктора.
Якщо коротко, суть алгоритму "Королев" полягає в наступному: за допомогою нейронних мереж він зіставляє сенс пошукового запиту і зміст веб-сторінки. При цьому він враховує інші запити, по яким користувачі переходять на цю сторінку. У результаті програмі вдається встановити додаткові семантичні зв'язки і видавати результат навіть у тих випадках, коли питання побудовано плутано і не завжди логічно.
«Серпень на нових телефонах на основі Android Chrome, який встановлений за замовчуванням, після включення оновиться, потім з'явиться вікно, де можна самому вибрати пошуковик».
Щоправда, як уточнюють розробники, власникам iPhone ця функція, як і раніше, буде недоступна.
Apple - закрита компанія. Якщо вона вважає, що пошукова система Googleкраще, - це її право. Але є і інші виробники смартфонів на Android, зокрема, в Китаї. Для нас головне, що у людей у принципі з'явилася можливість вибирати пошуковик для мобільних (нехай і не на всіх), як на комп'ютерах, де, до речі, частка Яндекса – понад 60 відсотків», – наголосив Андрій Стискін.
Вчора Яндекс на своїй презентації офіційно оголосив про запуск нового алгоритму «Корольов».
Розповідаю, як це відбувалося і що нового дав нам новий алгоритм Яндекса.
Ось сама трансляція цієї презентації:
Я не буду мусолити весь цей пафос котрий був не презентації та скажу суть:
- Алгоритм «Королів» запустили не вчора, а десь 2-6 місяців тому. Я думаю всім зрозуміло, щоб взяти і запустити за секунду новий алгоритм неможливо.
Тобто. новий алгоритм Яндекса діє давно, просто весь цей час йшло його тестування та налагодження.
2. Це зовсім новий алгоритм.Зовсім ні. Це алгоритм Палех, в якому просто зробили можливість порівняння не 150, а 2000 результатів.
Ну, а саме про відмінність Корольова і Палеха нам офіційно все пояснив співробітник Яндекса:
Насправді нічого не змінилося. Був просто пафос Яндекса та більше нічого.
Якщо говорити чесно, ніякого нового алгоритму немає. Просто нема і все. Навіть пошук по органіці залишився тим самим.
Якби було впроваджено новий алгоритм, але ми побачили коливання по трафіку. Але цих вагань немає.
Так, в принципі і шукати щось нічого.
Ось так виглядає зараз видача Яндекса:
А що власне ви шукаєте своїм пошуком?!
Зверху 4 позиції Директа + 5-а позиція Маркет, потім 4 позиції Директа знизу, праворуч Яндекс.Маркет + Яндекс.Баян.
Що тут шукати?
Який до хуїв алгоритм ранжування сайтів? Що тут ранжувати?
Я навіть намалював новий логотип Яндекса:
А Корольов тут до чого? Вам до Корольова як до Місяця. Підмазувалися під велику людину.
Я взагалі не розумію, що сталося. Було звичайний пафос Яндекса та все. Жодної глобальної зміни в алгоритмі ранжирування сайтів немає.
Тепер пройдемося самою презентацією цього алгоритму.
За місяць до презентації Яндекс оголосив, що ви можете подати заявку, щоб наживо в планетарії подивитися цю презентацію.
Я особисто заповнював заявку. Та й багато хто заповнював. І всім нам прийшла відмова.
Все насправді виявилося простіше:
Просто зібрали своїх співробітників, родичів, знайомих, подруг та знайомих своїх знайомих.
Навіщо взагалі ми подавали на щось заявки?! Ну тепер зрозуміло, кого ви набираєте на роботу в Яндекс.
Але, мабуть, набрали занадто багато знайомих і багато хто з них тупо спав:
Ебала, я всі ваші алгоритми, я хочу спати….
Ось це людина прийшла на місце Сашка Садовського:
