Перша у світі пошукова система. Історія розвитку пошукових систем
Історія розвитку Російського Інтернету (Рунета) офіційно веде відлік з 1994 року. Саме тоді було зареєстровано доменну зону.ru, і почали з'являтися перші сайти, багато з яких згодом виросли в популярні портали.
Бібліотека Мошкова, інформаційне агентство «РосБізнесКонсалтинг», студія Артемія Лебедєва – усі ці ресурси були започатковані в середині 90-х років минулого століття.
Як з'явилися перші пошукові системи
Досить довго «населення» Рунету обмежувалося невеликою кількістю цих піонерів мережевих технологій. Їх було так мало, що поняття «пошук» у ті часи просто не існувало.
Більшість потрібних сайтів можна було зберегти в закладках браузера, а для інших існували каталоги, де всі посилання були згруповані за основними категоріями. Першим таким каталогом став проект Russia on the Net (http://www.ru), трохи згодом з'явилися DMOZ, Yahoo та Яндекс.Каталог.
Однак з часом кількість користувачів мережі інтернет збільшувалася, більше ставала і кількість сайтів, створених для того, щоб ці користувачі могли їх відвідувати та отримувати потрібну їм інформацію.
Поступово бази даних каталогів виросли настільки, що знайти щось вручну стало дуже складно. Тоді і з'явилася ідея автоматизувати процес пошуку та створити для цього спеціалізований інтерактивний сервіс.
Попит завжди народжує пропозицію, тому в інтернеті один за одним почали з'являтися пошукові проекти різних авторів. Одні з них, такі як WebCrawler, Lycos, InfoSeek та інші не змогли досягти якихось серйозних успіхів і через деякий час відпочили в безвісності на безкрайніх просторах Всесвітньої павутини.
А ось для інших, більш щасливих компаній, все склалося набагато краще - провідні сучасні розробники пошукових технологій утворилися саме в цей період і за минулі роки зуміли досягти приголомшливих результатів.
Що таке пошукова система
Сучасний пошуковий движок є найскладніший механізм, який потребує великих ресурсів (як людських, і матеріальних) на підтримку поточної роботи та сталого розвитку.
В основі формування пошукової видачі лежить горезвісна формула ранжирування, яка враховує сотні різних факторів, починаючи від внутрішнього пристрою сайту та текстів його сторінок і закінчуючи зовнішніми посиланнями, привабливістю комерційних пропозицій, розміщених на ресурсі, та особливостями поведінки користувачів, які перейшли на нього з пошуку.
Ще в 2006-2007 році представники Яндекса заявляли про те, що для розшифрування їхнього алгоритму потрібен цілий науково-дослідний інститут, тому що їх пошук заснований на обліку більш ніж 800 різних факторів. З того часу минули роки, формула ранжирування ускладнилася на кілька порядків, а на фактори, які найбільше впливають на результати видачі, впливати стало практично неможливо.
Так що за зовнішньою простотою головної сторінки та швидкою реакцією Яндекса або Гугла на введену вами пошукову фразу ховається копітка робота тисяч людей та величезні фінансові вкладення в інфраструктуру, обладнання та людські ресурси.
При цьому очевидно, що компанії-лідери на сьогоднішній момент забезпечили собі таку перевагу над тими, хто захоче скласти їм хоч якусь конкуренцію, що ціна вхідного квитка на цей ринок вимірюється мільярдами доларів.
Підтвердженням такого стану справ може бути історія спроб проникнення на пошуковий ринок найвідомішої та найбагатшої софтверної компанії Microsoft. Її пошукова система Bing протягом більш ніж десяти років позиціонувалася як серйозний конкурент провідним гравцям, для чого в неї вкладалися величезні кошти.
І лише останні роки ці вкладення почали давати перші результати, хоча задовільними їх назвати все одно можна лише з дуже великим перебільшенням: частка Bing на російському ринку на момент написання статті становила менше одного відсотка.
Інший приклад, який добре ілюструє зроблені раніше висновки – російська пошукова система Нігма. Його автори обрали стратегію нішевого маркетингу. Мабуть, добре розуміючи, що у відкритому полі загального пошуку конкуренцію стовпам ринку практично неможливо, розробники алгоритму пішли шляхом надання послуг пошуку за освітніми структурами в галузі хімії, математики, фізики та інших наук.
Однак цільова аудиторія такого проекту, очевидно, є нечисленною, що однозначно відбивається і на її відвідуваності: за даними лічильника LiveInternet кількість користувачів цієї системи становить лише одну десяту відсотка.
- Безперечним лідером рейтингу є компанія Яндекс. За даними того ж лічильника Яндекс має «контрольний пакет акцій» на ринку пошукових систем: у липні 2014 року частка пошукової машини склала понад 52%.
- На другому місці впевнено закріпився Google – 38%.
- Третє місце з чималим відривом займає портал mail.ru. Якийсь час тому популярний сайт, мабуть, займався пошуками старшого брата, якому можна дорожче продатись – на їхній пошуковий майданчик по черзі інтегрувався двигун Яндекса та Гугла. Але з 2013 року компанія взяла курс на самостійний розвиток і тепер на сайті реалізовано пошуковий алгоритм власної розробки. Правда, це ніяк не позначилося на ринку системи, яка, очевидно, визначається переважно розкрученістю бренду і привабливістю сервісів, представлених на майданчику. Протягом останніх років відвідуваність сервісу go.mail.ru коливається навколо позначки 7%.
Всі інші пошукові системи, включаючи колись могутній Рамблер, можуть розцінюватися хіба що як природне тло – всі вони не мають істотного впливу на розподіл місць у топі пошукових систем, перебуваючи на рівні 0,1-0,7 відсотків ринку.
Аналіз ринку російського інтернет-пошуку
Ринок пошукових систем у Росії є вельми специфічним. Для його опису можна використовувати дві характеристики: концентрований та слабко конкурентний. Справді, частка трьох основних гравців перевищує 97%, що говорить про їхню переважну перевагу над усіма іншими.
Домінуюче становище має російська пошукова система Яндекс. Як ми вже казали, його частка перевищує 50%. У цьому наша країна є унікальною: тільки у нас, у Китаї та Чехії національні пошукові системи надають відчутну конкуренцію світовому гіганту – компанії Гугл.
За кількістю опрацьованих пошукових запитів Яндекс посідає четверте місце у світі. При цьому якщо перше місце Гугла в цьому списку навряд чи можна поставити під сумнів, то друге місце китайського Baidu викликане лише величезною чисельністю цієї країни. Третє місце – у компанії Yahoo, яка має поки що дворазову перевагу щодо російського монополіста.
За правилами європейського ринку Яндекс справді можна назвати монополістом – таке визначення надається там будь-якій компанії, частка ринку якої перевищує 35%.
У нашій країні такий стан речей називається домінуванням і не карається доти, доки не доведено факт зловживання наявною перевагою. Зрозуміло, що в інтернет-середовищі факт зловживань підтвердити дуже складно.
Як визначити частку пошуковика в загальному трафіку
Об'єктивну оцінку цього показника отримати досить просто. Справа в тому, що переважна більшість російських сайтів має встановлені лічильники провідного оператора інтернет-статистики LiveInternet.
Звичайно, ці лічильники ставлять не всі сайти, до того ж у наведеному нижче засланні не враховані доменні зони.su і рф. Але все ж таки наведену вибірку можна вважати цілком репрезентативною, вона враховує всі основні тематики, регіони та типи сайтів, що є на сьогодні в Рунеті.
Отже, переглянути поточний стан речей можна за посиланням: http://www.liveinternet.ru/stat/ru/searches.html?date=2014-07-31;period=... .
Це повне зведення за кількістю відвідувачів, які переходили на сайти, зареєстровані на російських користувачів за червень та липень 2014 року.
Висновки очевидні. Аналіз стану речей ми вже привели у попередньому розділі.
Характеристика основних пошукових систем Росії
Яндекс
Поява цього пошуковика на ринку дуже добре ілюструє ситуацію в країні в той час, коли він почав набувати сучасних обрисів. Недаремно Яндекс називають дзеркалом Рунета – мабуть, це визначення можна розширити на об'єктивну реальність.
Розвиток компанії в чомусь дуже схожий на еволюцію всього суспільства, тому певною мірою національний лідер – це дзеркало всієї країни кінця 20-го століття.
Для того щоб проілюструвати таке сміливе твердження звернемося коротко до історії виникнення компанії та пошукового движка Яндекс.
Часи після перебудови характеризуються серйозною переоцінкою цінностей найактивнішою частиною суспільства та появою на політичній та діловій арені нових енергійних людей, об'єднаних головною в їхньому житті ідеєю: модернізувати умови існування себе та своєї країни з метою забезпечення гідного рівня життя для всіх, хто поділяє їх переконання.
Одним із корифеїв тієї епохи є Аркадій Волож, який зумів об'єднати навколо себе найкращих фахівців-трудоголіків, які заклали основу майбутньої пошукової системи.
Яндекс, напевно, ніколи не став би дзеркалом Рунета, якби не приголомшливе чуття Аркадія Воложа, який зумів розглянути головну перспективу того часу саме у побудові російської пошукової системи.
Для реалізації своєї ідеї він зумів перенаправити в цей проект фінансові потоки, що утворювалися від бартерних угод з обміну партій комп'ютерів, що імпортуються до нашої країни, в обмін на ешелони кубанських гарбузових насіння.
Звісно, великих проектів не роблять без команди однодумців. І тут засновнику Яндекса пощастило – він зумів залучити на свій бік талановитого фізика Іллю Сегаловича, який подавав дуже великі надії, з яким він був знайомий ще зі шкільної лави.
Важко сказати, що стало останньою краплею, яка переважила для майбутнього великого вченого всі перспективи блискучої наукової кар'єри. Цілком можливо, що вирішальну роль відіграла справжня одержимість і талант переконання беззмінного директора Яндекса, але Ілля став технічним директором компанії і зробив неоціненний внесок у її розвиток.
Саме він став автором назви та логотипу, який зараз відомий усім, хто хоч раз заходив до інтернету. Сегалович захопився ідеєю морфологічного аналізу фраз російською мовою та можливістю класифікації текстів на основі правил побудови граматичних конструкцій.
В результаті з'явився вираз Yet another index - ще один індекс, яке в скороченому варіанті з легкої руки засновників пошукової машини стало словом Yandex. Надалі, щоб наголосити на основному призначенні пошукової машини – шукати в російськомовному сегменті інтернету – логотип перетворили на Яндекс.
Ілля Сегалович присвятив своє життя становленню та розвитку цього проекту. На жаль, у 2013 році його не стало, але справа його живе, Яндекс нарощує свою перевагу над конкурентами, постійно вдосконалюючи алгоритм пошуку, основи якого заклав його покійний директор з технологій та розробки.
Гугл
Пошукова система Google була заснована на рік раніше за Яндекс, але на російському ринку з'явилася лише в 2004 році. Звичайно, за ці роки Яндекс досяг успіху в адаптації свого пошуку під специфіку нашої країни.
Незважаючи на те, що досить значна кількість інтернет-користувачів на запитання, відповідь на яке вони не знають, пропонують «погуглити», а не «запитати у Яндекса», основною проблемою світового гіганта є недостатній облік морфології російськомовних текстів, внаслідок чого відповідь на запити користувачів часто є неповним або трохи спотвореним.
Можна довго сперечатися про те, чий пошук кращий і з якої системи йдуть мотивовані (або «гарячі») клієнти. Але, як нам здається, типова картина для російського користувача виглядає наступним чином: спочатку запитується «дзеркало Рунета», а якщо результати його пошуку виявилися не релевантними (а таке, на жаль, трапляється досить часто), запит перетранслюється в Google.
Глобальні апдейти Гугла відбуваються набагато рідше, ніж Яндекс. Зате вони змінюють видачу настільки серйозно, що багато авторитетних сайтів, які роками перебували в топі, виявляються наприкінці першої сотні результатів видачі.
Так, наприклад, остання версія алгоритму «Панда» чудово пройшлася деякими провідними інтернет-магазинами, торкнувшись навіть недоторканними amazon.com та інших.
У 2013 році компанія нарешті перестала транслювати чужий пошук на своєму майданчику та реалізувала свій варіант пошукової машини за адресою go.mail.ru.
Цей крок можна лише вітати, оскільки в перспективі пошуковик від mail.ru може чинити серйозний опір дуету лідерів, який поки що може трохи розслабитися, не відчуваючи рвучкого дихання конкурентів за своєю спиною.
Частка даної пошукової системи зараз не перевищує 7%, але має гарну перспективу до збільшення за рахунок розвитку соціальних сервісів, що надаються компанією: Однокласники, Мій Коло, пошта і т.д.
Пошуковики з часткою ринку менше 1%
У цій групі зосереджені переважно системи, які не змогли пробитися в еліту російського пошуку. Серед них особливе становище займає компанія Рамблер, яка колись впевнено посідала друге місце і демонструвала дуже перспективні тенденції.
Рамблер
З'явившись у 1996 році, як дітище програмістів наукограда Пущино під керівництвом талановитого ентузіаста Дмитра Крюкова, Рамблер одразу став лідером ринку пошукових систем. У ті часи Яндекса ще не було, а Google лише починав свою ходу територією Америки та прилеглих країн.
Здавалося б, така фора мала допомогти «бродязі» (а саме так перекладається з англійської слово Rambler) отримати помітні конкурентні переваги у розвитку.
Але чи то внутрішні конфлікти в компанії, чи відсутність чітко вираженої стратегії призвели до того, що зараз Рамблер транслює пошук Яндекса і більше відомий, як агрегатор деяких популярних сервісів, включаючи рейтинг сайтів Rambler Top100
Бінг
Він же MSN Search, Live Seacrh, Windows Live Seacrh – продукт компанії Microsoft, яка відчайдушно бореться за місце під сонцем на ринку пошукових систем. Це один з небагатьох сервісів, які використовують свій власний двигун.
Результати пошуку цілком прийнятні, головною проблемою сайту, мабуть, є невисока популярність серед користувачів.
Апорт
Ще один приклад сумної долі одного з лідерів ринку. Були часи, коли ця пошукова система твердо тримала третє місце після Яндекса і Рамблера, а в його каталог вебмайстра прагнули потрапити так само активно, як у DMOZ або Яндекс-каталог.
Зараз на сайті розміщено інтернет-магазин популярних побутових товарів. Пошук на апорті якщо і залишився, то захований десь у глибинах ресурсу, на одному з його піддоменів.
Що потрібно, щоб написати свою власну пошукову систему
Для того, щоб відповісти на це питання, необхідно добре уявляти, що таке пошукова система і як вона працює. Частково ми розглянули основні принципи побудови формули ранжування сайтів у пошуковій видачі. Крім цього, слід зазначити такі моменти:
Головне завдання пошукової машини – дати відповідь на запит користувача. Відповідь має бути чіткою та актуальною, інакше користувач піде в інші системи, навіть незважаючи на невисоку конкуренцію у цій галузі.
Щоб дати таку відповідь, пошуковому алгоритму необхідно в момент його формування переглянути вміст багатьох мільярдів сторінок у мережі у пошуках найбільш підходящих для конкретного запиту. Для цього пошукові системи створюють власні бази даних, які називаються індексами та зберігають там всю необхідну інформацію.
Індекс формується шляхом постійного сканування мережі в пошуках нових сайтів, що з'явилися, а також змін на вже проіндексованих сторінках. Виконують цю роботу спеціальні програми, які називають роботами-індексаторами.
Вони цілодобово ходять сайтами і зчитують оновлену інформацію. Організація роботи таких роботів вимагає побудови великого дата-центру на кілька тисяч потужних комп'ютерів з усією інфраструктурою, починаючи від безперебійного живлення та охолодження та закінчуючи регулярним обслуговуванням та модернізацією.
Користувачі хочуть отримати швидкі та адекватні відповіді на свої запити. Тому сучасна пошукова система повинна враховувати як характеристики відомих їй сайтів, а й переваги, особливості поведінки й географічне розташування кожного свого клієнта.
Для цього алгоритми пошуку повинні володіти елементами штучного інтелекту та вміти самостійно навчатися у процесі своєї роботи. Очевидно, що для написання такого движка потрібен великий колектив програмістів найвищого класу.
Враховуючи, що провідні пошукові системи вже вирішили всі ці проблеми і володіють усім необхідним потенціалом для подальшого розвитку, вартість входження на цей ринок є практично надхмарною.
Тому навряд чи найближчим часом може з'явитися новий гравець, здатний швидко зайняти гідне місце у існуючих системах. Хоча, якщо таке раптом трапиться, виграють усі – і самі пошукові системи, які отримають нові стимули для ще більшого вдосконалення, і ми, примхливі рядові користувачі, яким завжди чогось не вистачає і хочеться, щоб пошук з кожним днем ставав кращим та якіснішим. .
Прийнято вважати, що історія перших пошукових систем російського сегменту інтернету починає свій відлік з 1995 року. Саме цього року користувачам Рунету стало доступне морфологічне розширення до пошукової системи Altavista. Практично слідом за розширенням з'явилися оригінальні пошукові системи Апорт і Рамблер, які вважаються першими російськими пошуковими машинами.
AltaVista з'явилася в грудні 1995 р. і була підтримана найпотужнішим доступним на той час обчислювальним сервером DEC Alpha. Це була найшвидша пошукова система, яка могла обробляти мільйони пошукових запитів на день.
Апорт
Пошукова система Апорт була продемонстрована широкому загалу на кілька місяців раніше Рамблера в лютому 1996 року. На момент свого запуску машина здійснювала пошук лише на сайті russia.agama.com. Надалі розробники Апорта продемонстрували крайню неквапливість у розвитку свого проекту, дуже довго налагоджуючи пошук, спочатку по 4 серверах, потім по 6. Індексувати весь Рунет Апорт навчився лише до листопада 1997 року, тоді ж і пройшла його офіційна . До цього моменту в російськомовному сегменті вже успішно працювала інша пошукова система під назвою Рамблер.
Незважаючи на всі ці обставини, Апорту до початку 2000-х років. вдавалося успішно конкурувати з основними гравцями ринку Рамблером та Яндексом, та входити до списку лідерів пошуку в Рунеті. Згодом, компанія, що створила цю пошукову систему, була викуплена телекомунікаційним холдингом, всі розробки були припинені, і Апорт швидко здав свої позиції, поступившись своїм основним конкурентам.
На даний момент Апорт є електронним торговим майданчиком, з великою базою фірм і компаній, що пропонують більше 8 мільйонів найменувань товарів, в 1400 категоріях.
Рамблер
Створити оригінальну російську пошукову машину команда телекомунікаційної компанії Стек вирішила ще 1994 року. На той час Стек вже мав певний досвід у роботі з мережею інтернет, серверами та веб-сайтами. Працюючи з російським сегментом інтернету, фахівці компанії визначили, що закордонні пошукові машини практично не сприймають кирилицю та сторінки з кількома кодуваннями, і дуже погано індексують сайти Рунету.
Rambler» у перекладі з англійської мови - «мандрівник», «бродяга», «людина, що святкується».
Ядро нового пошуковика буквально за кілька місяців написав програміст Дмитро Крюков. Робота над новою машиною фінансувалася компанією Стек, творець якої Сергій Лисаков активно допомагав Крюкову у його непростій роботі. Назва Рамблер і логотип майбутньої пошукової системи також Дмитро. Домен rambler.ru був зареєстрований 26 вересня 1996 року, а 8 жовтня пошукова машина, що носить назву Rambler, була викладена її творцем у мережу. На той момент новою пошуковою системою було проіндексовано 100 тисяч документів, що було продуманим і стратегічно важливим кроком, що дозволило Рамблеру на кілька років стати беззаперечним лідером пошуку в Рунеті.
До архітектури пошукової системи зазвичай входять:
Енциклопедичний YouTube
1 / 5
✪ Урок 3: Як працює пошукова система. Введення у SEO
✪ Пошукова система зсередини
✪ Shodan - чорний Google
✪ Пошукова система ЧЕБУРАШКА замінить Google та Яндекс у Росії
✪ Урок 1 - Як влаштовано пошукову систему
Субтитри
Історія
| Хронологія | ||
|---|---|---|
| Рік | Система | Подія |
| 1993 | W3Catalog?! | Запуск |
| Aliweb | Запуск | |
| JumpStation | Запуск | |
| 1994 | WebCrawler | Запуск |
| Infoseek | Запуск | |
| Lycos | Запуск | |
| 1995 | AltaVista | Запуск |
| Daum | Заснування | |
| Open Text Web Index | Запуск | |
| Magellan | Запуск | |
| Excite | Запуск | |
| SAPO | Запуск | |
| Yahoo! | Запуск | |
| 1996 | Dogpile | Запуск |
| Inktomi | Заснування | |
| Рамблер | Заснування | |
| HotBot | Заснування | |
| Ask Jeeves | Заснування | |
| 1997 | Northern Light | Запуск |
| Яндекс | Запуск | |
| 1998 | Запуск | |
| 1999 | AlltheWeb | Запуск |
| GenieKnows | Заснування | |
| Naver | Запуск | |
| Teoma | Заснування | |
| Vivisimo | Заснування | |
| 2000 | Baidu | Заснування |
| Exalead | Заснування | |
| 2003 | Info.com | Запуск |
| 2004 | Yahoo! Search | Остаточний запуск |
| A9.com | Запуск | |
| Sogou | Запуск | |
| 2005 | MSN Search | Остаточний запуск |
| Ask.com | Запуск | |
| Нігма | Запуск | |
| GoodSearch | Запуск | |
| SearchMe | Заснування | |
| 2006 | wikiseek | Заснування |
| Quaero | Заснування | |
| Live Search | Запуск | |
| ChaCha | Запуск (бета) | |
| Guruji.com | Запуск (бета) | |
| 2007 | wikiseek | Запуск |
| Sproose | Запуск | |
| Wikia Search | Запуск | |
| Blackle.com | Запуск | |
| 2008 | DuckDuckGo | Запуск |
| Tooby | Запуск | |
| Picollator | Запуск | |
| Viewzi | Запуск | |
| Cuil | Запуск | |
| Boogami | Запуск | |
| LeapFish | Запуск (бета) | |
| Forestle | Запуск | |
| VADLO | Запуск | |
| Powerset | Запуск | |
| 2009 | Bing | Запуск |
| KAZ.KZ | Запуск | |
| Yebol | Запуск (бета) | |
| Mugurdy | Закриття | |
| Scout | Запуск | |
| 2010 | Cuil | Закриття |
| Blekko | Запуск (бета) | |
| Viewzi | Закриття | |
| 2012 | WAZZUB | Запуск |
| 2014 | Супутник | Запуск (бета) |
На ранньому етапі розвитку мережі Інтернет Тім Бернерс-Лі підтримував список веб-серверів, розміщений на сайті ЦЕРН . Сайтів ставало дедалі більше, і підтримувати вручну такий перелік ставало дедалі складніше. На сайті NCSA був спеціальний розділ «Що нового!» (англ. What"s New!), де публікували посилання на нові сайти.
Першою комп'ютерною програмою для пошуку в Інтернеті була програма Арчі(англ. archie – архів без літери «в»). Вона була створена в 1990 році Аланом Емтеджем (Alan Emtage), Біллом Хіланом (Bill Heelan) і Дж. Пітером Дойчем (J. Peter Deutsch), студентами, які вивчають інформатику в університеті Макгілла в Монреалі. Програма завантажувала списки всіх файлів з усіх доступних анонімних FTP-серверів і будувала базу даних, в якій можна було шукати імена файлів. Проте, програма Арчі не індексувала вміст цих файлів, оскільки обсяг даних був настільки малий, що можна було легко знайти вручну.
Розвиток та розповсюдження мережевого протоколу Gopher, придуманого в 1991 році Марком Маккехілом (Mark McCahill) в університеті Міннесоти, привело до створення двох нових пошукових програм, Veronicaта Jughead. Як і Арчі, вони шукали імена файлів та заголовки, збережені в індексних системах Gopher. Veronica (англ. Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) дозволяла виконувати пошук за ключовими словами більшості заголовків меню Gopher у всіх списках Gopher. Програма Jughead (англ. Jonzy"s Universal Gopher Hierarchy Excavation And Display) витягувала інформацію про меню від певних Gopher-серверів. Хоча назва пошуковика Арчі не мала відношення до циклу коміксів. «Арчі»Проте Veronica і Jughead - персонажі цих коміксів.
До літа 1993 ще не було жодної системи для пошуку в інтернеті, хоча вручну підтримувалися численні спеціалізовані каталоги. Оскар Нірштрасс (Oscar Nierstrasz) в Женевському університеті написав ряд сценаріїв на Perl, які періодично копіювали ці сторінки і переписували їх у стандартний формат. Це стало основою для W3Catalog?!, перша примітивна пошукова система мережі, запущена 2 вересня 1993 року .
Ймовірно, першим пошуковим роботом, написаним мовою Perl, був «World Wide Web Wanderer» - бот Метью Грея (Matthew Gray) з у червні 1993 року. Цей робот створював пошуковий індекс "Wandex". Мета робота Wanderer полягала в тому, щоб виміряти розмір всесвітньої павутини та знайти всі веб-сторінки, що містять слова із запиту. У 1993 році з'явилася і друга пошукова система Aliweb. Aliweb не використовувала пошукового робота, але натомість чекала повідомлень від адміністраторів веб-сайтів про наявність на їх сайтах індексного файлу в певному форматі.
JumpStation, створений у грудні 1993 року Джонатаном Флетчером, шукав веб-сторінки і будував їх індекси за допомогою пошукового робота, і використовував веб-форму як інтерфейс для формулювання пошукових запитів. Це був перший інструмент пошуку в Інтернеті, який поєднував три найважливіші функції пошукової системи (перевірка, індексація та власне пошук). Через обмеженість ресурсів комп'ютерів того часу індексація і, отже, пошук були обмежені лише назвами та заголовками веб-сторінок, знайдених пошуковим роботом.
Пошукові системи брали участь у «Бульбашці-доткомів» кінця 1990-х. Декілька компаній ефектно вийшли на ринок, отримавши рекордний прибуток під час їх первинної, публічної пропозиції. Деякі відмовилися від ринку загальнодоступних пошукових движків і почали працювати тільки з корпоративним сектором, наприклад, Northern Light.
Google взяв на озброєння ідею продажу ключових слів у 1998 році, тоді це була маленька компанія, яка забезпечувала пошукову систему за адресою goto.com. Цей крок ознаменував для пошукових систем перехід від змагань один до одного з найвигідніших комерційних підприємств в Інтернеті. Пошукові системи стали продавати, перші місця, в результатах пошуку окремим компаніям.
Пошукова система Google займає чільне становище з початку 2000-х. Компанія досягла високого становища завдяки хорошим результатам пошуку за допомогою алгоритму PageRank. Алгоритм був представлений громадськості у статті The Anatomy of Search Engine, написаній Сергієм Бріном і Ларрі Пейджем, засновниками Google. Цей ітеративний алгоритм ранжує веб-сторінки, ґрунтуючись на оцінці кількості гіперпосилань на веб-сторінку в припущенні, що на «хороші» і «важливі» сторінки посилаються більше, ніж на інші. Інтерфейс Google витриманий у спартанському стилі, де немає нічого зайвого, на відміну від багатьох своїх конкурентів, які вбудовували пошукову систему у веб-портал. Пошукова система Google стала настільки популярною, що з'явилися наслідуючі її системи, наприклад, Mystery Seeker(таємний пошуковик).
Пошук інформації російською мовою
У 1996 році було реалізовано пошук з урахуванням російської морфології на пошуковій машині Altavista і запущено оригінальні російські пошукові машини Рамблер і Апорт. 23 вересня 1997 року було відкрито пошукову машину Яндекс. 22 травня 2014 року компанією Ростелеком було відкрито національну пошукову машину «Супутник», яка на момент 2015 року знаходиться в стадії бета-тестування. 22 квітня 2015 року було відкрито новий сервіс Супутник. Діти спеціально для дітей із підвищеною безпекою.
Велику популярність здобули методи кластерного аналізу та пошуку за метаданими. З міжнародних машин такого плану найбільшої популярності набула "Clusty"компанії Vivisimo. У 2005 році в Росії за підтримки МДУ запущено пошуковик "Нігма", що підтримує автоматичну кластеризацію. У 2006 році відкрилася російська метамашина Quintura, що пропонує візуальну кластеризацію у вигляді хмар і тегів. "Нігма" теж експериментувала з візуальною кластеризацією.
Як працює пошукова система
Основні складові пошукової системи: пошуковий робот, індексатор, пошуковик.
Зазвичай, системи працюють поетапно. Спочатку пошуковий робот отримує контент, потім індексатор генерує доступний для пошуку індекс, і нарешті пошуковик забезпечує функціональність для пошуку індексованих даних. Щоб оновити пошукову систему, цей цикл індексації виконується повторно.
Пошукові системи працюють, зберігаючи інформацію про багато веб-сторінок, які вони одержують з HTML сторінок. Пошуковий робот або «краулер» (англ. Crawler) - програма, яка автоматично проходить за всіма посиланнями, знайденими на сторінці, та виділяє їх. Краулер, ґрунтуючись на посиланнях або виходячи із заздалегідь заданого списку адрес, здійснює пошук нових документів, які ще не відомі пошуковій системі. Власник сайту може виключити певні сторінки за допомогою robots.txt , за допомогою якого можна заборонити індексацію файлів, сторінок або каталогів сайту.
Пошукова система аналізує зміст кожної сторінки для подальшого індексування. Слова можуть бути вилучені із заголовків, тексту сторінки або спеціальних полів – метатегів. Індексатор - це модуль, який аналізує сторінку, попередньо розбивши її частини, застосовуючи власні лексичні і морфологічні алгоритми. Усі елементи веб-сторінки виділяються та аналізуються окремо. Дані про веб-сторінки зберігаються в індексній базі даних для використання у наступних запитах. Індекс дозволяє швидко знаходити інформацію на запит користувача . Ряд пошукових систем, подібних до Google, зберігають вихідну сторінку цілком або її частину, так званий кеш, а також різну інформацію про веб-сторінку. Інші системи, подібні до системи AltaVista, зберігають кожне слово кожної знайденої сторінки. Використання кешу допомагає прискорити вилучення інформації з вже відвіданих сторінок. Кешовані сторінки завжди містять текст, який користувач задав у пошуковому запиті. Це може бути корисним у тому випадку, коли веб-сторінка оновилася, тобто вже не містить текст запиту користувача, а сторінка в кеші ще стара. Ця ситуація пов'язана із втратою посилань (англ. linkrot) та дружнім по відношенню до користувача (юзабіліті) підходом Google. Це передбачає видачу з кешу коротких фрагментів тексту, які містять текст запиту. Діє принцип найменшого подиву, користувач зазвичай очікує побачити шукані слова в текстах отриманих сторінок ( User expectations). Крім того, що використання кешованих сторінок прискорює пошук, сторінки в кеші можуть містити інформацію, яка вже ніде більше не доступна.
Пошуковик працює з вихідними файлами, отриманими від індексатора. Пошуковик приймає запити користувача, обробляє їх за допомогою індексу і повертає результати пошуку .
Коли користувач вводить запит у пошукову систему (зазвичай за допомогою ключових слів), система перевіряє свій індекс і видає список найбільш підходящих веб-сторінок (відсортований за будь-яким критерієм), зазвичай з короткою анотацією, що містить заголовок документа і іноді частини тексту. Пошуковий індекс будується за спеціальною методикою на основі інформації, витягнутої з веб-сторінок . З 2007 року пошуковик Google дозволяє шукати з урахуванням часу, створення шуканих документів (виклик меню «Інструменти пошуку» та вказівка часового діапазону). Більшість пошукових систем підтримує використання в запитах булевих операторів І, АБО, НЕ, що дозволяє уточнити або розширити список шуканих ключових слів. При цьому система шукатиме слова чи фрази точно так, як було запроваджено. У деяких пошукових системах є можливість наближеного пошуку, у цьому випадку користувачі розширюють область пошуку, вказуючи відстань до ключових слів . Є також концептуальний пошук, при якому використовується статистичний аналіз вживання шуканих слів та фраз у текстах веб-сторінок. Ці системи дозволяють складати запити природною мовою. Прикладом такої пошукової системи є сайт ask com.
Корисність пошукової системи залежить від релевантності знайдених сторінок. Хоч мільйони веб-сторінок і можуть включати слово або фразу, але одні з них можуть бути більш релевантні, популярні або авторитетні, ніж інші. Більшість пошукових систем використовує методи ранжирування, щоб вивести на початок списку "найкращі" результати. Пошукові системи вирішують, які сторінки більш релевантні, і в якому порядку мають бути показані результати по-різному. Методи пошуку, як і сам Інтернет, згодом змінюються. Так з'явилися два основні типи пошукових систем: системи визначених та ієрархічно впорядкованих ключових слів та системи, в яких генерується інвертований індекс на основі аналізу тексту.
Більшість пошукових систем є комерційними підприємствами, які отримують прибуток за рахунок реклами, в деяких пошукових системах можна купити за окрему плату перші місця у видачі для заданих ключових слів. Ті пошукові системи, які не беруть грошей за порядок видачі результатів, заробляють на контекстній рекламі, рекламні повідомлення відповідають запиту користувача. Така реклама виводиться на сторінці зі списком результатів пошуку, і пошукові системи заробляють при кожному натисканні користувача на рекламні повідомлення.
Типи пошукових систем
Існує чотири типи пошукових систем: з пошуковими роботами, керовані людиною, гібридні та мета-системи.
- системи, що використовують пошукові роботи
- системи, керовані людиною (каталоги ресурсів)
- гібридні системи
- мета-системи
Ринок пошукових систем
Google - найпопулярніша пошукова система у світі з часткою на ринку 68,69%. Bing займає другу позицію, його частка 12,26%.
Найпопулярніші пошукові системи у світі:
| Пошукова система | Частка ринку у липні 2014 | Частка ринку у жовтні 2014 | Частка ринку у вересні 2015 року |
|---|---|---|---|
| 68,69 % | 58,01 % | 69,24% | |
| Baidu | 17,17 % | 29,06 % | 6,48% |
| Bing | 6,22 % | 8,01 % | 12,26% |
| Yahoo! | 6,74 % | 4,01 % | 9,19% |
| AOL | 0,13 % | 0,21 % | 1,11% |
| Excite | 0,22 % | 0,00 % | 0,00 % |
| Ask | 0,13 % | 0,10 % | 0,24% |
Азія
У східноазіатських країнах та в Росії Google – не найпопулярніша пошукова система. У Китаї, наприклад, популярніша пошукова система Soso?!.
У Південній Кореї пошуковим порталом власної розробки Naver користується близько 70% жителів Yahoo! Japan та Yahoo! Taiwan - найпопулярніші системи для пошуку в Японії та Тайвані відповідно.
Росія та російськомовні пошукові системи
Згідно з даними LiveInternet у червні 2015 року про охоплення російськомовних пошукових запитів:
- Всемовні:
- Yahoo! (0,1 %) та пошукові машини, що належать цій компанії: Inktomi, AltaVista , Alltheweb
- Англомовні та міжнародні:
- AskJeeves(механізм Teoma)
- Російськомовні – більшість «російськомовних» пошукових систем індексують та шукають тексти багатьма мовами – українською, білоруською, англійською, татарською та іншими. Відрізняються вони від «всемовних» систем, які індексують всі документи поспіль, тим, що, в основному, індексують ресурси, розташовані в доменних зонах, де домінує російська мова, або іншими способами обмежують своїх роботів російськомовними сайтами.
Деякі пошукові системи використовують зовнішні алгоритми пошуку.
Кількісні дані пошукової системи Google
Число користувачів Інтернету та пошукових систем та вимог користувачів до цих систем постійно зростає. Для збільшення швидкості пошуку потрібної інформації великі пошукові системи містять велику кількість серверів. Сервера зазвичай групують серверні центри (дата-центри). У популярних пошукових систем серверні центри розкидані по всьому світу.
У жовтні 2012 року Google запустила проект «Де живе Інтернет», де користувачам надається можливість познайомитись із центрами обробки даних цієї компанії.
Про роботу дата-центрів пошукової системи Google відомо наступне:
- Сумарна потужність усіх дата-центрів Google станом на 2011 рік оцінювалася в 220 МВт.
- Коли в 2008 році Google планувала відкрити в Орегоні новий комплекс, що складається з трьох будівель загальною площею 6,5 млн м², в журналі Harper's Magazine підрахували, що такий великий комплекс споживає понад 100 МВт електроенергії, що порівняно із споживанням енергії міста з населенням 300 людина.
- Орієнтовна кількість серверів Google у 2012 році – 1 000 000.
- Витрати Google на дата-центри склали 2006 року - $1,9 млрд, а 2007 року - $2,4 млрд.
Розмір всесвітньої мережі, проіндексованої Google на грудень 2014 року, становить приблизно 4,36 мільярда сторінок.
Пошукові системи, які враховують релігійні заборони
Глобальне поширення Інтернету та збільшення популярності електронних пристроїв в арабському та мусульманському світі, зокрема, в країнах Близького, Сходу та Індійського субконтиненту, сприяло розвитку локальних пошукових систем, що враховують ісламські традиції. Такі пошукові системи містять спеціальні фільтри, які допомагають користувачам не потрапляти на заборонені сайти, наприклад сайти з порнографією, і дозволяють їм користуватися лише тими сайтами, вміст яких не суперечить ісламській вірі. Незадовго до мусульманського місяця Рамадан, у липні 2013 року, був представлений світові Halalgoogling- система, що видає користувачам лише халяльні «правильні» посилання, фільтруючи результати пошуку, отримані з інших пошукових систем, як-от Google і Bing. Двома роками раніше, у вересні 2011 року, було запущено пошуковий двигун I'mHalal, призначений для обслуговування користувачів Близького Сходу. Однак цей пошуковий сервіс довелося незабаром закрити, за повідомленням власника, через відсутність фінансування.
Відсутність інвестицій та повільний темп поширення технологій у мусульманському світі перешкоджали прогресу та заважали успіху серйозної ісламської пошукової системи. Очевидним є провал величезних інвестицій у веб-проекти мусульманського способу життя, одним з яких був Muxlim. Він отримав мільйони доларів від інвесторів, таких як Rite Internet Ventures, і тепер - відповідно до останнього повідомлення від I'mHalal перед його закриттям - виступає із сумнівною ідеєю про те, що «наступний Facebook або Google можуть з'явитися тільки в країнах Близького сходу, якщо ви підтримаєте нашу блискучу молодь» . Проте ісламські експерти в галузі Інтернету протягом багатьох років займаються визначенням того, що відповідає або не відповідає шаріату, і класифікують веб-сайти як халяль або харам. Всі колишні і справжні ісламські пошукові системи є просто спеціальним чином проіндексованим набором даних або це головними пошуковими системами, такими як Google, Yahoo і Bing, з певною системою фільтрації, що використовується для того, щоб користувачі не могли отримати доступ до харам-сайтів, таких як сайти про наготу, ЛГБТ, азартні ігри та будь-яким іншим, тематика яких вважається антиісламською.
Серед інших релігійно-орієнтованих пошукових систем поширеними є Jewogle - єврейська версія Google і SeekFind.org - християнський сайт, що включає фільтри, що оберігають користувачів від контенту, який може підірвати або послабити їх віру.
Персональні результати та бульбашки фільтрів
Багато пошукових систем, такі як Google і Bing, використовують алгоритми вибіркового вгадування того, яку інформацію користувач хотів би побачити, ґрунтуючись на його минулих діях у системі. В результаті веб-сайти показують лише ту інформацію, яка узгоджується з минулими інтересами користувача. Цей ефект отримав назву «міхур фільтрів».
Все це веде до того, що користувачі отримують набагато менше інформації, що суперечить своїй точці зору, і стають інтелектуально ізольованими у своєму власному «інформаційному міхурі». Таким чином, «ефект міхура» може мати негативні наслідки для формування громадянської думки.
Упередженість пошукових систем
Незважаючи на те, що пошукові системи запрограмовані, щоб оцінювати веб-сайти на основі деякої комбінації їх популярності та релевантності, насправді експериментальні дослідження вказують на те, що різні політичні, економічні та соціальні фактори впливають на пошукову видачу.
Така упередженість може бути прямим результатом економічних та комерційних процесів: компанії, які рекламуються в пошуковій системі, можуть стати популярнішими в результатах звичайного пошуку в ній. Вилучення результатів пошуку, які не відповідають місцевим законам, є прикладом впливу політичних процесів. Наприклад, Google не відображатиме деякі неонацистські веб-сайти у Франції та Німеччині, де заперечення Голокосту є незаконним.
Упередженість може бути наслідком соціальних процесів, оскільки алгоритми пошукових систем часто розробляються, щоб виключити неформатні погляду на користь «популярніших» результатів . Алгоритми індексації головних пошукових систем віддають пріоритет американським сайтам.
Пошукова - бомба - один з прикладів спроби управління результатами пошуку з політичних, соціальних або комерційних причин.
Див. також
- Qwika
- Електронна бібліотека#Списки бібліотек і пошукові системи
- Панель інструментів веб-розробника
Примітки
Література
- Ашманов І. С., Іванов А. А.Просування сайту у пошукових системах. - М.: Вільямс, 2007. - 304 с. - ISBN 978-5-8459-1155-1.
- Байков В.Д.Інтернет. Пошук інформації. Просування сайтів. - СПб. : БХВ-Петербург, 2000. – 288 с. - ISBN 5-8206-0095-9.
- Колісніченко Д. М.Пошукові системи та просування сайтів в Інтернеті. – М.: Діалектика, 2007. – 272 с. - ISBN 978-5-8459-1269-5.
- Ланде Д. В.Пошук знань у Internet. – М.: Діалектика, 2005. – 272 с. - ISBN 5-8459-0764-0.
- Ланде Д. В., Снарський А. А., Безсуднов І. В.Інтернетика: "Навігація" у "складних" мережах: "моделі" і "алгоритми" – M.: Ліброком (Editorial URSS), 2009. – 264 с. - ISBN 978-5-397-00497-8.
- Chu H., Rosenthal M.
В Інтернеті спеціальний веб сайт, на якому користувач за заданим запитом може отримати посилання на сайти, що відповідають цьому запиту. Пошукова система складається з трьох компонентів: 1 пошукового робота; 2 індекси системи; та 3 програми,… … Фінансовий словник
Сущ., кіль у синонімів: 3 шукалка (9) шукач (16) пошуковик (13) Словник синонімів AS … Словник синонімів
Пошукова система- пошуковик Сайт, за допомогою якого шукаються інші сайти. Пошук здійснюється шляхом введення ключових слів у віконце пошуку. На відміну від каталогів, навіть якщо сайт не був попередньо зареєстрований, його можна знайти за допомогою пошуковика. Довідник технічного перекладача
Пошукова система- ieškos sistema statusas T sritis automatika atitikmenys: angl. searching system vok. Такасистема, n rus. пошукова система f pranc. système de recherche, m … Automatikos terminų žodynas
Пошукова система- (англ. search engine, синоніми: шукалка, пошуковий сервер, пошукова машина) – Інструмент для пошуку інформації в Інтернеті. Як правило, робота пошукової машини складається із двох етапів. Спеціальна програма (пошуковий робот, автомат, агент, … Енциклопедичний словник ЗМІ
Управління, система автоматичного управління (див. Автоматичне управління), в якій керуючі впливу методом пошуку автоматично змінюються т. о., щоб здійснювалося найкраще (в якомусь сенсі) управління об'єктом; при… … Велика Радянська Енциклопедія
Управління система автоматичного управління, в якій управляючі впливи методом пошуку автоматичного змінюються т. о., щоб здійснювати найкраще управління об'єктом; при цьому зміни хар до об'єкта або впливів зовніш. середовища заздалегідь … Великий енциклопедичний політехнічний словник
ШМД 1 призначена для пошуку рятувальників, які потрапили в критичні умови, пов'язані з загрозою для життя, а також пошуку десантованих вантажів і різних об'єктів в умовах поганої видимості. До її складу входять: радіоблок пошуку активних… Словник надзвичайних ситуацій
автоматизована інформаційно-пошукова система- 3.2.5 автоматизована інформаційно-пошукова система: ІПС, реалізована на базі електронно-обчислювальної техніки Джерело … Словник-довідник термінів нормативно-технічної документації
Цей термін має й інші значення, див. Апорт. Апорт … Вікіпедія
Книги
- Екстремальні завдання теорії графів та Інтернет. Навчальний посібник, Райгородський Андрій Михайлович. Справжня брошура присвячена вивченню різноманітних екстремальних завдань теорії графів, (хоч би часткове) вирішення яких може бути корисним при аналізі даних. Вона виникла на основі.
- Екстремальні завдання теорії графів та інтернет, Райгородський Ф.М.. Справжня брошура присвячена вивченню різних екстремальних завдань теорії графів, (хоч би часткове) вирішення яких може бути корисним при аналізі даних. Вона виникла на основі.
1. Введення
Пошукова оптимізація сайтів зазвичай включає перетворення структури сайту, наповнення текстовим вмістом в залежності від просуваються запитів, а також різні способи підвищення цитованості ресурсу. Крім стандартних оптимізаційних процесів, є численні методи, які застосовуються вже до конкретної пошукової системи. Звичайно, пошукові системи з відкритими кодами поки що рідкість, і оптимізаторам є над чим поламати голови, але деякі основні закономірності поведінки можна простежити і у систем, що вже утвердилися.
У цьому майстер-класі ми з відтінком порівняльного аналізу розглянемо найпопулярніші закордонні пошукові системи та пошукові системи Росії.
2. Російські пошукові системи
Google, Yandex і Rambler на сьогоднішній день вважаються найбільш популярними пошуковими машинами в Росії. Система Yandex є більш відвідуваною і має в потрібній мірі релевантну видачу, отже найчастіше оптимізатори беруться просувати ресурс саме в цій системі.
Розглянемо докладніше кожну з цих пошукових систем.
Google
Google має свій російський аналог, менш популярний ніж вихідний американський, але нічим йому не поступається якістю пошуку. Google у Росії має численні шанувальники, які вважають, що ця пошукова система видає найкращий результат.
PageRank, який використовується в Google, в основному заснований на link popularity. Тобто. при обчисленні релевантності сторінки найбільший внесок має кількість та якість посилань на сторінки з інших сторінок.
На даний момент база даних Google налічує понад мільярд проіндексованих сторінок.
Google – одна з небагатьох пошукових систем, яка глибоко індексує ваш сайт. Google використовує link popularity як найвагоміший фактор у визначенні релевантності сторінки. Тому великим та популярним сайтам простіше потрапити на високі позиції у результатах пошуку. Це також захищає Google від спаму.
Google вважає, що наступні фактори будуть найбільш вагомими під час ранжування сторінок:
- Link popularity (індекс цитування);
- Keyword proximity and density (щільність та частота ключових слів);
- Keywords in the link text (ключові слова у посиланнях);
- Emphasized text (виділений текст).
Відмінна риса Yandex – інтуїтивний пошук у всіх словоформах. Унікальна розробка особливо російської мови.
У каталозі Яндекса використовується таке поняття, як тематичний індекс цитування (ТІЦ) . Він визначається кількістю та якістю зовнішніх посилань на ваш сайт. На якість посилання впливає ТІЦ ресурсу, що посилається на вас. Важливу роль грає тематична близькість вашого сайту ресурсами, що посилаються на вас.
При підрахунку індексу цитування не беруться до уваги посилання з форумів, веб-дошок, конференцій, сайтів, які розміщені на безкоштовних хостингах (якщо вони не описані в каталозі Яндекса). Природно, не враховуються посилання із тих сайтів, які Яндекс не індексує (наприклад, зарубіжні сайти).
Кількість хостів залежить від відвідувачів (що більше, тим більше хостів), а індекс цитування Яндекса – від авторів сайтів (що більше авторів поставлять посилання на ваш ресурс, тим вище значення CY).
За значенням індексу цитування визначається релевантність ресурсу в каталозі Яндекса та, відповідно, позиція вашого сайту у вибраному розділі.
Переіндексація документа відбувається приблизно раз на два тижні, але під кожен сайт робот підлаштовується окремо. Все залежить від частоти оновлення. За словами Яндекса, тег< meta name="Revizit-after" content="n-days">ніякої ролі у роботі робота не грає.
Яндекс індексує російську мережу, тому в пошукову машину вносяться сервери в доменах su, ru, am, az, ge, kg, kz, md, ua, uz. Інші сервери вносяться тільки якщо на них знайдено текст російською мовою.
Інформація в заголовку (тег< title >) Яндекс відображає результати пошуку. Слова в тезі< title >, мають більшу вагу, ніж всі інші. Ключові слова у тезі< meta>також збільшує вагу слова в документі, але тільки якщо саме слово знаходиться на сторінці.
Крім перерахованих вище способів, на релевантність слова впливають частота його використання в заголовках (< h1>, < h2>...), в атрибуті alt, у підказках (тег< acronym>) і відсоток цього слова у документі, тобто. як часто ви його використовуєте. Але при цьому необхідно зберегти зміст документа, інакше Яндекс може вважати це слово спамом.
Rambler
Є найкращим рубрикатором на сьогоднішній день. Зручний тим, що це ресурси розбиті на розділи, підрозділи тощо. Багато хто з них бере участь у рейтингу Top100, що дозволяє визначити популярність того чи іншого ресурсу.
Вважається, що основним чинником просування сайту в Rambler є хороший контент і відвідуваність, що вимірюється за допомогою встановленого на сайті лічильника. Таким чином, високі позиції в рейтингу може займати сайт, що добре розкручений, якісно і давно зарекомендував себе в інтернеті, з великою відвідуваністю.
Aport
Найменш популярна з перерахованих пошукових систем. Основні критерії, які дана система враховує при сортуванні сайтів:
- кількість шуканих слів у тексті документа (у відсотках); відстань між пошуковими словами у тексті документа;
- місце у тексті, де зустрічаються пошукові слова (заголовок, опис, мета-тег тощо);
- зовнішній вигляд шрифту, яким набрані в тексті слова (розмір, жирність, колір);
- кількість посилань з Інтернету на цей документ;
- використання слова в тексті посилань з Інтернету на даний документ.
3. Зарубіжні пошукові системи
Подані нижче зарубіжні пошукові системи широко відомі та використовуються у всьому світі. Для веб-майстрів ці пошукові системи є найважливішими місцями для реєстрації, оскільки потенційно вони здатні привести велику кількість відвідувачів на сайт. Деякі з перерахованих систем не є повноцінними пошуковими системами, а лише використовують ресурси інших відомих пошукових систем.
Вважається за кількістю проіндексованих сторінок однією з найбільших пошукових систем. Велику популярність система набула завдяки можливості вести пошук за ускладненими критеріями відбору. AltaVista пропонує додаткові послуги у вигляді пошуку за каталогами з Open Directory, LookSmart, Ask Jeeves.
Google – це пошукова система, яка використовує кількість посилань на веб-сайт як основний параметр популярності сайту. Це особливо корисно при пошуку добрих сайтів за допомогою простих пошукових запитів. Google відомий високою релевантністю посилань. Google має дуже велику базу даних проіндексованих сайтів та надає частину своїх результатів Yahoo та Netscape Search.
Yahoo є найпопулярнішим і найстарішим пошуковим засобом. У Yahoo працює близько 150 редакторів, які складають та редагують вміст своїх каталогів. Yahoo має у базі даних понад 1 мільйон проіндексованих сайтів. Також, у разі нестачі своєї власної бази даних, Yahoo використовує базу даних Google, а раніше, треба сказати, використав базу Inktomi.
Direct Hit вимірює кількість кліків. Сайти, якими більше кликають, отримують найкращий рейтинг. Відома під назвою "пошукова система популярності".
Результати Direct Hit також з'являються в HotBot, а також у вигляді опції можуть відображатися в MSN Search.
Результати системи беруться з LookSmart, Inktomi, RealNames та Direct Hit. Для користувачів Search є унікальна можливість зберігати результати попереднього пошуку.
Яскравою відмінністю системи є те, що позиції у видачі продаються. GoTo вважає таку видачу більш релевантною. Також можна купити вищі місця у різних рейтингах. Неоплачені результати надає Inktomi.
У цій системі не реалізовано можливість введення пошукового слова безпосередньо лише через інтерфейс інших пошукових систем. А таких безліч.
Характерною рисою можна назвати відмінні результати для кожного з партнерів цієї бази. Варіювання результатів надає можливість видачі окремої пошукової системи відрізнятися від інших.
Наповнення цієї системи здійснювалося із залученням добровольців. Після достатнього формування стало можливим вільно користуватись її результатами. В даний час Open Directory використовують Lycos, AOL Search, AltaVista та HotBot.
Відмінна риса цієї системи полягає в тому, що при наборі ключового слова (наприклад, бренду компанії) можна потрапити на офіційний сайт цієї компанії.
4. Особливості просування
Хоч би якою була пошукова система, російської чи зарубіжної, які б вона алгоритми фільтрації не мала, все одно основним критерієм оцінки релевантності ресурсу щодо конкретного запиту є наявність якісного текстового наповнення, що не може не тішити. Для сумлінних оптимізаторів першорядним завданням при просуванні ресурсу є, перш за все, оптимізація контенту сайту, його внутрішньої навігації посилань і зручності для безпосереднього користувача, а не пряма оптимізація під певну пошукову систему.
Другий за значимістю крок при просуванні у багатьох пошукових системах – це наявність максимальної кількості посилань на ресурс. Хоча серед багатьох безпосередніх користувачів існує думка, що цей критерій не може повною мірою надавати результат, на сьогоднішній день він є необхідним.
Можна сказати, що інші особливості просування для різних пошукових систем, які, відверто кажучи, вже й не зовсім «чисті», формуються безпосередньо витратами фільтруючих алгоритмів самих пошукових систем. Таким чином самі пошукові системи провокують оптимізаторів йти на хитрощі. Особливо це стосується основних російських пошукових систем, що відрізняються тенденцією до монополізму.
5. Висновок
Майстер-клас дозволяє оцінити принципові відмінності пошукових гігантів і скласти деяке уявлення про те, яким чином в інтернеті можна отримати більш-менш релевантну інформацію. Наявність численних пошукових систем створює значну конкуренцію, а, як відомо, конкуренція тягне за собою процеси, спрямовані на прогрес та розвиток у потрібному напрямку. У цьому випадку головним пріоритетом все ж таки є якісний результат. Ура!
