→ Що таке Big data: зібрали все найважливіше про великі дані. Big data для маркетингу Що можна протиставити технології big data

Що таке Big data: зібрали все найважливіше про великі дані. Big data для маркетингу Що можна протиставити технології big data

Ви ж знаєте цей відомий жарт? Big Data - це як секс до 18:

  • всі про це думають;
  • всі про це говорять;
  • всі думають, що їхні друзі це роблять;
  • майже ніхто цього не робить;
  • той, хто це робить, робить це погано;
  • всі думають, що наступного разу краще вийде;
  • ніхто не вживає заходів безпеки;
  • будь-кому соромно зізнатися в тому, що він чогось не знає;
  • якщо в кого щось виходить, від цього завжди багато шуму.

Але давайте начистоту, з будь-яким галасом поруч завжди йтиме звичайна цікавість: що за сир-бор і чи є там щось дійсно важливе? Якщо коротко, так, є. Подробиці – нижче. Ми відібрали для вас найдивовижніші та найцікавіші застосування технологій Big Data. Це невелике дослідження ринку на зрозумілих прикладах стикається з простим фактом: майбутнє не настає, не потрібно «почекати ще n років і чаклунство стане реальністю». Ні, воно вже прийшло, але все ще непомітно оку і тому припікання сингулярності ще не обпалює відому точку ринку праці так сильно. Поїхали.

1 Як застосовуються технології Big Data там, де вони зародилися

Великі IT компанії — те місце, де зародилася наука про дані, тому їхня внутрішня кухня в цій галузі найцікавіша. Компанія Google, батьківщина парадигми Map Reduce, єдиною метою якого є навчання своїх програмістів технологіям машинного навчання. І в цьому криється їхня конкурентна перевага: після отримання нових знань, співробітники будуть впроваджувати нові методи в тих проектах Google, де вони постійно працюють. Уявіть собі, наскільки величезним є список сфер, у яких кампанія може здійснити революцію. Один із прикладів: нейронні мережі використовуються.

Корпорація та впроваджує машинне навчання у всі свої продукти. Її перевага – наявність великої екосистеми, до якої входять усі цифрові пристрої, що використовуються у повсякденному житті. Це дозволяє Apple досягати неможливого рівня: у кампанії є стільки даних про користувачів, скільки немає в будь-якій іншій. При цьому політика конфіденційності дуже строга: корпорація завжди хвалилася тим, що не використовує даних клієнтів у рекламних цілях. Відповідно інформація користувачів шифрується так, що юристи Apple або навіть ФБР з ордером не зможуть її прочитати. Ви знайдете великий огляд розробок Apple в сфері ІІ.

2 Великі Дані на 4 колесах

Сучасний автомобіль — накопичувач інформації: він акумулює всі дані про водія, навколишнє середовище, підключені пристрої та про себе самого. Вже скоро один транспортний засіб, який підключений до мережі на кшталт тієї, що буде генерувати до 25 Гб даних за годину.

Транспортна телематика використовується автовиробниками протягом багатьох років, але зараз лобіюється складніший метод збору даних, який повною мірою задіює Big Data. А це означає, що тепер технології можуть сповістити водія про погані дорожні умови шляхом автоматичної активації антиблокувальної гальмівної та пробуксувальної системи.

Інші концерни, включаючи BMW, використовують технології Великих Даних у поєднанні з відомостями, зібраними з тестованих прототипів, вбудованою в автомобілі системою «пам'яті помилок» та скаргами клієнтів, щоб на ранній стадії виробництва визначити слабкі місця моделі. Тепер замість ручної оцінки даних, що займає місяці, застосовується сучасний алгоритм. Помилки та витрати на їхнє усунення зменшуються, що дозволяє прискорити робочі процеси аналізу інформації у BMW.

Згідно з експертними оцінками, до 2019 року оборот ринку підключених до єдиної мережі автомобілів досягне $130 млрд. Це не дивно, якщо враховувати темпи інтеграції автовиробниками технологій, які є невід'ємною частиною транспортного засобу.

Використання Великих Даних допомагає зробити машину безпечнішою та функціональнішою. Так, компанія Toyota шляхом вбудовування інформаційних комунікаційних модулів (DCM). Цей інструмент, що використовується для Великих Даних, обробляє та аналізує дані, зібрані DCM, щоб надалі користуватися ними.

3 Застосування Великих Даних у медицині


Реалізація технологій Big Data у медичній сфері дозволяє лікарям ретельніше вивчити хворобу та вибрати ефективний курс лікування для конкретного випадку. Завдяки аналізу інформації, медпрацівникам стає легше передбачати рецидиви та вживати превентивних заходів. Як результат — точніша постановка діагнозу та вдосконалені методи лікування.

Нова методика дозволила подивитись проблеми пацієнтів з іншого боку, що призвело до відкриття раніше невідомих джерел проблеми. Наприклад, деякі раси генетично схильні до захворювань серця, ніж представники інших етнічних груп. Тепер, коли пацієнт скаржиться на певне захворювання, лікарі беруть до уваги дані про представників його раси, які скаржилися на таку саму проблему. Збір та аналіз даних дозволяє дізнаватися про хворих набагато більше: від переваг у їжі та способу життя до генетичної структури ДНК та метаболітів клітин, тканин, органів. Так, Центр дитячої геномної медицини в Канзас-Сіті використовує пацієнтів та аналізу мутацій генетичного коду, які викликають рак. Індивідуальний підхід до кожного пацієнта з урахуванням його ДНК підніме ефективність лікування якісно на інший рівень.

З розуміння того, як використовуються Великі Дані, випливає перша та дуже важлива зміна в медичній сфері. Коли пацієнт проходить курс лікування, лікарня або інший заклад охорони здоров'я може отримати багато значущої інформації про людину. Зібрані відомості використовуються для прогнозування рецидивів захворювань із певним ступенем точності. Наприклад, якщо пацієнт переніс інсульт, лікарі вивчають відомості про час порушення мозкового кровообігу, аналізують проміжний період між попередніми прецедентами (у разі виникнення таких), звертаючи особливу увагу на стресові ситуації та тяжкі фізичні навантаження у житті хворого. На підставі цих даних лікарні видають пацієнту чіткий план дій, щоб запобігти можливості інсульту в майбутньому.

Свою роль відіграють і пристрої, які допомагають виявляти проблеми зі здоров'ям, навіть якщо у людини немає явних симптомів тієї чи іншої хвороби. Замість того, щоб оцінювати стан пацієнта шляхом тривалого курсу обстежень, лікар може робити висновки на підставі зібраної фітнес-трекером або «розумним» годинником інформації.

Один із останніх прикладів — . У той час як пацієнт проходив обстеження через новий напад судоми, викликаний пропущеним прийомом ліків, лікарі виявили, що чоловік має значно серйознішу проблему зі здоров'ям. Цією проблемою виявилася фібриляція передсердь. Діагноз вдалося поставити завдяки тому, що співробітники відділення отримали доступ до телефону пацієнта, а саме до програми, пов'язаної з фітнес-трекером. Дані з додатка виявилися ключовим фактором у визначенні діагнозу, адже на момент обстеження у чоловіка жодних серцевих відхилень не було виявлено.

Це лише один із небагатьох випадків, який показує, чому використання Великих Даниху медичній сфері сьогодні відіграє таку значну роль.

4 Аналіз даних вже став стрижнем роздрібної торгівлі

Розуміння запитів користувача та націлювання — одна з найбільших і максимально освітлених широкому загалу областей застосування інструментів Big Data. Великі Дані допомагають аналізувати клієнтські звички, щоб краще розуміти запити споживачів. Компанії прагнуть розширити традиційний набір даних інформацією із соціальних мереж та історією пошуку браузера з метою формування максимально повної клієнтської картини. Іноді великі організації як глобальної мети обирають створення власної передбачуваної моделі.

Наприклад, мережі магазинів Target за допомогою глибинного аналізу даних та власної системи прогнозування вдається з високою точністю визначити . За кожним клієнтом закріплюється ID, який у свою чергу прив'язаний до кредитки, імені або електронної пошти. Ідентифікатор служить своєрідним кошиком покупок, де зберігається інформація про все, що будь-коли людина придбала. Фахівцями мережі встановлено, що жінки у положенні активно купують неароматизовані засоби перед другим триместром вагітності, а протягом перших 20 тижнів налягають на кальцієві, цинкові та магнієві добавки. На підставі даних Target відправляє купони на дитячі товари клієнтам. Самі ж знижки на товари для дітей «розбавляються» купонами на інші продукти, щоб пропозиції купити ліжечко чи пелюшки не виглядали надто нав'язливими.

Навіть урядові відомства знайшли спосіб використання технології Big Data для оптимізації виборчих кампаній. Дехто вважає, що перемога Б. Обами на президентських виборах США у 2012 році обумовлена ​​чудовою роботою його команди аналітиків, які обробляли величезні масиви даних у правильному ключі.

5 Великі Дані на варті закону та порядку


За останні кілька років правоохоронним структурам вдалося з'ясувати, як і коли використовувати Великі Дані. Загальновідомим фактом є те, що Агентство національної безпеки застосовує технології Великих Даних, щоб запобігти терористичним актам. Інші відомства задіяють прогресивну методологію, щоб запобігати дрібнішим злочинам.

Департамент поліції Лос-Анджелеса застосовує . Вона займається тим, що зазвичай називають проактивною охороною правопорядку. Використовуючи звіти про злочини за певний період, алгоритм визначає райони, де ймовірність вчинення правопорушень є найбільшою. Система відзначає такі ділянки на карті міста невеликими червоними квадратами і ці дані відразу передаються в патрульні машини.

Копи Чикаго використовують технології Великих Данихтрохи іншим чином. У правоохоронців з Міста вітрів також , але він спрямований на окреслення «кола ризику», що складається з людей, які можуть стати жертвою або учасником збройного нападу. За інформацією газети The New York Times, цей алгоритм надає людині оцінку вразливості на підставі її кримінального минулого (арешти та участь у перестрілках, належність до злочинних угруповань). Розробник системи запевняє, що в той час як система вивчає кримінальне минуле особистості, вона не враховує другорядних факторів на кшталт раси, статі, етнічної приналежності та місцезнаходження людини.

6 Як технології Big Data допомагають розвиватися містам


Генеральний директор Veniam Жоао Баррос демонструє карту відстеження Wi-Fi-роутерів в автобусах міста Порту

Аналіз даних також застосовується для покращення низки аспектів життєдіяльності міст та країн. Наприклад, знаючи, як і коли використовувати технології Big Data, можна оптимізувати потоки транспорту. Для цього береться до уваги пересування автомобілів у режимі онлайн, аналізуються соціальні медіа та метеорологічні дані. Сьогодні низка міст взяла курс на використання аналізу даних з метою об'єднання транспортної інфраструктури з іншими видами комунальних послуг в єдине ціле. Це концепція «розумного» міста, в якому на автобуси чекають потяг, що спізнюється, а світлофори здатні прогнозувати завантаженість на дорогах, щоб мінімізувати пробки.

На основі технологій Великих Даних у місті Лонг-Біч працюють «розумні» лічильники води, які використовуються для припинення незаконного поливу. Раніше вони застосовувалися для скорочення споживання води приватними домоволодіннями (максимальний результат — скорочення на 80%). Економія прісної води — питання актуальне завжди. Особливо, коли держава переживає найсильнішу посуху, яка будь-коли була зафіксована.

До переліку тих, хто використовує Big Data, приєдналися представники Департаменту транспорту Лос-Анджелеса. На підставі даних, отриманих від датчиків дорожніх камер, влада проводить контроль роботи світлофорів, що в свою чергу дозволяє регулювати трафік. Під управлінням комп'ютеризованої системи знаходиться близько 4500 тисяч світлофорів по всьому місту. Згідно з офіційними даними, новий алгоритм допоміг зменшити затори на 16%.

7 Двигун прогресу у сфері маркетингу та продажу


У маркетингу інструменти Big Data дозволяють виявити, просування якихось ідей на тому чи іншому етапі циклу продажів є найбільш ефективним. За допомогою аналізу даних визначається, як інвестиції здатні покращити систему управління взаємовідносинами з клієнтами, яку стратегію слід вибрати підвищення коефіцієнта конверсії і як оптимізувати життєвий цикл клієнта. У бізнесі, пов'язаному з хмарними технологіями алгоритми Великих Даних застосовують для з'ясування того, як мінімізувати ціну залучення клієнта та збільшити його життєвий цикл.

Диференціація стратегій ціноутворення залежно від внутрішньосистемного рівня клієнта — це, мабуть, головне, навіщо Big Data використовується у сфері маркетингу. Компанія McKinsey з'ясувала, що близько 75% доходів середньої фірми складають базові продукти, на 30% з яких встановлюються некоректні ціни. Збільшення ціни на 1% призводить до зростання операційного прибутку на 8,7%.

Дослідницькій групі Forrester вдалося визначити, що аналіз даних дозволяє маркетологам зосередитися на тому, як зробити стосунки з клієнтами успішнішими. Досліджуючи напрямок розвитку клієнтів, фахівці можуть оцінити рівень їх лояльності, а також продовжити життєвий цикл у контексті конкретної компанії.

Оптимізація стратегій продажу та етапи виходу на нові ринки з використанням геоаналітики знаходять відображення у біофармацевтичній промисловості. Згідно з McKinsey, компанії, які займаються виробництвом медикаментів, витрачають у середньому від 20 до 30% прибутку на адміністрування та продажі. Якщо підприємства почнуть активніше використовувати Великі ДаніЩоб визначити найбільш рентабельні та швидко зростаючі ринки, витрати будуть негайно скорочені.

Аналіз даних - засіб отримання компаніями повного уявлення щодо ключових аспектів їхнього бізнесу. Збільшення доходів, зниження витрат і скорочення оборотного капіталу є трьома завданнями, які сучасний бізнес намагається вирішити за допомогою аналітичних інструментів.

Нарешті, 58% директорів з маркетингу запевняють, що реалізація технологій Big Data простежується в пошуковій оптимізації (SEO), e-mail-і мобільному маркетингу, де аналіз даних відіграє найбільшу роль у формуванні маркетингових програм. І лише на 4% менше респондентів упевнені, що Великі Дані відіграватимуть значну роль у всіх маркетингових стратегіях протягом довгих років.

8 Аналіз даних у масштабах планети

Не менш цікаво те, . Можливо, що саме машинне навчання зрештою буде єдиною силою, здатною підтримувати тендітну рівновагу. Тема впливу людини на глобальне потепління досі викликає багато суперечок, тому лише достовірні прогнози на основі аналізу великого обсягу даних можуть дати точну відповідь. Зрештою, зниження викидів допоможе і нам усім: ми менше витрачатимемося на енергію.

Зараз Big Data - це не абстрактне поняття, яке, можливо, знайде своє застосування через кілька років. Це цілком робочий набір технологій, здатний принести користь практично у всіх сферах людської діяльності: від медицини та охорони громадського порядку до маркетингу та продажу. Етап активної інтеграції Великих Даних у наше повсякденне життя тільки почався, і хто знає, якою буде роль Big Data вже через кілька років?

До 2015 року, незважаючи на малий термін існування сектора, вже є оцінки ефективного використання цих технологій, засновані на реальних прикладах. Один із найвищих показників відноситься до енергетики – за оцінками аналітиків, аналітичні технології Big Data здатні на 99% підвищити точність розподілу потужностей генераторів.

Аналіз невдалих проектів Big data

Big data для операторів зв'язку

  • високоточний маркетинг (рrecise marketing) - адресна пропозиція товарів та послуг тим споживачам, які найбільше готові до їх придбання (нові тарифні плани, додаткові послуги, платіжні термінали тощо);
  • управління якістю послуг для клієнта (Customer Experience Management) для підвищення його задоволеності з метою запобігання відтоку користувачів;
  • оптимізація внутрішньої роботи оператора та планування розвитку (ROI-based Network Optimization and Planning) на основі обліку всіх об'єктивних факторів та думок споживачів з метою максимальних гарантій повернення інвестицій у найкоротші терміни;
  • монетизація інформаційних активів (Data Asset Monetization) - продаж у тій чи іншій формі (у тому числі у вигляді пайової участі в проектах) наявних у оператора даних своїм партнерам, щоб вони могли з їх допомогою вирішувати свої завдання.

Розгорнувши рішення великих даних, мобільний оператор зміг почати збирати та аналізувати суттєво більше інформації про поведінку та інтереси своїх клієнтів, у тому числі про інтенсивність використання зв'язку та географічне розташування. Причому всі ці відомості можна було пов'язувати з даними про роботу самої стільникової мережі, в тому числі про її завантаження, про збої, що виникають і ін.

Можливості застосування таких методів видно за отриманими результатами. Так, на початку 2013 р. ефективність маркетингових пропозицій (для клієнтів, які їх прийняли) за загального масового розсилання становила 0,7%. До кінця року за рахунок простої сегментації абонентів (за віком, статтю, строком підписки) ця величина була доведена до 4%, а протягом 2014-го підвищена спочатку до 11% (облік інтенсивності використання послуг та місцезнаходження клієнтів) і потім до 24% (Облік кращих варіантів отримання пропозиції - голосові дзвінки, SMS, е-пошта, соціальні мережі та ін.). За рік вдалося скоротити кількість нерезультативних звернень до клієнтів на 11 млн., значно знизивши витрати на рекламні кампанії.

На основі аналізу 85 параметрів поведінки абонентів було виділено «групу ризику», потенційно готову до уникнення послуг оператора. Всередині неї також було проведено певну сегментацію, і для кожної категорії клієнтів вироблено комплекс заходів щодо підвищення рівня їх лояльності (знижки, інші тарифні плани, подарунки та ін.). Замовник провів дослідження, розділивши "групу ризику" на дві підгрупи: з першої проводилися спеціальні дії з утримання, з іншого нічого не робилося. Аналіз такої роботи за рік показав, що компанія спромоглася суттєво скоротити відтік своїх діючих споживачів, утримавши понад 200 тис. абонентів; при цьому потрібно враховувати, що вартість утримання клієнта завжди є значно нижчою, ніж залучення нового користувача.

До використання великих даних розширення географічної мережі оператора фактично виконувалося лише на основі інформації про щільність забудови та населення, але впровадивши це рішення, China Unicom перейшов до розвитку своєї діяльності на базі багатофакторного аналізу, який враховував такі показники, як реальна завантаженість трафіку та затребуваність послуг ( наприклад, з урахуванням місця роботи людей), цінність клієнтів (за рівнем життя), вимоги до якості зв'язку (відстань між станціями прийому), затребуваність різних категорій послуг (від цього залежить використання різної апаратури) та ін.

У плані монетизації клієнтських даних для зовнішніх партнерів було наведено два приклади: по-перше, оптимізація розміщення зовнішньої реклами, причому як у географічному плані (місце проживання, робота чи транспортні комунікації необхідних клієнтів), і з урахуванням часу динамічної реклами (залежно від від часу доби, днів тижня та сезонів року склад публіки може змінюватися), а по-друге, аналогічні пропозиції щодо розвитку торгових мереж (з урахуванням розташування та асортименту). Крім того, дуже вигідним виявляється цільове розсилання мобільної реклами в реальному часі відповідно до графіка зайнятості людини, її інтересів та фізичного перебування (наприклад, розсилання інформації про фільми-бойовики, якими клієнт цікавиться, саме у її вільний час та з урахуванням прилеглих кінотеатрів) . Загальний галузевий досвід показує, такі адресні методи дозволяють підвищувати доходи від поширення реклами у рази.

Big data у банках

«Аналітика дозволить банківським організаціям краще контролювати інформацію всередині компанії та виявляти ознаки шахрайства набагато швидше, ніж це було можливо раніше», – заявила на початку 2014 року Авіва Літан (Avivah Litan), провідний аналітик та віце-президент Gartner Research.

Масове впровадження технологій аналізу великих даних ускладнене тим, що банки часто використовують розрізнені або застарілі платформи. Проте вже є приклади того, як співробітники, які відповідають за інформаційну безпеку, запобігали шахрайським операціям. Крім технології Big Data, експерти також вважають, що боротися з шахраями дозволяє впровадження сучасних систем ідентифікації користувачів. Одним із прикладів є так звана безперервна поведінкова ідентифікація, що аналізує поведінку клієнтів упродовж тривалого часу. Це робиться за допомогою прив'язки рахунку до мобільного телефону.

Великі дані здатні вирішувати практично всі ключові завдання банків: залучення клієнтів, підвищення якості послуг, оцінка позичальників, протидія шахрайству та ін. регуляторів.

Основні завдання, для яких банки використовують технології аналізу великих даних, – це оперативне отримання звітності, скоринг, недопущення проведення сумнівних операцій, шахрайства та відмивання грошей, а також персоналізація запропонованих клієнтам банківських продуктів.

Технології великих даних застосовуються переважно аналізу клієнтського середовища. Дмитро Шепелявий, заступник генерального директора SAP CIS (САП СНД), наводить кілька прикладів: «Американський банк PNC дані про поведінку своїх клієнтів на сайтах, інформацію про покупки та спосіб життя конвертує в політику гнучкого нарахування процентних ставок, яка в результаті виражається в цифрах зростання капіталізації. Commonwealth Bank of Australia (CBA) аналізує всі транзакції своїх вкладників, доповнюючи цей аналіз збором даних про них у соціальних мережах. Зв'язавши ці потоки даних, банк досяг значного зниження відсотка несплати за кредитами. А в Росії цікавий досвід Уральського банку реконструкції та розвитку – вони почали працювати з інформацією по базі клієнтів для створення кредитних пропозицій, вкладів та інших послуг, які можуть максимально зацікавити конкретного клієнта. Приблизно за рік застосування ІТ-рішень роздрібний кредитний портфель УБРіР зріс приблизно на 55%».

Згідно з дослідженням, проведеним компанією McKinsey&Company у 2014 р., 75% опитаних пацієнтів хотіли б використовувати цифрові сервіси – попри усталену думку про те, що більшість населення неохоче звертається до них під час лікування.

Щоб задовольнити потребу пацієнтів у якісному медичному обслуговуванні, у багатьох країнах охорона здоров'я дедалі більше звертається у бік smart технологій. У Німеччині, наприклад, вже сьогодні завдяки технологіям Великих даних онкологічні захворювання або схильність до них виявляються за аналізом крові пацієнтів та донорів. Внаслідок своєчасної діагностики суттєво знижуються витрати держави та самих людей, а також неймовірно підвищується ефективність лікування. Адже один із найголовніших ворогів пацієнта, який запустив хворобу – час. Звернемося до згаданої раніше онкології. Діагностика та підбір потрібної схеми лікування може забрати дорогоцінні хвилини, які так важливі в оперативному реагуванні при виявленні злоякісних утворень

Великі дані, окрім вже відомих та поширених завдань, можна використовувати у тому числі для боротьби із захворюваннями та відстеження зростання епідемій, вважають експерти. Так, ще за дев'ять днів до того, як спалах вірусу Ебола був офіційно оголошений епідемією, група дослідників та вчених з Бостона за допомогою великих даних змогла виявити поширення геморагічної лихоманки в Гвінеї.

Картину руху по Західній Африці епідемії смертельного вірусу склав стартап HealthMap, який працює на базі алгоритму, що враховує згадки у соціальних медіа, зведення місцевих новин та інші дані, доступні в Мережі.

Системи великих даних можуть виявитися корисними в першу чергу не для виявлення спалахів тих чи інших захворювань, що вже проявилися, а для передбачення потенційно можливих епідемій такого роду завдяки аналізу доступної інформації. У цьому випадку практично ті ж технології, які допомагають маркетологам демонструвати споживачам таргетовану рекламу або пропонувати музику та відео для перегляду, можуть бути використані для боротьби з інфекційними захворюваннями, такими як Ебола.

Big data в автомобілебудуванні

Big data в електронній комерції

Big data у роздрібній торгівлі

Оффлайн-роздріб використовує великі дані, щоб аналізувати поведінку покупців, проектувати маршрути прямування торговим залом, правильно розставити товари, планувати закупівлі, і, зрештою, підвищити продажі. В онлайн-роздробі будується сам механізм продажів: користувачам пропонують товари на базі попередніх покупок та їх персональних переваг, інформація про які збирається, наприклад, в соцмережах. В обох випадках аналіз великих даних допомагає скоротити витрати, підвищити лояльність клієнтів та охопити велику аудиторію. Все це лише базові можливості, які можна реалізувати за допомогою технологій великих даних.

Незважаючи на економічну кризу, очікується зростання кількості проектів із впровадження великих даних, у тому числі й у рітейлі. Хоча впровадження нових технологій загрожує не лише прибутком, а й високими ризиками, компанії вже ознайомилися з успіхами рішучіших колег по бізнесу. У складній економічній ситуації першому плані виходить необхідність економити і підвищувати лояльність клієнтів. Саме з цими завданнями і покликані виконувати рішення для роботи з великими даними.

У боротьбі за клієнта ритейлери все частіше звертаються до інноваційних технологій, таких як аналіз великих даних, електронна комерція, сервіси омніканів, технології RFID і т.д. У Кореї, наприклад, нещодавно було відкрито перший у світі віртуальний магазин прямо на платформі метрополітену. Скануючи QR-коди з панелей, обклеєних зображеннями різних товарів, жителі Сеула складають у свій віртуальний кошик обраний товар, який потім доставляють додому у зручний час. Подібні технології, ймовірно, знайшли б відгук у москвичів, що вічно поспішають.

Значно зросло проникнення саме в цій індустрії флеш-накопичувачів - до 37% у 2012 році. Флеш-пам'ять відіграє одну з ключових ролей у поширенні контенту та пост продакшені, зазначають дослідники. У період з 2012 до 2017 року вимоги до ємності цифрових сховищ даних в індустрії розваг зростуть у 5,6 разів, а вимоги до задіяного обсягу сховищ даних на рік – у 4 рази (з 22425 Пб до 87152 Пб).

Виручка від реалізації систем зберігання в галузі медіа та розваг зростуть більш ніж в 1,4 рази в період з 2012 по 2017 роки з $5,6 млрд до $7,8 млрд. Максимально рішення для зберігання даних у 2012 році були задіяні для збереження та архівування нового контенту (98%).

За оцінками Coughlin Associates, у 2012 році від загального обсягу поставленої пам'яті 43% припало на стрічковий формат, 41% на HDD, 16% на оптичні диски та 0,2% на флеш (яка використовується в основному в цифрових камерах та деяких системах дистрибуції медіа). ). До 2017 року на стрічки припадатиме лише 38%, а на HDD – вже 59%, на оптичні диски – 3% та на флеш – 0,3%.

Загальна виручка від реалізації носіїв та пристроїв, що використовуються в медіа та індустрії розваг, зросте в період з 2012 по 2017 рік у 1,3 рази з $774 млн до $974 млн.

Big data у маркетингу

Коли конкуренція загострюється, для компаній важливо пропонувати клієнтам свої послуги в той момент, коли вони є найбільш популярними, причому робити це швидко. Тому роль маркетингу зростає - це не побічна гілка бізнесу, як було раніше. Згідно з даними дослідження IBM, 63% головних виконавчих директорів користуються допомогою директорів з маркетингу (CMO) у виробленні своєї бізнес-стратегії. За рівнем залучення до цього процесу CMO випереджають лише головні фінансові директори з показником 72%.

Тепер маркетологи можуть скористатися сучасними технологіями big data та потужною аналітикою, що багаторазово посилює можливості маркетингових підрозділів. Якщо раніше у їхньому розпорядженні були невеликі фрагменти даних, на основному яких доводилося вибудовувати картину цілого, та й самі дані часом зберігалися там, звідки витягти їх було проблематично, тепер стан справ змінився.

Директори з маркетингу комбінують дані із внутрішніх та зовнішніх джерел. По-перше, люди самі про себе повідомляють багато інформації, наприклад, у соціальних мережах. Там можна відстежувати їхні переваги чи критику послуг. Аналіз таких даних дозволяє зробити клієнтам персоніфіковані пропозиції. Особливо це важливо для організацій, що належать до сектора СМБ. Більше того, невеликі компанії часом змушені відкривати у себе нові напрямки бізнесу, якщо це потрібно їхнім клієнтам.

Корпорація IBM щорічно, починаючи з 2004 року, проводить дослідження, в якому опитуються директори компаній. У новому дослідженні, яке назвали «Приймаючи виклик: Як CMO можуть почати заповнення інформаційних проломів» взяли участь понад п'ятсот головних директорів з маркетингу компаній з 56 країн та 19 галузей з усього світу.

Результати дослідження показали, що 94% опитаних вважають, що аналітика відіграватиме важливу роль у досягненні поставленої мети. Разом з тим, зросла кількість директорів (82% респондентів порівняно з 71% трьома роками раніше), які вважають, що їхні організації недостатньо підготовлені до отримання реальної економічної вигоди із вибухового зростання даних.

Дослідження також показало - коли директор з маркетингу тісно взаємодіє з директором з інформаційних технологій, підприємство, як правило, функціонує успішніше. Пріоритети директорів із маркетингу зараз відповідають потребам цифрової економіки. У 2013 році вперше на 1 місце серед пріоритетів вийшов пункт «розвиток технологій».

Ще один факт: 94% керівників відділів маркетингу вважають, що ключовим фактором майбутнього успіху будуть мобільні технології. Три роки тому таку думку висловили 80% респондентів. Багато учасників опитування – 58% респондентів заявили, що можуть займатися справами бізнесу незалежно від свого місцезнаходження або пристрою.

Великі дані цивільної авіації

Згідно з прогнозом аналітиків, 67% компаній з аерокосмічної галузі реалізують проекти на основі Big Data, ще 10% планують такі проекти. Щодо авіакомпаній, то тут реалізація проектів на лютий 2019 року заявлена ​​у 44% компаній, а плани на такі проекти анонсували 25%.

Це результати дослідження, яке провела у грудні 2017 року компанія FlightGlobal щодо ролі Big Data для аерокосмічних підприємств та авіакомпаній. Аналітики також з'ясували думку щодо спільного використання даних щодо стану літаків з виробниками та компаніями, які здійснюють ремонт та технічне обслуговування (ТО). У дослідженні взяли участь 300 фахівців з аерокосмічної та авіаційної галузі. Більшість із них упевнені, що технології Big Data здатні підвищити операційну надійність та ефективність авіакомпаній.

Приблизно половина респондентів відповіла, що їхні компанії використовують масиви даних про стан літаків, що допомагає приймати більш вивірені рішення. Найближчою перспективою частка таких компаній зросте до 75%.

Спільне використання даних із OEM/MRO все ще залишається проблематичним. Однак 38% авіакомпаній вважають, що така модель може забезпечити їм значні бізнес-переваги.

Згідно з даними з опублікованого в травні 2018 огляду компанії Honeywell "Connected Aircraft", 47% опитаних авіакомпаній планують витратити з метою підключення повітряних суден до Мережі до 1 млн. доларів протягом наступного року на кожен літак, що експлуатується ними. Більшість цих компаній планують вкластися у суми від 0.1 до 0.5 млн. доларів. Однак у п'ятирічній перспективі 38% авіаперевізників анонсували інвестиції вже у розмірі 1-10 млн. доларів на кожен літак.

До лютого 2019 року при інвестуванні авіакомпаніями у суміжні до авіації технології (connected technologies) йшлося, перш за все, про забезпечення супутникового зв'язку та Wi-Fi. Тепер же компанії готові отримувати вигоду з тих даних, які вони можуть отримувати шляхом використання обладнання безпосередньо на борту літаків. Наприклад, такі дані можуть забезпечити їм економію у розмірі 1% від палива, що споживається, що еквівалентно 50 000 доларів на літак на рік, підрахували аналітики Honeywell. Детальніше .

Постійне прискорення зростання обсягів даних є невід'ємним елементом сучасних реалій. Соціальні мережі, мобільні пристрої, дані із вимірювальних пристроїв, бізнес-інформація – це лише кілька видів джерел, здатних генерувати гігантські масиви даних.

В даний час термін Big Data (Великі дані) став досить поширеним. Не всі ще усвідомлюють те, наскільки швидко і глибоко технології обробки великих масивів даних змінюють різні аспекти життя суспільства. Зміни відбуваються у різних сферах, породжуючи нові проблеми та виклики, у тому числі й у сфері інформаційної безпеки, де на першому плані мають бути такі найважливіші її аспекти, як конфіденційність, цілісність, доступність тощо.

На жаль, багато сучасних компаній вдаються до технології Big Data, не створюючи для цього належної інфраструктури, яка б змогла забезпечити надійне зберігання величезних масивів даних, які вони збирають і зберігають. З іншого боку, в даний час стрімко розвивається технологія блокчейн, яка покликана вирішити цю та багато інших проблем.

Що таке Big Data?

По суті визначення терміна лежить на поверхні: «великі дані» означають управління дуже великими обсягами даних, а також їх аналіз. Якщо дивитися ширше, це інформація, яка піддається обробці класичними способами через її великих обсягів.

Сам термін Big Data (великі дані) виник недавно. Згідно з даними сервісу Google Trends, активне зростання популярності терміну припадає на кінець 2011 року:

У 2010 році вже почали з'являтися перші продукти та рішення, безпосередньо пов'язані з обробкою великих даних. До 2011 року більшість найбільших IT-компаній, включаючи IBM, Oracle, Microsoft та Hewlett-Packard, активно використовують термін Big Data у своїх ділових стратегіях. Поступово аналітики ринку інформаційних технологій розпочинають активні дослідження цієї концепції.

В даний час цей термін набув значної популярності і активно використовується в різних сферах. Проте не можна з упевненістю сказати, що Big Data – це якесь принципово нове явище – навпаки, великі джерела даних існують багато років. У маркетингу ними можна назвати бази даних щодо покупок клієнтів, кредитних історій, способу життя і т. д. Протягом багатьох років аналітики використовували ці дані, щоб допомагати компаніям прогнозувати майбутні потреби клієнтів, оцінювати ризики, формувати споживчі переваги і т.д.

В даний час ситуація змінилася у двох аспектах:

- З'явилися більш складні інструменти та методи для аналізу та зіставлення різних наборів даних;
— інструменти аналізу доповнились безліччю нових джерел даних, що з повсюдним переходом на цифрові технології, і навіть новими методами збирання та виміру даних.

Дослідники прогнозують, що технології Big Data найактивніше використовуватимуться у виробництві, охороні здоров'я, торгівлі, держуправлінні та в інших різних сферах і галузях.

Big Data – це певний масив даних, а сукупність методів їх обробки. Визначальною характеристикою великих даних не лише їх обсяг, але й інші категорії, що характеризують трудомісткі процеси обробки та аналізу даних.

Як вихідні дані для обробки можуть виступати, наприклад:

- Логи поведінки інтернет-користувачів;
- Інтернет речей;
- соціальні медіа;
- Метеорологічні дані;
- Оцифровані книги найбільших бібліотек;
- GPS-сигнали з транспортних засобів;
- інформація про транзакції клієнтів банків;
- Дані про місцезнаходження абонентів мобільних мереж;
- інформація про покупки у великих рітейл-мережах і т.д.

Згодом обсяги даних та кількість їх джерел безперервно зростає, а на цьому фоні з'являються нові та вдосконалюються вже наявні методи обробки інформації.

Основні принципи Big Data:

— Горизонтальна масштабованість – масиви даних можуть бути величезними, і це означає, що система обробки великих даних має динамічно розширюватися зі збільшенням їх обсягів.
— Відмовостійкість – навіть у разі збою деяких елементів обладнання, вся система має залишатися працездатною.
- Локальність даних. У великих розподілених системах дані зазвичай розподіляються за значною кількістю машин. Однак у міру можливості і з метою економії ресурсів дані часто обробляються тому ж сервері, як і зберігаються.

Для стабільної роботи всіх трьох принципів і, відповідно, високої ефективності зберігання та обробки великих даних, необхідні нові проривні технології, такі як, наприклад, блокчейн.

Навіщо потрібні великі дані?

Сфера застосування Big Data постійно розширюється:

— Великі дані можна використати у медицині. Так, встановлювати діагноз пацієнту можна не тільки спираючись на дані аналізу історії хвороби, але також зважаючи на досвід інших лікарів, відомості про екологічну ситуацію району проживання хворого та багато інших факторів.
— Технології Big Data можуть використовуватись для організації руху безпілотного транспорту.
— Обробляючи великі масиви даних, можна розпізнавати обличчя на фото- та відеоматеріалах.
— Технології Big Data можуть бути використані рітейлерами – торгові компанії можуть активно використовувати масиви даних із соціальних мереж для ефективного настроювання своїх рекламних кампаній, які можуть бути максимально орієнтовані під той чи інший споживчий сегмент.
— Ця технологія активно використовується при організації передвиборних кампаній, у тому числі для аналізу політичних уподобань у суспільстві.
— Використання технологій Big Data актуально для рішень класу гарантування доходів (RA), які включають інструменти виявлення невідповідностей і поглибленого аналізу даних, що дозволяють своєчасно виявити ймовірні втрати, або спотворення інформації, здатні призвести до зниження фінансових результатів.
— Телекомунікаційні провайдери можуть агрегувати великі дані, зокрема про геолокацію; у свою чергу, ця інформація може представляти комерційний інтерес для рекламних агентств, які можуть використовувати її для показу таргетованої та локальної реклами, а також для рітейлерів та банків.
— Великі дані можуть відіграти важливу роль у вирішенні відкриття торгової точки у певній локації на основі даних про наявність потужного цільового потоку людей.

Таким чином, найбільш очевидне практичне застосування технології Big Data лежить у сфері маркетингу. Завдяки розвитку інтернету та розповсюдженню різноманітних комунікаційних пристроїв поведінкові дані (такі як кількість дзвінків, купівельні звички та покупки) стають доступними в режимі реального часу.

Технології великих даних можуть також ефективно використовуватися у фінансах, для соціологічних досліджень та багатьох інших сферах. Експерти стверджують, що всі ці можливості використання великих даних є лише видимою частиною айсберга, оскільки у набагато більших обсягах ці технології використовуються у розвідці та контррозвідці, у військовій справі, а також у всьому тому, що прийнято називати інформаційними війнами.

Загалом послідовність роботи з Big Data складається зі збору даних, структурування отриманої інформації за допомогою звітів та дашбордів, а також подальшого формулювання рекомендацій до дії.

Розглянемо коротко можливості використання технологій Big Data у маркетингу. Як відомо, для маркетолога інформація – головний інструмент для прогнозування та складання стратегії. Аналіз великих даних давно й успішно застосовується визначення цільової аудиторії, інтересів, попиту й активності споживачів. Аналіз великих даних, зокрема, дозволяє виводити рекламу (на основі моделі RTB-аукціону – Real Time Bidding) лише тим споживачам, які зацікавлені у товарі чи послузі.

Застосування Big Data в маркетингу дозволяє бізнесменам:

— краще дізнаватися про своїх споживачів, залучати аналогічну аудиторію в Інтернеті;
- Оцінювати ступінь задоволеності клієнтів;
— розуміти, чи відповідає запропонований сервіс очікуванням та потребам;
- Знаходити і впроваджувати нові способи, що збільшують довіру клієнтів;
— створювати проекти, які мають попит тощо.

Наприклад, сервіс Google.trends може вказати маркетологу прогноз сезонної активності попиту на конкретний продукт, коливання та географію кліків. Якщо зіставити ці відомості зі статистичними даними, що збираються відповідним плагіном на власному сайті, можна скласти план з розподілу рекламного бюджету із зазначенням місяця, регіону та інших параметрів.

На думку багатьох дослідників, саме у сегментації та використанні Big Data полягає успіх передвиборчої кампанії Трампа. Команда майбутнього президента США змогла правильно розділити аудиторію, зрозуміти її бажання та показувати саме той меседж, який виборці хочуть бачити та чути. Так, на думку Ірини Бєлишевої з компанії Data-Centric Alliance, перемога Трампа багато в чому стала можливою завдяки нестандартному підходу до інтернет-маркетингу, в основу якого лягли Big Data, психолого-поведінковий аналіз та персоналізована реклама.

Політтехнологи та маркетологи Трампа використовували спеціально розроблену математичну модель, яка дозволила глибоко проаналізувати дані всіх виборців США систематизувати їх, зробивши надточний націлення не лише за географічними ознаками, але також і за намірами, інтересами виборців, їх психотипом, поведінковими характеристиками тощо. цього маркетологи організували персоналізовану комунікацію з кожною з груп громадян на основі їхніх потреб, настроїв, політичних поглядів, психологічних особливостей та навіть кольору шкіри, використовуючи практично для кожного окремого виборця свій меседж.

Що стосується Хілларі Клінтон, то вона у своїй кампанії використовувала «перевірені часом» методи, засновані на соціологічних даних та стандартному маркетингу, розділивши електорат лише на формально гомогенні групи (чоловіки, жінки, афроамериканці, латиноамериканці, бідні, багаті тощо). .

В результаті виграв той, хто гідно оцінив потенціал нових технологій та методів аналізу. Примітно, що витрати на передвиборчу кампанію Хілларі Клінтон були вдвічі більшими, ніж у її опонента:

Дані: Pew Research

Основні проблеми використання Big Data

Крім високої вартості, одним із головних факторів, що гальмують впровадження Big Data в різні сфери, є проблема вибору даних, що обробляються: тобто визначення того, які дані необхідно видобувати, зберігати і аналізувати, а які - не брати до уваги.

Ще одна проблема Big Data має етичний характер. Тобто виникає закономірне питання: чи можна подібний збір даних (особливо без відома користувача) вважати порушенням меж приватного життя?

Не секрет, що інформація, що зберігається в пошукових системах Google та Яндекс, дозволяє IT-гігантам постійно доопрацьовувати свої сервіси, робити їх зручними для користувачів та створювати нові інтерактивні програми. Для цього пошуковики збирають дані користувача про активність користувачів в інтернеті, IP-адреси, дані про геолокацію, інтереси та онлайн-покупки, особисті дані, поштові повідомлення тощо. Все це дозволяє демонструвати контекстну рекламу відповідно до поведінки користувача в інтернеті. При цьому зазвичай згоди користувачів на це не питається, а можливості вибору, які відомості про себе надавати не дається. Тобто за замовчуванням у Big Data збирається все, що потім зберігатиметься на серверах даних сайтів.

З цього випливає наступна важлива проблема щодо забезпечення безпеки зберігання та використання даних. Наприклад, чи безпечна та чи інша аналітична платформа, якій споживачі в автоматичному режимі передають свої дані? Крім того, багато представників бізнесу відзначають дефіцит висококваліфікованих аналітиків та маркетологів, здатних ефективно оперувати великими обсягами даних та вирішувати за їх допомогою конкретні бізнес-завдання.

Незважаючи на всі труднощі з використанням Big Data, бізнес має намір збільшувати вкладення в цей напрямок. За даними дослідження Gartner, лідерами інвестують у Big Data галузей є медіа, рітейл, телеком, банківський сектор та сервісні компанії.

Перспективи взаємодії технологій блокчейн та Big Data

Інтеграція з Big Data несе в собі синергетичний ефект та відкриває бізнесу широкий спектр нових можливостей, у тому числі дозволяючи:

— отримувати доступ до деталізованої інформації про споживчі переваги, на основі яких можна вибудовувати докладні аналітичні профілі для конкретних постачальників, товарів та компонентів продукту;
— інтегрувати докладні дані про транзакції та статистику споживання певних груп товарів різними категоріями користувачів;
— отримувати докладні аналітичні дані про ланцюги постачання та споживання, контролювати втрати продукції при транспортуванні (наприклад, втрати ваги внаслідок усихання та випаровування деяких видів товарів);
— протидіяти фальсифікаціям продукції, підвищити ефективність боротьби з відмиванням грошей та шахрайством тощо.

Доступ до докладних даних про використання та споживання товарів значною мірою розкриє потенціал технології Big Data для оптимізації ключових бізнес-процесів, знизить регуляторні ризики, розкриє нові можливості монетизації та створення продукції, яка максимально відповідатиме актуальним споживчим уподобанням.

Як відомо, до технології блокчейн вже виявляють значний інтерес представники найбільших фінансових інститутів, включаючи , і т.д. .

Потенціал аналізу з блокчейну за допомогою технології Big Data величезний. Технологія розподіленого реєстру забезпечує цілісність інформації, а також надійне та прозоре зберігання всієї історії транзакцій. Big Data, у свою чергу, надає нові інструменти для ефективного аналізу, прогнозування, економічного моделювання і, відповідно, відкриває нові можливості для більш зважених управлінських рішень.

Тандем блокчейну та Big Data можна успішно використовувати в охороні здоров'я. Як відомо, недосконалі та неповні дані про здоров'я пацієнта в рази збільшують ризик встановлення невірного діагнозу та неправильно призначеного лікування. Критично важливі дані про здоров'я клієнтів медустанов повинні бути максимально захищеними, володіти властивостями незмінності, бути перевіряними і не повинні бути схильними до будь-яких маніпуляцій.

Інформація в блокчейні відповідає всім переліченим вимогам і може служити ролі якісних і надійних вихідних даних для глибокого аналізу за допомогою нових технологій Big Data. Крім цього, за допомогою блокчейну медичні установи змогли б обмінюватися достовірними даними зі страховими компаніями, органами правосуддя, роботодавцями, науковими установами та іншими організаціями, які потребують медичної інформації.

Big Data та інформаційна безпека

У широкому розумінні, інформаційна безпека є захищеністю інформації та підтримуючої інфраструктури від випадкових чи навмисних негативних впливів природного чи штучного характеру.

У сфері інформаційної безпеки Big Data стикається з такими викликами:

— проблеми захисту даних та забезпечення їх цілісності;
- ризик стороннього втручання та витоку конфіденційної інформації;
- Неналежне зберігання конфіденційної інформації;
- ризик втрати інформації, наприклад, внаслідок чиїхось зловмисних дій;
- ризик нецільового використання персональних даних третіми особами тощо.

Одна з головних проблем великих даних, яку має вирішити блокчейн, лежить у сфері інформаційної безпеки. Забезпечуючи дотримання всіх основних її принципів, технологія розподіленого реєстру може гарантувати цілісність та достовірність даних, а завдяки відсутності єдиної точки відмови блокчейн робить стабільною роботу інформаційних систем. Технологія розподіленого реєстру може допомогти вирішити проблему довіри даних, а також надати можливість універсального обміну ними.

Інформація – цінний актив, а це означає, що на першому плані має стояти питання забезпечення основних аспектів інформаційної безпеки. Для того, щоб вистояти в конкурентній боротьбі, компанії повинні йти в ногу з часом, а це означає, що їм не можна ігнорувати ті потенційні можливості та переваги, які містять у собі технологія блокчейн та інструменти Big Data.

За матеріалами research&trends

Big Data, «Великі дані» ось уже кілька років тому стали притчею в мовах в IT-і рекламній пресі. І зрозуміло: цифрові технології пронизали життя сучасної людини, "все пишеться". Обсяг даних про різні сторони життя зростає, і одночасно зростають можливості зберігання інформації.

Глобальні технології зберігання інформації

Джерело: Hilbert and Lopez, `The world's технологічної capacity to store, communicate, and compute information, `Science, 2011 Global.

Більшість експертів погоджуються, що прискорення зростання обсягу даних є об'єктивною реальністю. Соціальні мережі, мобільні пристрої, дані з вимірювальних пристроїв, бізнес-інформація – лише кілька видів джерел, здатних генерувати гігантські обсяги інформації. За даними дослідження IDCDigital Universe, опублікованого в 2012 році, найближчі 8 років кількість даних у світі досягне 40 Зб (zettabytes), що еквівалентно 5200 Гб на кожного жителя планети.

Зростання цифрової інформації в США


Джерело: IDC

Значну частину інформації створюють не люди, а роботи, що взаємодіють як один з одним, так і з іншими мережами даних, такі як, наприклад, сенсори та інтелектуальні пристрої. За таких темпів зростання кількість даних у світі, за прогнозами дослідників, щороку подвоюватиметься. Кількість віртуальних та фізичних серверів у світі зросте десятикратно за рахунок розширення та створення нових data-центрів. У зв'язку з цим зростає потреба в ефективному використанні та монетизації цих даних. Оскільки використання Big Data у бізнесі потребує чималих інвестицій, треба чітко розуміти ситуацію. А вона, по суті, проста: підвищити ефективність бізнесу можна скорочуючи витрати або збільшуючи обсяг продажів.

Для чого потрібні Big Data

Парадигма Big Data визначає три основні типи завдань.

  • Зберігання та керування обсягом даних у сотні терабайт або петабайт, які звичайні реляційні бази даних не дозволяють ефективно використовувати.
  • Організація неструктурованої інформації, що складається з текстів, зображень, відео та інших типів даних.
  • Аналіз Big Data, який порушує питання про способи роботи з неструктурованою інформацією, генерацію аналітичних звітів, а також впровадження прогностичних моделей.

Ринок проектів Big Data перетинається з ринком бізнес-аналітики (BA), обсяг якого у світі, за оцінками експертів, у 2012 році становив близько 100 млрд доларів. Він включає компоненти мережевих технологій, серверів, програмного забезпечення та технічних послуг.

Також використання технологій Big Data є актуальним для рішень класу гарантування доходів (RA), призначених для автоматизації діяльності компаній. Сучасні системи гарантування доходів включають інструменти виявлення невідповідностей і поглибленого аналізу даних, що дозволяють своєчасно виявити можливі втрати, або спотворення інформації, здатні призвести до зниження фінансових результатів. На цьому фоні російські компанії, що підтверджують наявність попиту технологій Big Data на вітчизняному ринку, зазначають, що факторами, що стимулюють розвиток Big Data в Росії, є зростання даних, прискорення прийняття управлінських рішень та підвищення їхньої якості.

Що заважає працювати з Big Data

Сьогодні аналізується лише 0,5% накопичених цифрових даних, незважаючи на те, що об'єктивно існують загальногалузеві завдання, які можна було б вирішити за допомогою аналітичних рішень класу Big Data. Розвинені IT-ринки вже мають результати, за якими можна оцінити очікування, пов'язані з накопиченням та обробкою великих даних.

Одним з головних факторів, що гальмує впровадження Big Data - проектів, крім високої вартості, вважається проблема вибору оброблюваних даних: тобто визначення того, які дані необхідно отримувати, зберігати та аналізувати, а які – не брати до уваги.

Багато представників бізнесу зазначають, що складнощі при впровадженні Big Data-проектів пов'язані з нестачею фахівців – маркетологів та аналітиків. Від якості роботи співробітників, які займаються глибинною та предикативною аналітикою, безпосередньо залежить швидкість повернення інвестицій у Big Data. Величезний потенціал вже існуючих в організації даних часто не може бути ефективно використаний самими маркетологами через застарілі бізнес-процеси або внутрішні регламенти. Тому часто проекти Big Data сприймаються бізнесом як складні у реалізації, а й у оцінці результатів: цінності зібраних даних. Специфіка роботи з даними вимагає від маркетологів та аналітиків переключення уваги з технологій та створення звітів на вирішення конкретних бізнес-завдань.

У зв'язку з великим обсягом і високою швидкістю потоку даних процес їх збору передбачає процедури ETL в режимі реального часу. Для довідки:ETL – відангл.Extract, Transform, Load- Дослівно «вилучення, перетворення, завантаження») - один з основних процесів в управлінні сховищами даних, що включає: вилучення даних із зовнішніх джерел, їх трансформацію та очищення з метою відповідності потребам ETL слід розглядати не тільки як процес перенесення даних з одного додатка до іншого, але і як інструмент підготовки даних до аналізу.

І тоді питання забезпечення безпеки даних, що надходять із зовнішніх джерел, повинні мати рішення, що відповідають обсягам інформації, що збирається. Так як методи аналізу Big Data розвиваються поки що тільки за зростанням обсягу даних, велику роль відіграє властивість аналітичних платформ використовувати нові методи підготовки та агрегування даних. Це говорить про те, що, наприклад, дані про потенційних покупців або масивне сховище даних з історією кліків на сайтах online-магазинів можуть бути цікавими для вирішення різних завдань.

Проблеми не зупиняють

Незважаючи на всі труднощі з використанням Big Data, бізнес має намір збільшувати вкладення в цей напрямок. Як випливає з даних Gartner, у 2013 році 64% найбільших світових компаній вже інвестували, або мають плани інвестувати у розгортання технологій у галузі Big Data для свого бізнесу, тоді як у 2012 році таких було 58%. За даними дослідження Gartner, лідерами інвестують у Big Data галузей є медіа компанії, телеком, банківський сектор та сервісні компанії. Успішних результатів впровадження Big Data вже досягнуто багатьма великими гравцями у сфері роздрібної торгівлі щодо використання даних, отриманих за допомогою інструментів радіочастотної ідентифікації, систем логістики та репленішменту (від англ. replenishment- накопичення, поповнення – R&T), а також програм лояльності. Вдалий досвід рітейлу стимулює інші галузі ринку знаходити нові ефективні способи монетизації великих даних, щоб перетворити їх аналіз на ресурс, що працює на розвиток бізнесу. Завдяки цьому, за прогнозами експертів, у період до 2020 року інвестиції в управління, зберігання знизяться на кожен гігабайт даних з 2$ до 0,2$, а ось на вивчення та аналіз технологічних властивостей Big Data зростуть лише на 40%.

Витрати, представлені у різних інвестиційних проектах у галузі Big Data, мають різний характер. Статті витрат залежить від видів продуктів, які вибираються, з певних рішень. Найбільша частина витрат в інвестиційних проектах, на думку фахівців, посідає продукти, пов'язані зі збором, структуруванням даних, очищенням та управлінням інформацією.

Як це робиться

Існує безліч комбінацій програмного та апаратного забезпечення, які дозволяють створювати ефективні рішення Big Data для різних бізнес дисциплін: від соціальних медіа та мобільних додатків, до інтелектуального аналізу та візуалізації комерційних даних. Важлива перевага Big Data – це сумісність нових інструментів з базами даних, що широко використовуються в бізнесі, що особливо важливо при роботі з крос-дисциплінарними проектами, наприклад, такими як організація мульти-канальних продажів та підтримки покупців.

Послідовність роботи з Big Data складається зі збору даних, структурування отриманої інформації за допомогою звітів та дашбордів (dashboard), створення інсайтів та контекстів, а також формулювання рекомендацій до дії. Так як робота з Big Data має на увазі великі витрати на збір даних, результат обробки яких заздалегідь невідомий, основним завданням є чітке розуміння, для чого потрібні дані, а не те, як багато їх є в наявності. У цьому випадку збір даних перетворюється на процес отримання виключно необхідної для вирішення конкретних завдань інформації.

Наприклад, у телекомунікаційних провайдерів агрегується величезна кількість даних, у тому числі геолокації, які постійно поповнюються. Ця інформація може представляти комерційний інтерес для рекламних агентств, які можуть використовувати її для показу таргетованої та локальної реклами, а також для рітейлерів та банків. Подібні дані можуть відіграти важливу роль при вирішенні відкриття торгової точки у певній локації на основі даних про наявність потужного цільового потоку людей. Є приклад вимірювання ефективності реклами на outdoor-щитах у Лондоні. Зараз охоплення подібної реклами можна виміряти лише поставивши біля рекламних конструкцій людей зі спеціальним пристроєм, який підраховує перехожих. Порівняно з таким видом виміру ефективності реклами, у мобільного оператора набагато більше можливостей – він точно знає місцезнаходження своїх абонентів, йому відомі їхні демографічні характеристики, стать, вік, сімейний стан тощо.

На основі таких даних, у майбутньому відкривається перспектива змінювати зміст рекламного повідомлення, використовуючи переваги конкретної людини, що проходить повз рекламний щит. Якщо дані показують, що людина, яка проходить повз люди, багато подорожує, то їй можна буде показати рекламу курорту. Організатори футбольного матчу можуть оцінити кількість уболівальників лише коли ті прийдуть на матч. Але якби вони мали змогу запросити в оператора стільникового зв'язку інформацію, де відвідувачі перебували за годину, день чи місяць до матчу, це дало б організаторам можливість планувати місця для розміщення реклами наступних матчів.

Інший приклад – як банки можуть використовувати Big Data для запобігання шахрайству. Якщо клієнт заявляє про втрату картки, а при здійсненні покупки з її допомогою банк бачить у режимі реального часу місце розташування телефону клієнта в зоні покупки, де відбувається транзакція, банк може перевірити інформацію за заявою клієнта, чи не намагався він обдурити його. Або протилежна ситуація, коли клієнт здійснює покупку в магазині, банк бачить, що карта, через яку відбувається транзакція, і телефон клієнта знаходяться в одному місці, банк може зробити висновок, що карткою користується її власник. Завдяки подібним перевагам Big Data розширюються межі, якими наділені традиційні сховища даних.

Для успішного ухвалення рішення про впровадження рішень Big Data компанії необхідно розрахувати інвестиційний кейс і це викликає великі труднощі через безліч невідомих складових. Парадоксом аналітики у подібних випадках стає прогнозування майбутнього на основі минулого, дані про яке найчастіше відсутні. І тут важливим чинником є ​​чітке планування своїх початкових действий:

  • По-перше, необхідно визначити одну конкретну задачу бізнесу, для вирішення якої використовуватимуться технології Big Data, це завдання стане стрижнем визначення вірності обраної концепції. Необхідно зосередитись на зборі даних, пов'язаних саме з цим завданням, а в ході перевірки концепції ви зможете використовувати різні інструменти, процеси та методи управління, які дозволять приймати більш обґрунтовані рішення у майбутньому.
  • По-друге, малоймовірно, що компанія без навичок та досвіду аналітики даних зможе успішно реалізувати проект Big Data. Необхідні знання завжди випливають із попереднього досвіду аналітики, що є основним фактором, що впливає на якість роботи з даними. Важливу роль відіграє культура використання даних, оскільки часто аналіз інформації відкриває сувору правду про бізнес, і щоб прийняти цю правду і працювати з нею необхідні вироблені методи роботи з даними.
  • По-третє, цінність технологій Big Data полягає у наданні інсайтів. Хороші аналітики залишаються дефіцитом на ринку. Ними прийнято називати спеціалістів, які мають глибоке розуміння комерційного змісту даних і знають, як їх правильно застосовувати. Аналіз даних є засобом для досягнення цілей бізнесу, і щоб зрозуміти цінність Big Data, потрібна відповідна модель поведінки та розуміння своїх дій. У цьому випадку великі дані дадуть багато корисної інформації про споживачів, на основі якої можна прийняти корисні для бізнесу рішення.

Незважаючи на те, що російський ринок Big Data тільки-но починає формуватися, окремі проекти в цій галузі вже реалізуються досить успішно. Деякі з них успішні в галузі збору даних, як, наприклад, проекти для ФНП та банку «Тінькофф Кредитні Системи», інші - в частині аналізу даних та практичного застосування його результатів: це проект Synqera.

У банку «Тінькофф Кредитні Системи» було реалізовано проект із впровадження платформи EMC2 Greenplum, яка є інструментом для масивно-паралельних обчислень. Протягом останніх років у банку зросли вимоги до швидкості обробки накопиченої інформації та аналізу даних у режимі реального часу, спричинені високими темпами зростання кількості користувачів кредитних карток. Банк оголосив про плани розширення використання технологій Big Data, зокрема для обробки неструктурованих даних та роботи з корпоративною інформацією, яка отримується з різних джерел.

У ФНП Росії зараз йде створення аналітичного шару федерального сховища даних. На його основі створюється єдиний інформаційний простір та технологія доступу до податкових даних для статистичної та аналітичної обробки. У ході реалізації проекту виконуються роботи з централізації аналітичної інформації з більш як 1200 джерелами місцевого рівня ІФНС.

Ще одним цікавим прикладом аналізу великих даних у режимі реального часу є російський стартап Synqera, який розробив платформу Simplate. Рішення засноване на обробці великих масивів даних, програма аналізує інформацію про покупців, історію їх покупок, вік, стать і навіть настрій. На касах у мережі косметичних магазинів було встановлено сенсорні екрани з датчиками, які розпізнають емоції покупців. Програма визначає настрій людини, аналізує інформацію про неї, визначає час доби та сканує базу знижок магазину, після чого надсилає покупцеві таргетовані повідомлення про акції та спеціальні пропозиції. Це рішення підвищує купівельну лояльність та збільшує продажі ритейлерів.

Якщо говорити про іноземні успішні кейси, то в цьому плані цікавий досвід застосування технологій Big Data в компанії Dunkin`Donuts, яка використовує дані в режимі реального часу для продажу продукції. Цифрові дисплеї в магазинах відображають пропозиції, що змінюють один одного щохвилини, залежно від часу доби та наявності продукції. За касовими чеками компанія отримує дані, які пропозиції отримали найбільший відгук у покупців. Даний підхід обробки даних дозволив збільшити прибуток та оборотність товарів на складі.

Як показує досвід впровадження Big Data-проектів, ця сфера покликана успішно вирішувати сучасні бізнес-завдання. При цьому важливим фактором досягнення комерційних цілей при роботі з великими даними є вибір правильної стратегії, яка включає аналітику, що виявляє запити споживачів, а також використання інноваційних технологій в області Big Data.

За даними глобального опитування, що щорічно проводиться Econsultancy та Adobe з 2012 року серед маркетологів компаній, «великі дані», що характеризують дії людей в Інтернеті, можуть багато. Вони здатні оптимізувати офлайнові бізнес-процеси, допомогти зрозуміти як власники мобільних девайсів користуються ними для пошуку інформації або просто «зробити маркетинг краще», тобто. ефективніше. Причому, остання функція з року в рік все популярніша, як це випливає з наведеної нами діаграми.

Основні галузі роботи інтернет-маркетологів з погляду відносин із покупцями


Джерело: Econsultancy and Adobe, опубліковано– emarketer.com

Зауважимо, що національність респондентів не має великого значення. Як свідчить опитування, проведене KPMG 2013 року, частка «оптимістів», тобто. тих, хто використовує Big Data при розробці бізнес-стратегії, становить 56%, причому коливання від регіону до регіону невеликі: від 63% у північноамериканських країнах до 50% у EMEA.

Використання Big Data у різних регіонах світу


Джерело: KPMG, опубліковано– emarketer.com

Тим часом, ставлення маркетологів до подібних «модних трендів» у чомусь нагадує відомий анекдот:

Скажи, Вано, ти любиш помідори?
- Поїсти люблю, а так – ні.

Незважаючи на те, що маркетологи на словах «люблять» Big Data і начебто навіть їх використовують, насправді, «все складно», як пишуть про свої серцеві уподобання в соцмережах.

За даними опитування, проведеного компанією Circle Research у січні 2014 року серед європейських маркетологів, 4 із 5 опитаних не використовують Big Data (при тому, що вони їх, звичайно, «люблять»). Причини різні. Закоренілих скептиків небагато – 17% і стільки ж, скільки та його антиподів, тобто. тих, хто впевнено відповідає: «Так». Інші - це вагаються і сумніваються, "болото". Вони уникають прямої відповіді під пристойними приводами в дусі того, що «поки ні, але скоро» або «чекаємо, поки інші почнуть».

Використання Big Data маркетологами, Європа, січень 2014


Джерело:dnx, опубліковано –emarketer.com

Що ж їх бентежить? Сущі дрібниці. Деякі (їх рівно половина) просто не вірять цим даним. Інші (їх теж чимало – 55%) не можуть у співвіднесенні між собою безлічі «даних» і «користувачів». У когось просто (висловимося політкоректно) внутрішньокорпоративний безлад: дані безхазяйно гуляють між маркетинговими відділами та IT структурами. В інших програм не справляється з напливом роботи. І так далі. Оскільки сумарні частки значно перевищують 100%, зрозуміло, що ситуація «множинних бар'єрів» зустрічається нерідко.

Бар'єри, що перешкоджають використанню Big Data у маркетингу


Джерело:dnx, опубліковано –emarketer.com

Таким чином, доводиться констатувати, що поки «Великі дані» – це великий потенціал, яким ще треба скористатися. До речі, саме це може бути і спричинило те, що Big Data втрачає ореол «модного тренду», як про це свідчать дані опитування, проведеного вже згаданою нами компанії Econsultancy.

Найзначніші тренди у діджитал-маркетингу 2013-2014


Джерело: Econsultancy and Adobe

На зміну їм виходить інший король – контент-маркетинг. Чи надовго?

Не можна сказати, що Великі Дані – це якесь нове явище. Великі джерела даних існують уже багато років: бази даних щодо покупок клієнтів, кредитних історій, способу життя. І протягом багатьох років вчені використовували ці дані, щоб допомагати компаніям оцінювати ризик та прогнозувати майбутні потреби клієнтів. Проте сьогодні ситуація змінилася у двох аспектах:

З'явилися складніші інструменти та методи для аналізу та поєднання різних наборів даних;

Ці аналітичні інструменти доповнені цілою лавиною нових джерел даних, викликаної переходом на цифрові технології практично всіх методів збирання та вимірювання даних.

Діапазон доступної інформації одночасно і надихає, і лякає дослідників, які виросли у структурованому дослідному середовищі. Споживчі настрої фіксуються сайтами та різними різновидами соціальних медіа. Факт перегляду реклами фіксується не лише телевізійними приставками, а й за допомогою цифрових тегів та мобільних пристроїв, які спілкуються з телевізором.

Поведінкові дані (такі як кількість дзвінків, купівельні звички та покупки) тепер доступні в режимі реального часу. Таким чином, багато того, що раніше можна було отримати за допомогою досліджень, сьогодні можна дізнатися за допомогою джерел великих даних. І всі ці інформаційні активи генеруються постійно, незалежно від будь-яких дослідницьких процесів. Ці зміни і змушують нас запитати себе: чи зможуть великі дані замінити собою класичні дослідження ринку.

Справа не в даних, справа в питаннях та відповідях

Перш ніж замовляти похоронний дзвін за класичними дослідженнями, ми маємо нагадати собі, що вирішальне значення має наявність тих чи інших активів даних, а щось інше. Що саме? Наша здатність відповідати на запитання, ось що. Новий світ великих даних має одну кумедну рису: результати, отримані на основі нових інформаційних активів, призводять до появи ще більшої кількості питань, а на ці питання, як правило, найкраще відповідають традиційні дослідження. Таким чином, у міру зростання великих даних ми бачимо паралельне зростання наявності та потреби у «маленьких даних» (small data), які можуть дати відповіді на питання зі світу великих даних.

Розглянемо ситуацію: великий рекламодавець проводить постійний моніторинг трафіку у магазинах та обсягів продажів у режимі реального часу. Існуючі дослідницькі методики (в рамках яких ми опитуємо учасників дослідницьких панелей про їх мотивації до купівлі та поведінки в точках продажу) допомагають нам краще націлитись на певні сегменти покупців. Ці методики можуть бути розширені – вони можуть включати більш широкий діапазон активів великих даних аж до того, що великі дані стають засобом пасивного спостереження, а дослідження – методом постійного вузькоцільового дослідження змін або подій, що вимагають вивчення. Саме такі великі дані можуть звільнити дослідження від зайвої рутини. Первинні дослідження не повинні фокусуватися у тому, що відбувається (це зроблять великі дані). Натомість первинні дослідження можуть зосередитися на поясненні того, чому ми спостерігаємо ті чи інші тенденції чи відхилення від тенденцій. Дослідник зможе менше думати про отримання даних, і більше – про те, як їх проаналізувати та використовувати.

У той же час ми бачимо, що великі дані дозволяють вирішувати одну з наших найбільших проблем – надмірно довгих досліджень. Вивчення самих досліджень показало, що надмірно роздуті дослідницькі інструменти негативно впливають на якість даних. Хоча багато фахівців протягом тривалого часу визнавали наявність цієї проблеми, вони незмінно відповідали на це фразою: «Але ця інформація потрібна мені для вищого керівництва», і довгі опитування тривали.

У великих даних, де кількісні показники можна отримати з допомогою пасивного спостереження, це питання стає спірним. Знову ж таки, давайте згадаємо про всі ці дослідження, що стосуються споживання. Якщо великі дані дають нам інсайти про споживання за допомогою пасивного спостереження, то первинним дослідженням у формі опитувань вже не треба збирати такого роду інформацію, і ми зможемо нарешті підкріпити своє бачення коротких опитувань не лише добрими побажаннями, а й чимось реальним.

Big Data потребують вашої допомоги

Нарешті, "великі" - це лише одна з характеристик великих даних. Характеристика «великі» відноситься до розміру та масштабу даних. Звичайно, це основна характеристика, оскільки обсяг цих даних виходить за межі всього того, з чим ми працювали раніше. Але інші характеристики цих нових потоків даних також важливі: вони часто погано форматовані, неструктуровані (або, у кращому разі, частково структуровані) і повні невизначеності. Область управління даними, що розвивається, влучно названа «аналіз сутностей» (entity analytics), покликана вирішити проблему подолання шуму у великих даних. Її завдання – проаналізувати ці набори даних і з'ясувати, скільки спостережень відноситься до однієї й тієї ж людини, які спостереження є поточними, та які з них – придатні для використання.

Такий вид очищення даних необхідний для того, щоб видалити шум або помилкові дані під час роботи з активами великих або невеликих даних, але цього недостатньо. Ми також маємо створити контекст навколо активів великих даних на основі нашого попереднього досвіду, аналітики та знання категорії. Насправді, багато аналітиків вказують на здатність керувати невизначеністю, властивою великим даним як джерело конкурентної переваги, оскільки вона дозволяє приймати більш ефективні рішення.

І ось тут-то первинні дослідження не тільки виявляються звільненими від рутини завдяки великим даним, а й роблять свій внесок у створення контенту та аналіз у рамках великих даних.

Яскравим прикладом цього може бути додаток нашої нової принципово іншої рамкової моделі капіталу бренду до соціальних медіа (Йдеться про розроблене вMillward Brownновий підхід до вимірювання цінності брендуThe Meaningfully Different Framework- «Парадигма значних відмінностей» -R & T ). Ця модель перевірена на поведінці в рамках конкретних ринків, реалізована на стандартній основі, та її легко застосувати в інших маркетингових напрямках та інформаційних системах для підтримки прийняття рішень. Іншими словами, наша модель капіталу бренду, що спирається на дослідження методом опитувань (хоча і не тільки на них) має всі властивості, необхідні подолання неструктурованого, незв'язного і невизначеного характеру великих даних.

Розглянемо дані щодо споживчих настроїв, що надаються соціальними медіа. У сирому вигляді піки та спади споживчих настроїв дуже часто мінімально корелюють із параметрами капіталу бренду та поведінки, отриманими в офлайні: у даних просто забагато шуму. Але ми можемо зменшити цей шум, застосовуючи наші моделі споживчого сенсу, диференціації брендів, динаміки та відмінних рис до сирих даних споживчих настроїв – це спосіб обробки та агрегації даних соціальних медіа за цими вимірами.

Після того, як дані організовані відповідно до нашої рамкової моделі, виявлені тренди зазвичай збігаються з параметрами капіталу бренду та поведінки, отриманими в офлайні. По суті дані соціальних медіа не можуть говорити самі за себе. Щоб використати їх для зазначеної мети потрібен наш досвід та моделі, побудовані навколо брендів. Коли соціальні медіа дають нам унікальну інформацію, виражену тією мовою, яку споживачі використовують для опису брендів, ми повинні використовувати цю мову при створенні своїх досліджень, щоб зробити первинні дослідження набагато ефективнішими.

Переваги звільнених досліджень

Це повертає нас до того, що великі дані не так замінюють дослідження, скільки звільняють їх. Дослідники будуть звільнені від необхідності створювати нове дослідження з кожного нового випадку. Постійно зростаючі активи великих даних можуть бути використані для різних тем досліджень, що дозволяє подальшим первинним дослідженням заглибитися в тему та заповнити наявні прогалини. Дослідники будуть звільнені від необхідності покладатися на надмірно роздуті опитування. Натомість вони зможуть використовувати короткі опитування та зосередитися на найважливіших параметрах, що підвищує якість даних.

Завдяки такому звільненню дослідники зможуть використати свої відпрацьовані принципи та ідеї, щоб додати точності та сенсу активам великих даних, що призведе до появи нових галузей для досліджень методом опитування. Цей цикл повинен призвести до більш глибокого розуміння цілої низки стратегічних питань і, зрештою, до руху в бік того, що завжди має бути нашою головною метою - інформувати та покращувати якість рішень, що стосуються бренду та комунікацій.

 

 
Це цікаво: