→ Статистика відвідувань на Mikrotik за допомогою WebProxy-Log. Все про трафік з Netflow на MikroTik Mikrotik перегляд трафіку користувачів

Статистика відвідувань на Mikrotik за допомогою WebProxy-Log. Все про трафік з Netflow на MikroTik Mikrotik перегляд трафіку користувачів

Всім привіт! У сьогоднішній статті розповімо про те, як налаштувати відправку статистики про пакети, що проходять через наш роутер Mikrotik на колектор для подальшого аналізу. Всі ми знаємо про такий протокол як Netflow, призначений для обліку мережевого трафіку, розроблений компанією Cisco, так ось у Mikrotik є своя реалізація даного рішення, яка повністю відповідає стандартові Cisco Netflow - Mikrotik Traffic Flow.

Крім моніторингу та аналізу трафіку, за допомогою Traffic Flow, адміністратор може виявляти різні проблеми, які можуть з'являтися в мережі, а також аналізувати та оптимізувати загальні мережеві характеристики.

Оскільки Traffic Flow повністю сумісний з Cisco Netflow, то він може використовуватися різними утилітами, які розроблені для Netflow.

Traffic Flow підтримує такі версії Netflow:

  1. version 1 - Найперша версія формату даних Netflow. Рекомендується використовувати тільки якщо немає альтернатив
  2. version 5 - Доповнення першої версії, якій з'явилася можливість додавання номерів автономних систем (AS) і порядкових номерів потоків
  3. version 9 - нова версія, що дозволяє додавати нові поля і типи записів завдяки шаблонного виконання

Налаштування

Отже, для того, щоб почати збирати статистичну інформацію про трафік, необхідно спочатку включити Traffic Flow і визначитися з яких інтерфейсів здійснювати збір. Робиться це за допомогою комбінації наступних команд:

/ Ip traffic-flow set enabled \u003d yes interfaces \u003d ether1

У нашому випадку, вказаний лише один інтерфейс ether1, однак, якщо ви хочете збирати статистику з декількох інтерфейсів, просто вкажіть їх через кому. Якщо з усіх - інтерфейсів введіть interfaces \u003d all.

Ви також можете налаштувати кількість потоків, які можуть одночасно знаходитися в пам'яті роутера командою cache-entries і вказавши потрібне значення - (128k | 16k | 1k | 256k | 2k / 4k - за замовчуванням)

Командою active-flow-timeout - можна налаштувати максимальний час життя потоку, за замовчуванням це 30 хвилин.

Деякі потоки, можуть стати неактивними через якийсь час, тобто, в них не буде відбуватися обмін пакетами, цей тайм-аут налаштовується командою inactive-flow-timeout. Якщо пакетів в потоці немає і зараз минув, то наступного разу traffic flow створить новий потік, якщо обмін відновиться. За замовчуванням це 15 секунд, але якщо зробити даний час занадто коротким, то це може привести до створення великої кількості окремих потік і переповнення буфера.

Після того як ми включили Traffic Flow і визначилися з інтерфейсами, з яких хочемо отримувати інформацію про потоках, необхідно налаштувати хост призначення, який буде отримувати дану інформацію (в термінології Netflow такий хост називається колектором). Робиться це за допомогою наступної команди

Ip traffic-flow target

Потім вказується IP адреса і UDP порт хоста призначення - add dst-address \u003d (IP address) port \u003d (UDP port). Якщо ви хочете використовувати конкретну версію протоколу, то вкажіть її командою version \u003d (1,5,9)

приклад

Розглянемо приклад конфігурації Traffic Flow на роутері Mikrotik

Припустимо ми хочемо збирати статичну інформацію про трафік, який проходить через інтерфейс ether3 нашого роутера і відправляти її на колектор за адресою 192.168.2.123 використовуючи 5 версію протоколу. В цьому випадку конфігурація може виглядати наступним чином:

Спочатку включаємо Traffic Flow і вказуємо інтерфейс

/ Ip traffic-flow set enabled \u003d yes interfaces \u003d ether3

Потім вказуємо адресу колектора, стандартний порт і версію протоколу 5:

/ Ip traffic-flow target add dst-address \u003d 192.168.2.123 port \u003d 2055 version \u003d 5

Якщо Ви віддаєте перевагу консолі утиліту WinBox, То для настройки Traffic Flow лівому меню відкрийте пункт IP і виберіть Traffic Flow, Перед Вами відкриється наступне вікно:

Необхідно включити Traffic Flow, поставивши галочку навпроти Enabled і вибрати бажаний інтерфейс для збору інформації.

Після цього переходимо на вкладку Targets і додаємо параметри колектора, досить внести IP адреса, порт і версію. Після цього натискаємо на кнопку Apply


Після цього наш роутер почне відправляти інформацію на колектор. Якщо ви хочете вказати декілька колекторів, то це можна зробити, використовуючи різні версії протоколу і номера UDP портів.

Чи корисна Вам ця стаття?

Будь ласка, розкажіть чому?

Нам шкода, що стаття не була корисна для вас: (Будь ласка, якщо не утруднить, вкажіть з якої причини? Ми будемо дуже вдячні за докладну відповідь. Спасибі, що допомагаєте нам стати краще!

Своїм міні оглядом хочу розповісти про один програмний продукт, який дуже добре допомагає при аналізі трафіку. Так, продукт комерційний, але на мою він того вартий.
Ім'я йому ManageEngine NetFlow Analyzer.

Це web додаток, написане на Java, як http сервера виступає Apache, для зберігання даних використовується MySQL.
Використовуючи NetFlow Analyzer можливо власноруч конструювати функціональні «приладові панелі», придатні для моніторингу найбільш важливих ділянок мережевої інфраструктури. Кожна така панель створюється з урахуванням специфічної ролі окремого адміністратора і може складатися з численних елементів (віджетів), що відповідають за вилучення інформації з різних джерел.
Завдяки наочності приладових панелей NetFlow Analyzer можна з першого погляду оцінити ситуацію, що склалася, отримати уявлення про поточну навантаженні на різні ділянки мережі і вивчити наведені цифри, не витрачаючи часу на пошуки і перегляд розрізнених звітів. У комплект поставки NetFlow Analyzer включено понад півсотні «віджетів».
Приблизно так:)
Почнемо з самого початку, тобто установки і початкової настройки.


Установка NetFlow Analyzer.
Викачуємо під цікаву для нас платформу (Windows, Linux), в нашому випадку це Windows.
Запускаємо.

Всі компоненти ставляться в одну папку, з цього при бажанні можна вибрати будь-яку.

Так само при установки запитуються порти, за якими будуть працювати сервіси. Порт web інтерфейсу і порт, на який будуть приходити NetFlow пакети.

Зазначаємо, що б запускалося як служба.

Вказуємо реєстраційні дані

По завершенню установки запускається браузер, які потрапляє на сторінку авторизації, за замовчуванням користувач admin, пароль admin.

Налаштування мікротіка.
Тут все готово, тепер йдемо в консоль управління мікротіком і направляємо потік з даними на наш сервер.

Ну або все те ж саме, тільки з консолі:


/ Ip traffic-flow set enabled \u003d yes
/ Ip traffic-flow target add address \u003d 192.168.1.78: 9996 version \u003d 9


Першою командою активуємо сервіс, другий вказуємо приймаючу точку, порт і версію протоколу.

Початкова настройка NetFlow Analyzer.
Тепер увійдемо в NetFlow Analyzer і подивимося що ж у нас вийшло.
Перше, куди потрапляємо, це список інтерфейсів, за якими ведеться спостереження, в даному прикладі інтерфейси з іменами IfIndex * це вхідні з'єднання по vpn, інтерфейси comgate * і vcraft * це провайдери, local це інтерфейс локальної мережі.

Якщо щось не вийшло, то має сенс перевірити відповідність портів, через які аналізатор слухає і порт, який вказали в мікротіке.
Перейдемо до розділу Admin Operations, Product Settings.

Server Settings - Налаштування сервера.
NetFlow / sFlow Listener Port - порт, на який приймаються потоки з пристроїв.
WebServer Port - порт веб інтерфейсу.
Count Of Top Records to Store - максимальна кількість рядків, що виводиться в таблицях з даними.


DNS Settings - Налаштування визначення dns імен.
Resolve only when "Resolve DNS" link is clicked - За умовчанням встановлено, Визначати імена при натисканні на "Resolve DNS".
Resolve DNS names automatically by default- Визначати імена автоматично (сповільнюється робота)
Resolved DNS count in cache - Розмір DNS кеша.
User defined DNS names - Здаесь можна задати статичні dns записи.

Напевно другим місцем, куди варто зазирнути в настройках, це налаштування для відправки пошти.

Натиснемо на Test Mail.


DashBoard.
Як говорилося на самому початку цікавою фішкою є DashBoard, який існує в деякому початковому стані.

Але адміністратор може зробити панель з віджетами "під себе". На приклад зробити щось на зразок цього (не треба сильно вникати в сенс :-) я просто витягнув максимально можливі віджети)

Туди - сюди чи хто куди ходить і що качає.
Повернемося на вкладку інтерфейсів і подивимося статистику по одному конкретному.

Вкладка Application виводить інформацію по типу трафіку.

Клік по конкретної рядку і ми отримуємо детальну інформацію. На приклад інформацію по http трафіку.

Можна скоротити результати виведення до (на приклад) 10 і зробити перетворення ip в імена (допомагає дуже не завжди).

Так само можна запитати детальний графік кожного з'єднання.

У вкладці Source отримуємо звіт за джерелами трафіку, і так само вибравши конкретний елемент отримуємо деталізацію по ньому.

Групи адрес.
Іноді цікаво розглядати трафік декількох користувачів одночасно, на приклад серверів, що виконують одну й ту ж саму роль.
У розділі Admin Operations є підрозділ IP Grouups, де можна об'єднати декілька адрес в групу, створити групу з цілих підмереж і т.д.

Для ледачих - звіти поштою.
Напевно найприємніша річ, яка мені сподобалася, це можливість формувати звіти і отримувати з поштою, не треба було щоранку лізти в цей інтерфейс і замовляти їх, вони просто приходили з ранковою поштою.
Заходимо в розділ Admin Operations, в підрозділ Schedule Reports.

В результаті вранці прийде лист, приблизно такого змісту.

Де буде лежати по pdf-у на кожен інтерфейс приблизно такого змісту.

Висновок.
За сім буду прощатися, той хто що то шукав, той, я думаю знайшов, і якщо почне копатися все глибше, то пізнає таємну магію Alert-ів, які буду тебе сповіщати про проблеми в мережі, а кому то знадобляться дрібниці в роздягли Billing.
Наостанок скажу, що на сайті виробника Ви знайдете безкоштовну версію цього продукту, безкоштовність там дивна, 30 днів працює без обмежень, потім працює тільки з двома інтерфейсами, для простих конфігурацій, де один локальний, а інший провайдер цього рішення повинно вистачити.

MiktoTik - Минулі статті частина 1 - MikroTik - Що це за звір такий? частина 2 - MikroTik - Установка частина 3 - MikroTik - Початкова настройка частина 4 - MikroTik - Списки і групи адрес частина 5 - MiktoTik - Два провайдера - балансування навантаження частина 6 - MiktoTik - Два провайдера - розподіл по каналах частина 7 - MikroTik - Winbox & Console частина 8 - MikroTik - Bandwidth / Просте обмеження частина 9 - Mikrotik - Bandwidth- Індивідуальні правила

Своїм міні оглядом хочу розповісти про один програмний продукт, який дуже добре допомагає при аналізі трафіку. Так, продукт комерційний, але на мою він того вартий.


Використовуючи NetFlow Analyzer можливо власноруч конструювати функціональні «приладові панелі», придатні для моніторингу найбільш важливих ділянок мережевої інфраструктури. Кожна така панель створюється з урахуванням специфічної ролі окремого адміністратора і може складатися з численних елементів (віджетів), що відповідають за вилучення інформації з різних джерел.

Завдяки наочності приладових панелей NetFlow Analyzer можна з першого погляду оцінити ситуацію, що склалася, отримати уявлення про поточну навантаженні на різні ділянки мережі і вивчити наведені цифри, не витрачаючи часу на пошуки і перегляд розрізнених звітів. У комплект поставки NetFlow Analyzer включено понад півсотні «віджетів».

Приблизно так:)

Почнемо з самого початку, тобто установки і початкової настройки.

Установка NetFlow Analyzer.

Запускаємо.


Всі компоненти ставляться в одну папку, з цього при бажанні можна вибрати будь-яку.


Так само при установки запитуються порти, за якими будуть працювати сервіси. Порт web інтерфейсу і порт, на який будуть приходити NetFlow пакети.


Зазначаємо, що б запускалося як служба.

Вказуємо реєстраційні дані


По завершенню установки запускається браузер, які потрапляє на сторінку авторизації, за замовчуванням користувач admin, пароль admin.

Налаштування мікротіка.

Ну або все те ж саме, тільки з консолі:

/ Ip traffic-flow set enabled \u003d yes

/ Ip traffic-flow target add address \u003d 192.168.1.78: 9996 version \u003d 9

Першою командою активуємо сервіс, другий вказуємо приймаючу точку, порт і версію протоколу.

Початкова настройка NetFlow Analyzer.

Тепер увійдемо в NetFlow Analyzer і подивимося що ж у нас вийшло.

Перше, куди потрапляємо, це список інтерфейсів, за якими ведеться спостереження, в даному прикладі інтерфейси з іменами IfIndex * це вхідні з'єднання по vpn, інтерфейси comgate * і vcraft * це провайдери, local це інтерфейс локальної мережі.


Якщо щось не вийшло, то має сенс перевірити відповідність портів, через які аналізатор слухає і порт, який вказали в мікротіке.

Перейдемо до розділу Admin Operations, Product Settings.


Server Settings - Налаштування сервера.

NetFlow / sFlow Listener Port - порт, на який приймаються потоки з пристроїв.

WebServer Port - порт веб інтерфейсу.

Count Of Top Records to Store - максимальна кількість рядків, що виводиться в таблицях з даними.

DNS Settings - Налаштування визначення dns імен.

Resolve only when "Resolve DNS" link is clicked - За умовчанням встановлено, Визначати імена при натисканні на "Resolve DNS".

Resolve DNS names automatically by default- Визначати імена автоматично (сповільнюється робота)

Resolved DNS count in cache - Розмір DNS кеша.

User defined DNS names - Здаесь можна задати статичні dns записи.

Напевно другим місцем, куди варто зазирнути в настройках, це налаштування для відправки пошти.

Натиснемо на Test Mail.

DashBoard.

Як говорилося на самому початку цікавою фішкою є DashBoard, який існує в деякому початковому стані.

Але адміністратор може зробити панель з віджетами "під себе". На приклад зробити щось на зразок цього (не треба сильно вникати в сенс :-) я просто витягнув максимально можливі віджети)

Туди - сюди чи хто куди ходить і що качає.

Повернемося на вкладку інтерфейсів і подивимося статистику по одному конкретному.

Вкладка Application виводить інформацію по типу трафіку.

Клік по конкретної рядку і ми отримуємо детальну інформацію. На приклад інформацію по http трафіку.

Можна скоротити результати виведення до (на приклад) 10 і зробити перетворення ip в імена (допомагає дуже не завжди).

Так само можна запитати детальний графік кожного з'єднання.

У вкладці Source отримуємо звіт за джерелами трафіку, і так само вибравши конкретний елемент отримуємо деталізацію по ньому.

 Розберемо утиліти для troubleshooting в мережах MikroTik, такі як torch, ip scan, romon, bandwidth test та інші.

У даній статті ми поговоримо про те, що використовувати для troubleshooting в мережі на обладнанні MikroTik. Йтиметься про наступні інструменти:

  • Torch
  • Ip scan
  • Sniffir
  • Cable test
  • RoMON
  • Bandwidth Test
  • Traffic Monitor

Напевно багатьма з них ви вже користувалися, але я спробую розповісти цікаві речі, які може зможуть вам допомогти в роботі. У всякому разі ми, в нашій практиці ІТ-аутсорсингу, використовуємо їх регулярно

Torch

Цей інструмент використовується для моніторингу трафіку в реальному часі, як всього трафіку, так і через конкретний інтерфейс.

Можна користуватися в winbox, cli, webfug. Знаходиться / tool torch.

Також крім стандартного розташування torch можна відкрити через Simple Queue і в налаштуваннях інтерфейсу.

Хочу зазначити що torch бачить мітки DSCP і VLAN ID.

Через CLI у torch є деякі додаткові функції, наприклад запустити його на певний час командою duration і задати інтервал поновлення даних командою freeze-frame-interval.

IP SCAN

Наступний дуже корисний інструмент, який я завжди використовую у своїй роботі це ip scan.

Знаходиться він / tool ip scan. За допомогою його можна швидко просканувати мережу і приблизно усвідомити що в ній знаходиться. Так само за допомогою його можна відразу визначити якщо у нас є десь за двоїння ip адрес.

Якщо у мікротіка вказані DNS сервера по у відповідному полі буде заповнено і імена. Так само зручно відображається в графі Time (ms) затримка. Так само він доступний і в CLI.

Sniffer

Sniffer - це інструмент, який може захоплювати і аналізувати пакети, які йдуть або проходять через маршрутизатор. Знаходиться він / tool sniffer, також від доступний і в CLI. Є можливість зберігати dump в файл або відправляти на віддалений сервер (наприклад в wireshark), а також перегляду в реальному часі.

На вкладці General

  • Memiry Limit - задається скільки ОЗУ буде доступно сніфіру для абот
  • File Name - ім'я файлу дампа
  • File Limit - максимальний розмір файлу дампа.
  • Галочки Only Headers - збирати тільки заголовки.
  • memory-scroll - чи потрібно переписувати застарілі дані, коли досягнута межа пам'яті.

На вкладки Streaming включаємо власне його і вказуємо сервер на який буде відправляється.

На вкладки Filter задаємо параметри фільтрації. Після старту можна натиснути на кнопку «Packets» і подивитися результати.

Cable test

Ще один корисний інструмент в мікротіке називається cable test. Доступний він в налаштуваннях інтерфейсу, допомагає визначити відстань до обриву такий є і довжину кабелю

У моєму прикладі я відкусив одну пару на відстань приблизно 50 см. Меріт він не ідеально + - пару метрів.

RoMON

RoMON - утиліта для доступу до пристроїв через MikroTik знаходяться в одному l2 сегменті з прикордонним пристроєм, до якого у нас є прямий доступ. Знаходиться в / tool RoMON, допомагає при віддаленому адмініструванні.

Цей інструмент зручно використовувати, коли з яких-небудь причин нам не хочеться для настройки нових пристроїв за роутером використовувати CLI (Mac Telnet) а хочеться все робити через winbox.

Для використання цієї функції потрібно її активувати як на роутері, до якого у нас є доступ так і на тих (через Mac Telnet) які перебувають за нашому пристроєм. Чи включається воно / tool RoMON.

BandwidthTest

  • Інструмент дозволяє оцінити швидкість з'єднання з віддаленим сервером
  • Є в winbox, cli, webfig
  • Є клієнт і сервер
  • Можливо, використовувати в різних скриптах

Є окрема утиліта під windows. Є загальнодоступні сервера якими можна користуватися. https://forum.mikrotik.com/viewtopic.php?t\u003d104266

Дуже зручно міряти швидкість цим інструментом. Коштувати також попередити що якщо у вас велика швидкість підключення і не дуже потужний пристрій (smips) то при запуску тесту можна завантажити CPU на 100% і на час втратити доступ до пристрою.

TrafficMonitor

І останній інструмент про який ми поговоримо це Traffic Monitor. Він використовується для виконання консольних скриптів, коли трафік інтерфейсу перетинає заданий поріг. Знаходиться він / tool traffic-monitor.

Його можна порівняти у утилітою «Netwatch» яка по доступність або недоступність певного хоста виконує будь-які дії. Приклад одного з застосувань, можна налаштувати відправку на пошту повідомлення якщо канал буде завантажений на 95% протягом 5 хвилин, варіантів багато і прикладів в інтернеті теж.

На цьому на сьогодні все.

 

 
Це цікаво: