This is an old revision of the document!
Схема мониторинга sflow статистики
Задействованные сервера
goflow - сервер на котором крутится kafka и goflow2 приложение по сбору статистики
clickhouse - сервер с базой данных clickhouse, хранение и обработка статистики
Задействованные приложения
Общая схема мониторинга
switch sflow -> goflow2 -> kafka -> clickhouse
switch отправляет данные sflow на UDP порт 6343
goflow2 принимает поток данных, разбирает данные и сформировав protobuf отправляет в kafka
kafka просто получает данные, данные в ней хранятся на протяжении 12 часов
clickhouse
kafka - таблица подключена на чтение в kafka, данные читаются только 1 раз
kafka_to_raw - представление которое выбирает данные с kafka и добавляя нужные поля вставляет в raw
raw - таблица с остаточными сырыми данными