Сбор логов

Ниже представлены рекомендации по сбору и отправке логов сервисов внутри установленного комплекса On-Premise.

Формат логов

Сервисы комплекса On-Premise в Kubernetes выводят логи в stdout в формате JSON или Plaintext. В некоторых случаях используется комбинация обоих форматов, что позволяет гибко адаптировать вывод логов в зависимости от нужд системы.

Инструменты для сбора логов

Для сбора и отправки логов рекомендуется установить следующие агенты:

• Fluent Bit — легковесный инструмент с минимальным потреблением ресурсов. Поддерживает фильтрацию и маршрутизацию логов.

  • Установить на виртуальную машину.
  • Установить в Kubernetes (DaemonSet).

• Filebeat — оптимален для интеграции с Elasticsearch (например, в стеках ELK).

  • Установить на виртуальную машину.
  • Установить в Kubernetes (DaemonSet).

Хранение и анализ логов

Для централизованного сбора, хранения и анализа логов рекомендуется использовать следующие инструменты:

• Elasticsearch + Kibana (ELK-стек). Подходит для сложных запросов и долгосрочного хранения логов и предоставляет следующие возможности:

  • полнотекстовый поиск и аналитика логов;
  • гибкие дашборды и визуализации в Kibana.

  Принцип работы: агенты (Fluent Bit, Filebeat) собирают логи с узлов и отправляют их в Elasticsearch. Затем данные индексируются и становятся доступны в Kibana через индекс-паттерны.

• Grafana Loki. Оптимизирован для работы с логами Kubernetes и предоставляет следующие возможности:

  • экономичное хранение логов (использует объектные хранилища, например MinIO);
  • интеграция с Grafana для совместного анализа логов и метрик.

  Принцип работы: агенты (Fluent Bit) отправляют логи в Loki с метками (labels) для быстрого поиска. Затем логи становятся доступны в Grafana через запросы на языке LogQL.