Перейти к основному содержимому
Версия: 2.0

Разделение фида на отдельные каналы внутри RTIP

Инструкция описывает разделение одного общего фида на отдельные каналы внутри RTIP через отдельные пайплайны.

Варианты реализации​

Поддерживаются два подхода:

  1. На уровне API-генератора фида — параметр path.
  2. На уровне фильтра в пайплайне — фильтрация по каналу-источнику.

Рекомендуется второй вариант.

Вариант 1. Параметр path на уровне API-генератора​

Можно указать путь, например:

4rays_pulse/active_c2

Тогда агент получит только этот канал.

Минус

На каждый такой путь потребуется отдельный инстанс агента.

Вариант 2. Фильтрация по каналу-источнику в пайплайне​

Этот вариант удобнее, если нужно поделить один общий фид на отдельные каналы внутри RTIP. Не требуется поднимать отдельный экземпляр агента на каждый путь — достаточно отдельных конфигураций пайплайнов.

Шаг 1. Определите каналы​

Например, нужно выделить канал:

active_c2

Шаг 2. Создайте отдельный пайплайн для каждого канала​

Для каждого канала создайте свою конфигурацию пайплайна в директории:

pkl/configs/

Например:

active_c2_pipeline.pkl

Шаг 3. Добавьте фильтр по каналу-источнику​

В пайплайне добавьте фильтр, который пропускает индикаторы только нужного канала. Например, если признак канала содержится в feed_name:

transforms {
  new agent.Filter{
    name = "filter-active-c2"
    inputs {
      "feeds-api-generator"
    }
    filters = new Listing {
      """feed_name.Contains("active_c2")"""
    }
  }
}

Если в вашей конфигурации используется поле path, фильтр может выглядеть так:

"""path.Contains("active_c2")"""

Точное имя поля и доступные методы проверяйте в:

pkl/internal/agent.pkl

Шаг 4. Настройте отдельный Sink для каждого канала​

Для каждой интеграции и каждого канала должен быть настроен свой пайплайн. Логика интеграции завязана на отдельную связку:

FeedsDBGenerator -> Sink

Также отдельно настраиваются:

  • итератор;
  • обработчик ошибок;
  • параметры отправки;
  • правила фильтрации.

Шаг 5. Подключите пайплайны в RTIP​

Настройка выполняется в конфигурационных .pkl-файлах без изменения кода агента.

Подключите созданные pipeline-конфигурации в RTIP согласно вашей схеме развёртывания.

Шаг 6. Проверьте работу каналов​

После запуска проверьте:

  • логи агента:
./workdir/logs/agent.log
  • выходные артефакты:
./workdir/artifacts/