Подключение источников данных

Пререквизиты

Проверить соединение между подключаемым источником/хранилищем и хостом, на котором запущен DQ Worker.
Обязательно должен быть открыт сетевой доступ с IP адреса воркера до источника.

Подключение источника данных к воркеру

Для подключения источника данных к DQ необходимо:

Привязать источник данных к DQ очереди воркера через запрос к http://api:8000/api/v4/workers.

Где api:8000 — это хост/порт на котором развернут API.

Для этого открываем Swagger, переходим на POST /v4/workers и в поле data вставляем текст запроса.

Структура запроса:

worker_to_hostname:
  - worker: <worker queue name>
    hostname: <source hostname>

Где:

<worker queue name> — название очереди RMQ, к которой подключаем источник
<source hostname> — доменное имя или IP адрес подключаемого источника

Для отправки запроса нужно указать свои логин и пароль в X-Username/X-Password или токен для аутентификации в Authorization

Структура запроса:

worker_to_hostname:
  - worker: <worker queue name>
    hostname: <source hostname>

Где:

<worker queue name> — название очереди RMQ, к которой подключаем источник
<source hostname> — доменное имя или IP адрес подключаемого источника

Подключение источника данных при работе более 1 воркера

Каждый воркер имеет свои очереди.

При запуске воркера указываются переменные

WORKER - название воркера

CELERY_QUEUES - названия очередей работающих на воркере

Также список воркеров и названия очередей можно посмотреть во Flower UI.

В запросе к api/v4/workers указывается значение из CELERY_QUEUES