Подключение источников через интерфейс

MWS Data Cat позволяет настраивать подключение источников для сбора метаданных через пользовательский интерфейс.

Настройки, предварительные условия, разрешения

Для работы с просмотром, добавлением, удалением, изменением источников существуют следующие привилегии:

Привилегии уровня платформы

View All Metadata Ingestion Sources - просмотр всех созданных инжесторов;
Manage Metadata Ingestion - возможность создавать, удалять, редактировать все инджесторы;

Привилегии уровня метаданных

View Metadata Ingestion Source - просмотр только инжесторов, принадлежащих продукту (-ам), в которых пользователь указан как владелец (owner) в любом типе;
Edit Metadata Ingestion Source - добавление и редактирование инжесторов продукта;
Rollback Metadata Ingestion Source - откат (rollback) запуска инджестора;
Delete Metadata Ingestion Source - удаление инджестора;

С полным списком привилегий можно ознакомиться в соответствующих разделах документации:
Привилегии уровня платформы
Привилегии уровня метаданных

Страница Инджесторы (Ingestion) доступна (видима) пользователю при наличии хотя бы одной из перечисленных выше привилений

Просмотр существующих инджесторов

Для просмотра существующих инджесторов, необходимо перейти на страницу Инджесторы (Ingestion) по ссылке в верхнем меню.

Страница содержит следующие элементы:

Список инджесторов

Здесь отображаются инджесторы, существующие в MWS Data Cat. Список может содержать все инджесторы или только те, которые связаны с продуктами, где ваша учетная запись указана в качестве владельца любого типа - в зависимости от привилегий используемой учетной записи.

Информация по каждому инджестору отображается по следующим парамертам:
- Тип - тип технологии источника;
- Имя - наименование инджестора, указанное при его создании;
- Расписание - запланированное расписание запуска инджестора (при наличии);
- Количество запусков - количество запусков инджестора;
- Последний запуск - дата и время последнего запуска инджестора;
- Последний статус - статус последнего запуска инджестора.

Также, при нажатии на "+" слева от наименования инджестора, можно посмотреть детальную информацию по каждому запуску выбранного инджестора.
Здесь представлена информация о:
- дате и времени начала и завершения процесса инджестинга;
- продолжительности каждого запуска;
- статус каждого запуска.

По кнопке "Детали" (Details) можно просмотреть подробную информацию о:
- статусе выполнения отдельного процесса инджестинга;
- логи процесса инджестинга;
- рецепт, с которым был выполнен данный процесс.

Поиск и фильтр по типу инджестора

Над списком инджесторов располагается поисковая строка, с помощью которой можно оставить в списке только инджесторы, наименование которых соответствует введенному запросу.

Фильтр по типу инджестора позволяет оставить в списке только инджесторы определенного типа:
- UI - созданные через пользовательский интерфейс;
- CLI - созданные вне пользовательского интерфейса.

Создание инджесторов

Перед созданием инджестора, вам необходимо сгенерировать Персональный токен доступа (Personal Access Token) - он будет необходим на одном из шагов настройки нового инджестора.

Для создания нового инджестора, необходимо на странице Инджесторы (Ingestion) воспользоваться кнопкой + Создать новый источник.
В открывшемся окне необходимо последовательно пройти несколько шагов, на каждом из которых ввести необходимые данные.

1. Выбор типа

На данном шаге необходимо выбрать тип технологии, используемой подключаемым источником

2. Настройка рецепта

В разделе "Соединение" необходимо ввести учетные данные для подключаемого источника. "Фильтр" - в данном разделе можно настроить, метаданные по каким объектам должны или не должны быть выгружены. "Соединение" - в данном разделе можно более тонко настроить инджестинг, в том числе включить или выключить функцию профилирования.

3. Введение токена

Вставьте в форму токен, сгенерированный вами ранее.

4. Планирование

Настройте расписание загрузки метаданных.

5. Завершение

Заполните следующие поля: Наименование источника - в данном поле укажите наименование инджестора, которое будет отбражаться в интерфейсе;
ID экземпляра платформы - идентификатор Platform instance (источника), который будет создан по результатам работы инджестора и будет содержать в себе все загруженные метаданные;
В разделе Продвинутые настройки заполните:
Оператор - выберите из доступных вариантов k8s оператор, в котором будет располагаться создаваемый инджестор. Важно! - оператор нельзя будет отредактировать после создания инджестора;
Неймспейс - выберите из доступных вариантов k8s неймспейс, в котором будет располагаться создаваемый инджестор;
Продукт - выберите продукт, который будет связан с Platform Instance и со всеми объектами, которые будут создаваться в результате работы инджестора.

Раздел Рецепт YAML предназначен для продвинутых пользователей и дает возможность внести изменения непосредственно в рецепт, с которым будет работать инджестор.

Раздел Секреты

Секрет - в общем случае - любые данные, которые не должны быть доступны широкому кругу лиц: пароль, ключ шифрования, API-токен и т.д. В Каталоге данных в качестве секретов могут храниться учетные данные источников, пароли от учетных записей и другие данные.

Редактирование инджесторов

После создания инджестора, отредактировать его настройки можно воспользовавшись кнопкой Редактировать в строке с нужным инджестором.
При редактировании необходимо перейти к шагу, содержащему настройки, которые необходимо изменить, внести изменения и дойдя до последнего шага настройки, нажать Сохранить

Удаление инджесторов

В случае, когда созданный ранее инджестор более не нужен, его можно удалить, воспользовавшись соответствующей кнопкой в строке с нужным инджестором.

Важно! Удаление инджестора автоматически не приводит к удалению метаданных, которые были загружены с его помощью. Метаданные необходимо удалить отдельно (например, путем удаления нужно Platform instance)

Откат (rollback) запуска инждестора

Если по результатам какого-либо конкретного запуска инджестора были загружены некорректные данные, MWS Data Cat позволяет сделать откат запуска.
В рамках этой операции будут отменены изменения, произошедшие в рамках одного конкретного запуска инджестора. Чтобы сделать откат, необходимо:
- Открыть страницу Инджесторы (Ingestion);
- Найти необходимый инджестор в списке (в том числе с помощью поиска или фильтра по типу инджестора);
- С помощью кнопки "+" слева от наименования инджестора, раскрыть информацию о запусках инджестора;
- Воспользоваться кнопкой Откат в строке с нужным запуском инджестора и подтвердить отмену загрузки.

По результатам отката в строке с откатываемым запуском инджестора изменится статус запуска на Совершен откат.