Skip to content

Инджестор OpenApi

Настройка, предварительные условия и разрешения

Особых прав не нужно. Доступ для инджестора зависит от типа Authentication к OpenApi.

Возможности платформы (Important Capabilities)

Название Описание Поддерживается Настройки
Schema Metadata Вкладка Schema: схема датасета Нет
Descriptions Вкладка Documentation: текстовое описание объекта Да Включено по умолчанию. Можно редактировать через Excel.
Data Lineage Вкладка Lineage Нет
Properties Вкладка Properties: системные поля Да Включено по умолчанию. Настраивается в рецепте с помощью трансформеров.
Dataset Usage & Query History Вкладка Queries: запросы и историческая информация о датасете. Нет
Data Profiling (Профилирование данных) Вкладка Stats: количество строк, столбцов, статистики и графики Нет
DQ Checks Вкладка DQ Checks: проверка качества данных Да Отключено по умолчанию. Настраивается с помощью дополнительного инджестора.
Platform Instance Наличие у объекта связи с платформ инстансом Да Включено по умолчанию. Настраивается в рецепте.
Critical data Чекбокс Critical полей Да Включено по умолчанию. Можно редактировать через Excel.
Ownership Наличие у объекта владельца Да Включено по умолчанию. Можно редактировать через Excel или с помощью трансформеров.
Detect deleted entities Проверка удалены ли данные в источнике. Да Отключено по умолчанию. Настраивается в рецепте, в разделе stateful ingestion.
Status Пометить удаленным Да Включено по умолчанию. Можно редактировать с помощью трансформеров.
Tags Наличие у объекта тега Да Включено по умолчанию. Можно редактировать через Excel и с помощью трансформеров.
Glossary Term Наличие у объекта связи с термином Да Включено по умолчанию. Можно редактировать через Excel или с помощью трансформеров.
Domains (Домены) Наличие у объекта связи с доменом Да Enabled via stateful ingestion. Можно редактировать через Excel или с помощью трансформеров.

Пример рецепта

source:
  type: openapi-dc
  config:
    name: test_endpoint                             # Имя API Revision
    url: https://test_endpoint.com/                 # API URL
    swagger_file: openapi/swagger.json              # URL по которому расположена спецификация
    stateful_ingestion:
      enabled: true                                 # Признак включения режима 'Stateful ingesting' - загружаемые данные имеют приоритет над загруженными ранее. Если в загружаемых отсутствуют эндпоинты/поля - они не будут отображаться в Каталоге

pipeline_name: 'Сюда_подставить_имя_pipeline'       # Наименование 'процесса', в рамках которого загружены метаданные. Заполняется согласно инструкции https://confluence.mts.ru/pages/viewpage.action?pageId=771117872
sink:
  type: catalog-rest
  config:
    server: 'https://demo-gms.datacatalog.mts.ru'   # список серверов GMS можно посмотреть тут https://confluence.mts.ru/pages/viewpage.action?pageId=673956733
    token: '********'

transformers:
  - type: 'add_mts_products'
    config:
      mts_products: ['BI_XXXX','BI_XXXX']           # Список Продуктов из PPInfo, с которыми будут связаны все сущности, создаваемые по результатам инджестинга. Нужно указать код продукта в PPInfo. Например 'BI_1234'