Skip to content

Часто задаваемые вопросы (FAQ)

1. Что такое URN?

URN в Каталоге данных, уникальный идентификатор объектов в Каталоге данных, подробнее узнать у назначении и применении можно на странице URN.

2. Кнопка создания токенов неактивна, почему я не могу на нее нажать?

Это означает, что пользователь, который в данный момент вошел в Каталог данных, имеет недостаточный доступ для генерации токенов. Попросите администратора Каталога данных предоставить вам привилегию Generate Personal Access Tokens или All Access Tokens.

3. Почему я не могу удалить и переместить термин из черновика в другую папку?

Чтобы удалять и перемещать термины необходимо обладать привилегией для изменения иерархической структуры терминов: Manage All Glossary Children или Manage Direct Glossary Children.

4. Почему кладка View definition для представления (View) не активна?

На момент текущей технической реализации инджестор для платформы Clickhouse не умеет извлекать View definition для представления (View) из метаданных. Вкладка будет неактивна в интерфейсе Каталога данных.

5. Как изменить расписание запуска инджестора?

Расписание запусков инджестора настраивается в рецепте инджестора. Для изменения расписания запуска, необходимо отредактировать строку schedule: "", добавив в нее значение согласно синтаксису crontab. Для понимания работы расписаний в crontab, можно воспользоваться данным интерфейсом. Ниже приведены несколько примеров расписаний:

  • Раз в день, в 00:00
    schedule: "0 0 * * *"

  • Раз в неделю, в понедельник в 00:00
    schedule: "0 0 * * 1"

  • Раз в месяц, первого числа в 00:00
    schedule: "0 0 1 * *"

6. Почему по одному из источников по некоторым коллекциям атрибуты не подтягиваются? Например, пустые коллекции. На самом деле атрибуты у коллекции есть, но в Каталоге их нет.

В БД существуют коллекции для платформы MongoDB, которые на начальных этапах могут быть пустыми и со временем начинают заполняться данными. Каталог отображает пустые коллекции, если сам объект есть, он ее создает и не важно, есть ли что-то внутри нее (например, пустые схемы, пустые таблицы). Такое поведение корректное.

7. Содержит ли Каталог данных сами данные из источников?

Нет, не содержит. В Каталоге данных содержатся только метаданные.

8. Как происходит проверка на дублирование сущностей?

Бизнес-сущности (Глоссарий). На уровне Каталога данных, как инструмента, валидация не производится. Исключение дублирования осуществляется на уровне методологии, за исключением случаев, когда в определенной группе глоссария создается термин с наименованием, которое уже существует в этой группе. Физические объекты данных (ФМД). Дублирование источников данных исключается путем применения наименования источника в качестве его идентификатора.

9. Если происходит обновление версии СУБД, приводит ли это к необходимости переустановки инджестора?

Обновления версий, затрагивающие структуру хранения метаданных бывают достаточно редко. Если такое происходит, руками делать ничего не нужно. Инджестор обновится в репозитории и будет применен при следующем плановом запуске.

10. Есть ли API для получения данных из Каталога?

Сейчас в планах разработка REST API, который будет опубликован на Интеграционной платформе.

11. Как происходит фильтрация объектов, которые будут добавлены в Каталог данных из источника?

При настройке инджестора можно разрешить или запретить отдельные элементы в структуре данных. Ограничения можно задавать достаточно гибко, в частности, с помощью создания списков или использования регулярных выражений. Подробная инструкция о настройке инджесторов.

12. Есть ли правила оформления рецепта для инджестинга?

При формировании рецепта важно соблюдать посимвольное совпадение Platform_instance и Pipeline_name, чтобы данные всегда писались в один и тот же каталог и не затрагивали, не перезаписывали другие данные. Также в рецепте в явном виде можно указать данные из каких схема или таблица должны попадать в Каталог. Подробная инструкция о настройке инджесторов.

13. Есть ли требования к серверам, на которых разворачивается инджестор?

Требования к системным компонентам - docker, docker compose. К аппаратной части (железу) требований нет.

14. Какие типы источников можно подключить к Каталогу данных?

Все доступные источники перечислены на странице рецептов различных технологий, с примерами конфигурации рецептов для них.