Skip to content

Инджестинг ФМД из файла CSV

Данный тип подключения источника предназначен ТОЛЬКО для случаев, когда инджестор не может получить доступ к СУБД напрямую (например, когда источник находится в закрытом контуре).

** Важно: файл CSV должен содержать информацию об объектах СУБД, которые реально существуют в источнике**.

Формат конфигурации для инджестора

source:
  type: csv-dc
  config:
    db_type: "postgres"  # возможные типы: oracle, mysql, postgres, mssql, hive, greenplum
    platform_instance: "%инстанс%"
    filename: "%путь_до_файла%"

sink:
  type: datahub-rest
  config:
    server: 'https://gms.datacatalog.ru'  
    token: '********'
transformers:
  - type: 'add_digital_products'
    config:

      digital_products: ['PRODUCT_ID1','PRODUCT_ID2']    # Список продуктов из мастер-системы, с которыми будут связаны все объекты, создаваемые по результатам инджестинга.

Состав полей для CSV

  • имя БД
  • описание БД (опционально)
  • имя схемы
  • описание схемы (опционально)
  • имя таблицы
  • является ли view (0/1)
  • view sql (опционально)
  • описание таблицы (опционально)
  • имя колонки
  • тип колонки
  • является ли primary key (0/1)
  • nullable (0/1)
  • critical (0/1)
  • foreign key (0/1)
  • FK на таблицу (обязательно если FK, формат - имя_схемы.имя_таблицы, для MySQL - имя_таблицы)
  • FK на колонку (обязательно если FK)
  • описание колонки (опционально)

При этом: - разделитель - запятая - без заголовков - пустых строк в файле быть не должно

Пример файла CSV

Файл с данными

test_db,Test DB Description,test_schema,Test Schema Description,test_table1,0,,Test table Description,id,int,1,0,0,0,,,Primary Key
test_db,Test DB Description,test_schema,Test Schema Description,test_table1,0,,Test table Description,desc,text,0,1,0,0,,,Column2
test_db,Test DB Description,test_schema,Test Schema Description,test_table2,0,,Another Test table,id,int,1,0,0,0,,,Another Primary Key
test_db,Test DB Description,test_schema,Test Schema Description,test_table2,0,,Another Test table,to_table_1,int,0,1,0,1,test_schema.test_table1,id,Foreign Key
test_db,Test DB Description,test_schema,Test Schema Description,test_table3,1,"Select id, desc from some_table;",Test View,id,int,1,0,0,0,,,View Column 1
test_db,Test DB Description,test_schema,Test Schema Description,test_table3,1,"Select id, desc from some_table;",Test View,desc,varchar,0,0,0,0,,,View Column 2