MWS Data

2. Работа с репозиторием проверок в git

Initializing search

MWS Data Documentation
Cat
Compass
Test
Shelf
Query
Slon
Bridge

MWS Data

MWS Data Documentation
Cat
Cat
- Общая информация
  Общая информация
  - Возможности
  - Требования к ПО
- Документация
  Документация
  - Установка инджесторов
    Установка инджесторов
    
    Технологии источников
    Технологии источников
    
    Cassandra
    
    Clickhouse
    
    Cocroach
    
    Elasticsearch
    
    Greenplum
    
    Hive
    
    MariaDB
    
    MongoDB
    
    MySQL
    
    OpenAPI
    
    Oracle
    
    Postgres
    
    S3
    
    MSSQL
    
    Superset
    
    StarRocks
    
    Профилирование
    
    Паттерны
    
    Трансформеры
    
    Секреты
  - Руководство пользователя
    Руководство пользователя
    
    Главная страница
    
    Поиск
    
    Фильтры
    
    Типы объектов
    Типы объектов
    
    Контейнер
    
    Датасет
    Датасет
    
    О датасете
    
    Схема
    
    Data Lineage
    
    Запросы
    
    Статистика
    
    Проверки качества данных
    
    История изменения схемы
    
    Массовое редактирование
    
    Статус синхронизации
    
    Права пользователя в источнике
    
    Домен
    
    Продукт
    
    Глоссарий
    
    Тег
    
    Кнопки быстрого доступа
    
    Связывание с доменом и термином
    
    Владельцы
    
    Профиль пользователя
    Профиль пользователя
    
    Профиль
    
    Подписки
    
    Группы
    
    Представления
    
    Аналитический дашборд
    
    URN
  - Руководство администратора
    Руководство администратора
    
    Политики доступа
    
    Роли
    
    Привилегии уровня метаданных
    
    Привилегии уровня платформы
    
    Тип владельца
    
    Персональный токен доступа
    
    Закрепленные сообщения
    
    GraphiQL
- Релизы
- F.A.Q
Compass
Compass
- О продукте
- Документация
Test
Test
- Кейсы применения
- DQ Neo
  DQ Neo
  - Начало работы
  - Руководство пользователя
    Руководство пользователя
    
    1. Основные термины и определения
    
    2. Работа с репозиторием проверок в git
    
    3. Ролевая модель
    
    4. Конфигурация метрик и сравнений
    4. Конфигурация метрик и сравнений
    
    Базовые настройки
    Базовые настройки
    
    Структура yaml-конфига
    
    Источники данных (SOURCES)
    
    Объекты проверок (CHECK_OBJECTS)
    
    Метрики (METRICS)
    
    Сравнения (COMPARES)
    
    Группы (GROUPS)
    
    Алерты (ALERTS)
    
    Параметры запуска по расписанию
    
    Продвинутые возможности
    Продвинутые возможности
    
    Использование параметров для динамической фильтрации данных runtime_params в конфигах
    
    Механизм работы prev_metric (Конвейер метрик)
    
    Метрики над результатами из базы DQ (метрики второго порядка)
    
    Использование Jinja-шаблонов для создания проверок над однотипными объектами
    
    Использование udf в spark сессии DQ
    
    Перекрестные проверки между источниками
    
    Сэмплы ошибочных записей
    
    5. Интеграция в ETL-процесс
    5. Интеграция в ETL-процесс
    
    ETL процессы на Airflow (DQ Airflow Operators)
    
    Параметры запуска по расписанию
    
    DQ Client
    
    6. Дашборды с результатами DQ
    
    7. Алерты
    7. Алерты
    
    Интеграция с JIRA
    
    Интеграция с Prometheus
    
    Группировка (дедубликация) алертов
    
    8. Удаление сущностей
  - Руководство администратора
    Руководство администратора
    
    Установка
    Установка
    
    Установка worker
    Установка worker
    
    Запуск DQ Worker в Docker
    
    Запуск DQ Worker в k8s
    
    Установка sampler worker
    Установка sampler worker
    
    Установка dq-sampler-worker (docker-compose)
    
    Установка dq-sampler-worker-k8s
    
    Системные требования
    
    Установка в Docker
    
    Подключение источников данных
    
    Импорт дашбордов DQ в Grafana
    
    Установка в Kubernetes
    
    Продвинутые инструкции по настройке
    Продвинутые инструкции по настройке
    
    Описание переменных
    
    Интеграции
    Интеграции
    
    Настройка интеграции с LDAP
    
    Настройка интеграции с Vault
    
    Интеграция dq-core c ELK/Opensearch
    
    Интеграция c Prometheus
    
    Интеграция с MWS Data Cat
  - Naming convention
  - Cookbook
    Cookbook
    
    Запуск проверок за диапазон дат
    
    Базовые проверки в Postgres
    
    Стандартные проверки качества данных - Актуальность, Уникальность, Полнота
    
    Сравнение 2х метрик из разных источников данных
    
    Сравнение метрики со средним значением этой же метрики за месяц
    
    Метрика на кол-во значений не прошедших проверку
    
    Проверки на MongoDB
  - Troubleshooting guide (DQ)
    Troubleshooting guide (DQ)
    
    Типичные ошибки в работе проверок
    
    Массовый перезапуск проверок
  - F.A.Q
  - Rest API
    Rest API
    
    API v2
    
    API v4
Shelf
Shelf
- Quick start
- FAQ
Query
Query
- Overview
Slon
Slon
- Архитектура
- Требования
- Работа с артефактами
- Работа с секретами
- Подготовка базы данных
- Ansible inventory
- Установка
- Руководство администратора
  Руководство администратора
  - Резервное копирование
  - Сетевые порты
- Версии компонентов
Bridge
Bridge
- onETL
  onETL
  - Описание продукта
  - Документация
    Документация
    
    Концепции
    
    Логирование
    
    Плагины
    
    Участие в разработке
    
    Безопасность
    
    Быстрый старт
  - Релизы
    
    Релизы
    
    latest
    
    earliest

2. Работа с репозиторием проверок в git

Made with Material for MkDocs