Skip to content
MWS Data
0.9.3 (2023-09-06)
Initializing search
Gitlab
MWS Data Documentation
Cat
Compass
Test
Shelf
Query
Slon
Bridge
MWS Data
Gitlab
MWS Data Documentation
Cat
Cat
Общая информация
Общая информация
Возможности
Требования к ПО
Документация
Документация
Установка инджесторов
Установка инджесторов
Технологии источников
Технологии источников
Cassandra
Clickhouse
Cocroach
Elasticsearch
Greenplum
Hive
MariaDB
MongoDB
MySQL
OpenAPI
Oracle
Postgres
S3
MSSQL
Superset
StarRocks
Профилирование
Паттерны
Трансформеры
Секреты
Руководство пользователя
Руководство пользователя
Главная страница
Поиск
Фильтры
Типы объектов
Типы объектов
Контейнер
Датасет
Датасет
О датасете
Схема
Data Lineage
Запросы
Статистика
Проверки качества данных
История изменения схемы
Массовое редактирование
Статус синхронизации
Права пользователя в источнике
Домен
Продукт
Глоссарий
Тег
Кнопки быстрого доступа
Связывание с доменом и термином
Владельцы
Профиль пользователя
Профиль пользователя
Профиль
Подписки
Группы
Представления
Аналитический дашборд
URN
Руководство администратора
Руководство администратора
Политики доступа
Роли
Привилегии уровня метаданных
Привилегии уровня платформы
Тип владельца
Персональный токен доступа
Закрепленные сообщения
GraphiQL
Релизы
F.A.Q
Compass
Compass
О продукте
Документация
Test
Test
Кейсы применения
DQ Neo
DQ Neo
Начало работы
Руководство пользователя
Руководство пользователя
1. Основные термины и определения
2. Работа с репозиторием проверок в git
3. Ролевая модель
4. Конфигурация метрик и сравнений
4. Конфигурация метрик и сравнений
Базовые настройки
Базовые настройки
Структура yaml-конфига
Источники данных (SOURCES)
Объекты проверок (CHECK_OBJECTS)
Метрики (METRICS)
Сравнения (COMPARES)
Группы (GROUPS)
Алерты (ALERTS)
Параметры запуска по расписанию
Продвинутые возможности
Продвинутые возможности
Использование параметров для динамической фильтрации данных runtime_params в конфигах
Механизм работы prev_metric (Конвейер метрик)
Метрики над результатами из базы DQ (метрики второго порядка)
Использование Jinja-шаблонов для создания проверок над однотипными объектами
Использование udf в spark сессии DQ
Перекрестные проверки между источниками
Сэмплы ошибочных записей
5. Интеграция в ETL-процесс
5. Интеграция в ETL-процесс
ETL процессы на Airflow (DQ Airflow Operators)
Параметры запуска по расписанию
DQ Client
6. Дашборды с результатами DQ
7. Алерты
7. Алерты
Интеграция с JIRA
Интеграция с Prometheus
Группировка (дедубликация) алертов
8. Удаление сущностей
Руководство администратора
Руководство администратора
Установка
Установка
Установка worker
Установка worker
Запуск DQ Worker в Docker
Запуск DQ Worker в k8s
Установка sampler worker
Установка sampler worker
Установка dq-sampler-worker (docker-compose)
Установка dq-sampler-worker-k8s
Системные требования
Установка в Docker
Подключение источников данных
Импорт дашбордов DQ в Grafana
Установка в Kubernetes
Продвинутые инструкции по настройке
Продвинутые инструкции по настройке
Описание переменных
Интеграции
Интеграции
Настройка интеграции с LDAP
Настройка интеграции с Vault
Интеграция dq-core c ELK/Opensearch
Интеграция c Prometheus
Интеграция с MWS Data Cat
Naming convention
Cookbook
Cookbook
Запуск проверок за диапазон дат
Базовые проверки в Postgres
Стандартные проверки качества данных - Актуальность, Уникальность, Полнота
Сравнение 2х метрик из разных источников данных
Сравнение метрики со средним значением этой же метрики за месяц
Метрика на кол-во значений не прошедших проверку
Проверки на MongoDB
Troubleshooting guide (DQ)
Troubleshooting guide (DQ)
Типичные ошибки в работе проверок
Массовый перезапуск проверок
F.A.Q
Rest API
Rest API
API v2
API v4
Shelf
Shelf
Quick start
FAQ
Query
Query
Overview
Slon
Slon
Архитектура
Требования
Работа с артефактами
Работа с секретами
Подготовка базы данных
Ansible inventory
Установка
Руководство администратора
Руководство администратора
Резервное копирование
Сетевые порты
Версии компонентов
Bridge
Bridge
onETL
onETL
Описание продукта
Документация
Документация
Концепции
Логирование
Плагины
Участие в разработке
Безопасность
Быстрый старт
Релизы
Релизы
latest
earliest
Table of contents
Bug Fixes
0.9.3 (2023-09-06)
Bug Fixes
Fix documentation build