Skip to content

MWS Data Bridge

Наш продукт — это инструменты и сервисы для реализации пакетных процессов выгрузки, загрузки и трансформации данных (ETL\ELT).

Инструменты, которые мы предоставляем

  • onETL PyPI - Latest Release

    Универсальная Python библиотека для ETL/ELT, базируется на Apache Spark

    документация

    примеры использования

  • Data.Horizon PyPI - Latest Release

    Сервис хранения меток High Water Mark (HWM)

    Reference

  • Data.Rentgen PyPI - Latest Release

    Инструмент для сбора и отображения Data Motion Lineage

    Reference

  • Data.SyncMaster PyPI - Latest Release

    No-code инструмент для переноса данных

    Reference

  • spark-dialect-extension Maven Central Version

    Java-библиотека для исправления проблем совместимости типов между реляционными СУБД и Spark

    Reference

  • D-van v.0.3.1

    Low-code Python библиотека для организации батчевых загрузок из реляционных СУБД в Hadoop

    Reference

  • MTSpark v.4.4.3

    Python-библиотека для упрощения работы со Spark в окружении MTS Big Data

    Reference

  • EverProject v.7

    Готовая структура репозитория + шаблон CI/CD для развертывания ETL кода в Apache Airflow

    Reference

  • Partcour v.1.1.2

    Python-библиотека для работы с партициями в Hive metastore

    Reference

  • hydra-hvac-plugin v.0.0.6

    Плагин для системы конфигурации Hydra, позволяющий использовать подстановку секретов из Hashicorp Vault

    Reference

  • Lavash v.0.0.1

    Набор переиспользуемых трансформаций для Apache Spark

    Reference

  • Replick v0.4.1

    Cервис для быстрой репликации данных между Hadoop кластерами

    Reference