Сайтdagster.io
КатегорияОркестрация данных
ЛицензияОткрытый исходный код (Apache 2.0)
ТарифыБесплатный открытый исходный код; коммерческое облако с тарифами по мере использования

Обзор

Dagster — это инструмент оркестрации с открытым исходным кодом, который помогает командам создавать, тестировать и мониторить данные как активы с удобными инструментами для разработчиков.

Плюсы

  • Моделирование данных, ориентированное на активы
  • Python-нативные API и тестирование
  • Интерфейс Dagster для отслеживания происхождения данных и запусков
  • Модульные программно-определяемые активы
  • Удобная локальная среда разработки

Минусы

  • Кривая обучения для новых команд
  • Затраты на облако/корпоративные решения для расширенных функций
  • Может быть избыточным для простых конвейеров
  • Ограниченные готовые интеграции с непрофильными данными

Вывод

Dagster отлично подходит для оркестрации данных на основе активов с рабочими процессами, ориентированными на Python, и понятной наблюдаемостью. Он лучше всего подходит для команд данных, которым нужны структура, тестирование и отслеживание происхождения данных, выходящие за рамки простого планирования задач. Основной компромисс — повышенная сложность по сравнению с более легкими инструментами оркестрации.

Хотите повысить видимость вашего инструмента для инженерии данных?

Получите спонсируемое размещение на AI Tools Hub. От $49.

Разместить — $49

Наша сеть

AI Tools Hub входит в сеть из 27 сайтов, охватывающих инструменты разработчика, аналитику, финансы, здоровье, образование и другие сферы.