Как Apache Nessie меняет работу с Data Lakehouse

Логика, которая хорошо отработала на Stage, может не сработать на боевых данных. На Stage используют только срез реальной информации или синтетические записи, поэтому тестовая среда не учитывает весь объем, распределение и граничные случаи продакшена.

В разработке эту проблему давно решает Git — ветки, коммиты, ревью и откат позволяют менять код, не затрагивая основную версию. На вебинаре эксперты покажут, как Apache Nessie переносит этот подход на данные: разберут работу с отдельными ветками, проверку изменений и публикацию в продакшен только проверенного результата.

Что узнают участники:

• что такое транзакционный каталог таблиц и как Apache Nessie добавляет версионирование поверх Apache Iceberg — ветки, теги, история коммитов и Time Travel;
• как устроен паттерн Write-Audit-Publish: ETL пишет в изолированную ветку, DQ-тесты работают как гейт, а публикация в продакшен происходит после их прохождения;
• как проверять гипотезы и делать A/B-тестирование трансформаций без копирования данных и риска для продакшена;
• как организовать параллельную работу команд в отдельных ветках и разрешать конфликты при слиянии.

На практической части:

1. создание ветки Development от продакшена, изменение данныз и показ, что продакшен при этом не затронут, а данные в S3 не копируются;
2. запуск ETL с намеренно некорректными данными и показ, как DQ-проверки останавливают публикацию, оставляя данные на ветке для разбора;
3. моделирование конфликта слияния: изменение витрины в ветке разработки, а затем внесение изменения в ту же таблицу в продакшене — показ, как Apache Nessie обнаруживает конфликт, и разбор вариантов его разрешения;
4. эксперты заглянут в историю изменений витрины: прочитают данные по состоянию на любой прошлый коммит, сравнят их с текущими и вернут продакшен к сохраненной точке одной командой.

Вебинар будет полезен data-инженерам и специалистам по данным, аналитикам данных, DevOps и SRE-инженерам, а также руководителям data-отделов и ИТ-директорам, которые хотят оптимизировать затраты и ускорить time-to-insight.

Подробности и регистрация