Yandex.Cloud: Обработка данных на Apache Airflow в Yandex Cloud - видео HD
Для существования нашего сайта необходим показ рекламы. Просим отнестись с пониманием и добавить сайт в список исключений вашей программы для блокировки рекламы (AdBlock и другие).
Yandex.Cloud 432 ролика
Обработка данных на Apache Airflow в Yandex Cloud - видео.
Для анализа данных в облаке не достаточно СУБД и средств визуализации — нужен ещё и понятный инструмент, который автоматизирует сбор, подготовку и обработку данных. На вебинаре мы расскали о таком сервисе — Apache Airflow.
Эксперты Yandex Cloud обсудили:
— как спроектировать инфраструктуру для Apache Airflow;
— как собирать данные в облако для анализа и визуализации на основе Python и Spark;
— как автоматизировать обогащение данных и подготовку витрин в аналитическом хранилище на основе PostgreSQL, Greenplum и Clickhouse;
— как обеспечивать отказоустойчивость и непрерывность конвейеров данных.
Вебинар был интересен и тем, кто только собирается попробовать аналитику данных в облаке, и тем, кто строит такую платформу или хочет масштабировать уже работающую среду. CDO и CTO смогли разобраться, чем инструмент будет полезен бизнесу, а дата-инженеры — получили практические рекомендации для его использования.
Полезные ссылки:
Репозиторий с примерами из вебинара
www.clck.ru/sKSn4
Образ Apache Airflowв Marketplace
www.clck.ru/sKSmC
Провайдеры Yandex Cloud для Apache Airflow
www.clck.ru/sKSmo
Запись митапаDataOps Community Meetup
www.clck.ru/sGtpE
Запись митапа Greenplum Community Meetup
www.clck.ru/sGtpd
Другие вебинары Yandex Cloud Data Platform
www.clck.ru/sKSYA
Спросить в комьюнити — чат Yandex Cloud Data Platform
www.clck.ru/arTSm
Следить за новостями — чат Yandex Cloud Data Platform
www.clck.ru/sKS2Q
