Big Data meetup

134 фото

Время пришло говорить про большие данные

Дата и время

21 ноября 2019, 19:00 (МСК)

Место проведения

Офлайн, Ростов-на-Дону, Театральный проспект, дом 85, Коворкинг «РУБИН»

Доклады

Greenplum vs Clickhouse: Fight! Или нет?

Несколько лет назад, практически одновременно, на пространстве open-source проектов появились сразу две распределённые СУБД.
Обе колоночные, обе аналитические, обе очень крутые. Мог ли в такой ситуации не возникнуть многолетний холивар?
В докладе мы сначала подольём масла в огонь войны, а затем сами же его потушим:
• Особенности Greenplum
• Особенности Clickhouse
• Сравнение производительности и функционала
• Совместное использование обеих технологий в стеке Arenadata

Дмитрий Павлов

Arenadata.io

Apache NiFi - загружаем данные в GreenPlum и не убиваем его

О чем поговорим:
∙ О разработке универсального процесса загрузки, для разных источников
∙ Об использовании AVRO схем, в качестве основы для формирования таблиц
∙ О способах загрузки данных в GreenPlum в Apache NiFi
∙ О преимуществах и недостатках реализации собственного процессора перед процессом загрузки данных.

Бронислав Житников

Tinkoff

Скачать интернет. Из жизни самого большого Хадупа в России

Сказ о том, как работает Центральное DWH Mail.Ru Group:
Какие задачи оно решает, а также причем тут Ситимобил и ДеливериКлаб.
Наш стек технологий включает, но не ограничивается:
Database Systems: Exasol, Vertica, MySQL, Tarantool, ClickHouse
Hadoop: Hive, Spark, MapReduce, Kafka
DataFlow / ETL: Luigi, Airflow, Jenkins
Business Inteligence: Tableau, Redash, SuperSet
Continuous Integration: Jenkins, GitLab CI

Екатерина Колпакова

Mail.Ru