Joom: BI platforma pro prodejce
Komplexní platforma business intelligence pro prodejce na marketplace: analýza dat a interaktivní reporty — migrace z PostgreSQL na ClickHouse s CDC replikací bez výpadku, optimalizace ETL a reporty s nízkým zpožděním aktualizace do 30 minut.
- Klient
- Joom
- Tým na projektu
- 2 lidé
- Doba na projektu
- 5 měsíců
- Člověkohodiny
- 1 490 h
Technologie
- dbt
- Apache Airflow
- PostgreSQL
- ClickHouse
- GitLab CI/CD
- SQL
- Python
- Grafana
Kontext
Komplexní platforma business intelligence pro analýzu dat z různých marketplace a stavbu interaktivních reportů.
Součástí byla migrace z Postgresu na ClickHouse se současnou optimalizací ETL procesů.
Role a tým na projektu
Migraci i optimalizaci reportů jsme drželi od návrhu po provoz.
Tým Firedev: datový inženýr a analytický inženýr.
Co jsme udělali
Optimalizace ETL a orchestrace
- Optimalizace dbt modelů — přibyly reporty s nízkým zpožděním dat do 30 minut pro průběžné sledování ukazatelů na marketplace.
- Nastavení CDC replikace z PostgreSQL do ClickHouse — průběžná synchronizace dat bez výpadku v rámci migrace.
- Návrh a zavedení univerzálních entit v dbt modelech pro sjednocení dat z různých marketplace — rychlejší vývoj nových reportů a snazší připojení dalších zdrojů.
Migrace BI a úspora nákladů
- Migrace klíčových reportů o objednávkách do Grafany — nižší náklady na licence při zachování interaktivity dashboardů.
Tým na projektu
1 datový inženýr1 analytický inženýr
Řešíte něco podobného?
Popište zadání — ozveme se s návrhem řešení, termíny a odhadem.