Doris实战——拈花云科的数据中台实践

目录

前言

一、业务背景

二、数据中台1.0—Lambda

三、新架构的设计目标

四、数据中台2.0—Apache Doris

4.1 新架构数据流转

4.2 新架构收益

五、新架构的落地实践

5.1 模型选择

5.1.1 Unique模型

5.1.2 Aggregate模型

5.2 资源管理

5.3  批量建表

5.4 计算实现

5.4.1 实时计算

5.4.2 准实时计算 

通过 Java UDF 生成增量/全量数据

基于 Doris的大表优化

Doris Borker的协同计算

联邦查询在数据分析场景下的尝试

六、运维保障

6.1 守护进程

6.2 Grafana 监控报警

七、总结收益

八、未来规划

  原文大佬的这篇Doris数仓建设案例有借鉴意义，这里摘抄下来用作学习和知识沉淀。如有侵权请告知~

前言

     拈花云科NearFar X Lab 团队调研并引进 Doris作为新架构下的数据仓库选型方案。下文主要介绍了拈花云科数据中台架构从 1.0 到 2.0 的演变过程，以及Doris在交付型项目和SaaS产品中的应用实践。

一、业务背景

   拈花云科的服务对象主要是国内各个景区、景点，业务范围涵盖文旅行业的多个板块，如票务、交通、零售、住宿、餐饮、影院、KTV、租赁等。多业务线下用户对于数据使用的时效性需求差异较大，需要能够提供实时、准实时、T+1的业务支撑能力。同时由于大部分景区为国有化的特点，也需要具备能够提供私有化交付部署及SaaS化数据中台产品解决方案的双重服务支撑能力。

二、数据中台1.0—