presto技术内幕

最新推荐文章于 2025-02-07 19:24:09 发布

原创

最新推荐文章于 2025-02-07 19:24:09 发布 · 置顶 · 3.3k 阅读

1 ·

CC 4.0 BY-SA版权

Presto是一个开源的分布式SQL查询引擎，其内存管理精细，采用内存池来确保query顺利执行。文章详细介绍了Presto的架构，如master-slave模型，以及数据模型，包括三层表结构。此外，还讨论了内存池的必要性和设计，如System、Reserved和General Pool，以防止query饿死。通过理解这些原理，有助于Presto的性能调优和自定义扩展。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

Presto是一个facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点：

清晰的架构，是一个能够独立运行的系统，不依赖于任何其他外部系统。例如调度，presto自身提供了对集群的监控，可以根据监控信息完成调度。
简单的数据结构，列式存储，逻辑行，大部分数据都可以轻易的转化成presto所需要的这种数据结构。
丰富的插件接口，完美对接外部存储系统，或者添加自定义的函数。

本文从外到内，依次来介绍presto。

架构

Presto采用典型的master-slave模型：

coordinator(master)负责meta管理,worker管理，query的解析和调度
worker则负责计算和读写。
discovery server，通常内嵌于coordinator节点中，也可以单独部署，用于节点心跳。在下文中，默认discovery和coordinator共享一台机器。

在worker的配置中，可以选择配置：

discovery的ip:port。
一个http地址，内容是service inventory，包含discovery地址。
一个本地文件地址

{
"environment": "production",
    "services": [
    {   
        "id": "ffffffff-ffff-ffff-ffff-ffffffffffff",
        "ty

最低0.47元/天解锁文章

200万优质内容无限畅学