Spark（十四）Spark Core 调优之Spark内存模型_spark周期性更新模型

文章目录

• • 一、概述
    • 二、堆内和堆外内存规划
    • • 2.1　堆内内存
        • 2.2　堆外内存
        • 2.3　内存管理接口
    • 三、内存空间分配
    • • 3.1　静态内存管理
        • 3.2　统一内存管理
    • 四、存储内存管理
    • • 4.1　RDD 的持久化机制
        • 4.2　RDD 缓存的过程
        • 4.3　淘汰和落盘
    • 五、 执行内存管理
    • • 5.1 多任务间内存分配
        • 5.2　Shuffle 的内存占用

一、概述

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。

在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 JVM 进程，前者为主控进程，负责创建 Spark 上下文，提交 Spark 作业（Job），并将作业转化为计算任务（Task），在各个 Executor 进程间协调任务的调度，后者负责在工作节点上执行具体的计算任务，并将结果返回给 Driver，同时为需要持久化的 RDD 提供存储功能[1]。由于 Driver 的内存管理相对来说较为简单，本文主要对 Executor 的内存管理进行分析，下文中的 Spark 内存均特指 Executor 的内存。

二、堆内和堆外内存规划

作为一个 JVM 进程，Executor 的内存管理建立在 JVM 的内存管理之上，Spark 对 JVM 的堆内（On-heap）空间进行了更为详细的分配，以充分利用内存。同时，Spark 引入了堆外（Off-heap）内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用。

图 1 . 堆内和堆外内存示意图