Apache Doris (二十九）：Doris 数据导入(七）Spark Load 2- Doris创建Spark Resource

最新推荐文章于 2023-09-25 00:00:00 发布

IT贫道

最新推荐文章于 2023-09-25 00:00:00 发布

阅读量444

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据OLAP体系技术栈文章标签： doris 实时数仓 olap 数据仓库分布式数据库

本文链接：https://blog.csdn.net/qq_32020645/article/details/131750094

大数据OLAP体系技术栈专栏收录该内容

119 篇文章 ¥29.90 ¥99.00

订阅专栏

本文详细介绍了如何在Apache Doris中创建和管理Spark Resource，包括Spark Standalone和Yarn Cluster模式的配置，并探讨了资源权限的分配。读者将学习到如何设置Spark Load任务所需的资源参数，以及确保ETL工作的顺利进行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 创建Spark Resource

2. 分配资源权限

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

宝子们订阅、点赞、收藏不迷路！抓紧订阅专题！

1. 创建Spark Resource

Spark 作为一种外部计算资源在 Doris 中用来完成ETL工作，因此我们引入 resource management 来管理 Doris 使用的这些外部资源。在Doris中提交Spark Load任务之前需要创建执行ETL任务的Spark Resource ，创建Spark Resource的语法如下：

-- create spark resource
CREATE EXTERNAL RESOURCE resource_name
PROPERTIES
(
type = spark,
spark_conf_key = spark_conf_value,
working_dir = path,
broker = broker_name,
broker.property_key = property_value
)

-

了解本专栏