四、RDD弹性分布式数据集介绍

发表于2021-03-28更新于2022-06-05字数统计2k阅读时长13分

Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：

  • RDD : 弹性分布式数据集

  • 累加器：分布式共享只写变量

  • 广播变量：分布式共享只读变量

接下来我们一起看看这三大数据结构是如何在数据处理中使用的。

阅读全文

三、Spark运行架构

发表于2021-03-28更新于2022-06-05字数统计2.2k阅读时长12分

1. 运行架构

Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务。

阅读全文

二、Spark运行环境

发表于2021-03-26更新于2022-06-05字数统计4k阅读时长28分

Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下 Spark 的运行。

阅读全文