九、Yarn资源调度器

Yarn资源调度器（重点）

文章目录

• 1. Yarn 基础架构
• 2. Yarn工作机制
• 3. 作业提交全过程
• 4. Yarn 调度器和调度算法
  • 4.1 先进先出调度器（FIFO）
  • 4.2 容量调度器（Capacity Scheduler）
  • 4.3 公平调度器（Fair Scheduler）
• 5. Yarn 常用命令
  • 5.1 yarn application 查看任务
  • 5.2 yarn logs查看日志
  • 5.3 yarn applicationattempt 查看尝试运行的任务
  • 5.4 yarn container 查看容器
  • 5.5 yarn node 查看节点状态
  • 5.6 yarn rmadmin 更新配置
  • 5.7 yarn queue 查看队列
• 6. Yarn 生产环境核心参数

思考：
（1）如何管理集群资源？
（2）如何给任务合理分配资源？

Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。

1. Yarn 基础架构

YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。

ResourceManager（RM）主要作用如下

• 处理客户端请求
• 监控NodeManager运行情况
• 启动或监控ApplicationMaster
• 整个集群资源的分配与调度

NodeManager（NM）主要作用如下

• 管理单个节点上的资源
• 处理来自ResourceManager的命令
• 处理来自ApplicationMaster的命令

ApplicationMaster（AM）作用如下

• 为应用程序申请资源并分配给内部的任务
• 任务的监控与容错

Container的作用

• Container 是YARN 中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

2. Yarn工作机制

（1）MR 程序提交到客户端所在的节点。
（2）YarnRunner 向 ResourceManager 申请一个 Application。
（3）RM 将该应用程序的资源路径返回给 YarnRunner。
（4）该程序将运行所需资源提交到 HDFS 上。
（5）程序资源提交完毕后，申请运行 mrAppMaster。
（6）RM 将用户的请求初始化成一个 Task。
（7）其中一个 NodeManager 领取到 Task 任务。
（8）该 NodeManager 创建容器 Container，并产生 MRAppmaster。
（9）Container 从 HDFS 上拷贝资源到本地。
（10）MRAppmaster 向 RM 申请运行 MapTask 资源。
（11）RM 将运行 MapTask 任务分配给另外两个 NodeManager， 另两个 NodeManager 分别领取任务并创建容器。
（12）MR 向两个接收到任务的 NodeManager 发送程序启动脚本， 这两个 NodeManager分别启动 MapTask，MapTask 对数据分区排序。
（13）MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器， 运行 ReduceTask。
（14）ReduceTask 向 MapTask 获取相应分区的数据。
（15）程序运行完毕后，MR 会向 RM 申请注销自己。

3. 作业提交全过程

（一）HDFS、YARN、MapReduce三者关系

（二）作业提交过程之YARN

（三）作业提交过程之HDFS & MapReduce

作业提交全过程详解
（1）作业提交
第 1 步：Client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。
第 2 步：Client 向 RM 申请一个作业 id。
第 3 步：RM 给 Client 返回该 job 资源的提交路径和作业 id。
第 4 步：Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。
第 5 步：Client 提交完资源后，向 RM 申请运行 MrAppMaster。
（2）作业初始化
第 6 步：当 RM 收到 Client 的请求后，将该 job 添加到容量调度器中。
第 7 步：某一个空闲的 NM 领取到该 Job。
第 8 步：该 NM 创建 Container，并产生 MRAppmaster。
第 9 步：下载 Client 提交的资源到本地。
（3）任务分配
第 10 步：MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。
第 11 步： RM 将运行 MapTask 任务分配给另外两个 NodeManager， 另两个 NodeManager
分别领取任务并创建容器。
（4）任务运行
第 12 步： MR 向两个接收到任务的 NodeManager 发送程序启动脚本，这两个NodeManager 分别启动 MapTask，MapTask 对数据分区排序。
第 13 步： MrAppMaster 等待所有 MapTask 运行完毕后，向 RM 申请容器， 运行 ReduceTask。
第 14 步：ReduceTask 向 MapTask 获取相应分区的数据。
第 15 步：程序运行完毕后，MR 会向 RM 申请注销自己。
（5）进度和状态更新
YARN 中的任务将其进度和状态(包括 counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。
（6）作业完成
除了向应用管理器请求作业进度外, 客户端每 5 秒都会通过调用 waitForCompletion()来检查作业是否完成。 时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。 作业完成之后, 应用管理器和 Container 会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

4. Yarn 调度器和调度算法

目前，Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。

CDH 框架默认调度器是 Fair Scheduler。

具体设置详见：yarn-default.xml 文件

<property>
  <description>The class to use as the resource scheduler.</description>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

4.1 先进先出调度器（FIFO）

FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

优点：简单易懂；
缺点：不支持多队列，生产环境很少使用；

4.2 容量调度器（Capacity Scheduler）

Capacity Scheduler 是 Yahoo 开发的多用户调度器。

（一）容量调度器特点

1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
4、多租户：
支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

（二）容量调度器资源分配算法

4.3 公平调度器（Fair Scheduler）

Fair Schedulere 是 Facebook 开发的多用户调度器。

（一）公平调度器特点

（1）与容量调度器相同点
① 多队列：支持多队列多作业
② 容量保证：管理员可为每个队列设置资源最低保证和资源使用上线（雨露均沾，至少能有让每个队列运行起来的资源）
③ 灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
④ 多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。

（2）与容量调度器不同点
① 核心调度策略不同

• 容量调度器：优先选择资源利用率低的队列
• 公平调度器：优先选择对资源的缺额比例大的

② 每个队列可以单独设置资源分配方式

• 容量调度器：FIFO、 DRF
• 公平调度器：FIFO、FAIR、DRF

（二）公平调度器——缺额

• 公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”
• 调度器会优先为缺额大的作业分配资源

（三）公平调度器队列资源分配方式
（1）FIFO策略
公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。
（2）Fair策略
Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。

具体资源分配流程和容量调度器一致：

• 选择队列
• 选择作业
• 选择容器

以上三步，每一步都是按照公平策略分配资源

四个指标：

优先执行的顺序：

（3）DRF策略
DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。

那么在YARN中，我们用DRF来决定如何调度：
假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制。

（四）公平调度器资源分配案例

（1）队列资源分配

需求：集群总资源100，有三个队列，对资源的需求分别是：

queueA -> 20， queueB ->50， queueC -> 30

（2）作业资源分配

① 不加权（关注点是Job的个数）：

② 加权（关注点是Job的权重）：

5. Yarn 常用命令

Yarn 状态的查询，除了可以在http://wxler2:8088/ 页面查看外，还可以通过命令操作。常见的命令操作如下所示：

需求：执行 WordCount 案例，并用 Yarn 命令查看任务运行情况。

### 在这之前先启动Hadoop集群
[wxler@wxler1 hadoop-3.1.3]$ hadoop  jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar  wordcount /input /output

5.1 yarn application 查看任务

（1）列出所有 Application：

[wxler@wxler1 ~]$ yarn application -list
2021-04-07 10:44:01,948 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Total number of applications (application-types: [], states: [SUBMITTED, ACCEPTED, RUNNING] and tags: []):1
                Application-Id	    Application-Name	    Application-Type         User	     Queue	             State	       Final-State            Progress	                       Tracking-URL
application_1617763295598_0001	          word count	           MAPREDUCE        wxler	   default	          ACCEPTED	         UNDEFINED                  0%	                                N/A

（2）根据 Application 状态过滤： yarn application -list -appStates （所有状态： ALL、 NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）

[wxler@wxler1 ~]$ yarn  application  -list  -appStates FINISHED
2021-04-07 10:50:14,960 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Total number of applications (application-types: [], states: [FINISHED] and tags: []):1
                Application-Id	    Application-Name	    Application-Type	      Use     Queue	             State	       Final-State	       Progress	                       Tracking-URL
application_1617763295598_0001	          word count	           MAPREDUCE	     wxle   default	          FINISHED	         SUCCEEDED	           100%	http://wxler1:19888/jobhistory/job/job_1617763295598_0001

（3）Kill 掉 Application：

[wxler@wxler1 ~]$ yarn  application  -kill application_1617763295598_0001
2021-04-07 10:53:42,842 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Application application_1617763295598_0001 has already finished

5.2 yarn logs查看日志

（1）查询 Application 日志：yarn logs -applicationId <ApplicationId>

[wxler@wxler1 ~]$ yarn logs -applicationId application_1617763295598_0001

（2）查询 Container 日志：yarn logs -applicationId <ApplicationId> -containerId <ContainerId>

[wxler@wxler1 ~]$ yarn  logs  -applicationId application_1617763295598_0001  -containerId container_1617763295598_0001_01_000001

5.3 yarn applicationattempt 查看尝试运行的任务

（1）列出所有 Application 尝试的列表：yarn applicationattempt -list <ApplicationId>

[wxler@wxler1 ~]$ yarn  applicationattempt  -list application_1617763295598_0001
2021-04-07 11:09:58,086 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Total number of application attempts :1
         ApplicationAttempt-Id	               State	                    AM-Container-Id	                       Tracking-URL
appattempt_1617763295598_0001_000001	            FINISHED	container_1617763295598_0001_01_000001	http://wxler2:8088/proxy/application_1617763295598_0001/

（2）打印 ApplicationAttemp 状态： yarn applicationattempt -status <ApplicationAttemptId>

[wxler@wxler1 ~]$ yarn  applicationattempt  -status appattempt_1617763295598_0001_000001
2021-04-07 11:14:05,268 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Application Attempt Report : 
	ApplicationAttempt-Id : appattempt_1617763295598_0001_000001
	State : FINISHED
	AMContainer : container_1617763295598_0001_01_000001
	Tracking-URL : http://wxler2:8088/proxy/application_1617763295598_0001/
	RPC Port : 34808
	AM Host : wxler2
	Diagnostics : 
[wxler@wxler1 ~]$

5.4 yarn container 查看容器

必须在任务运行的时候查看

（1）列出所有 Container：yarn container -list <ApplicationAttemptId>

[wxler@wxler1 ~]$ yarn  container  -list appattempt_1617763295598_0001_000001
2021-04-07 11:18:10,670 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Total number of containers :0
                  Container-Id	          Start Time	         Finish Time	               State	                Host	   Node Http Address	                            LOG-URL

（2）打印 Container 状态： yarn container -status <ContainerId>

[wxler@wxler1 ~]$ yarn  container  -status container_1617763295598_0001_01_000001
2021-04-07 11:19:26,066 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Container with id 'container_1617763295598_0001_01_000001' doesn't exist in RM or Timeline Server.

注：只有在任务跑的途中才能看到 container 的状态

5.5 yarn node 查看节点状态

列出所有节点：yarn node -list -all

[wxler@wxler1 ~]$ yarn node -list -all
2021-04-07 11:20:16,066 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Total Nodes:3
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
    wxler1:39487	        RUNNING	      wxler1:8042	                           0
    wxler2:34599	        RUNNING	      wxler2:8042	                           0
    wxler3:45588	        RUNNING	      wxler3:8042	                           0

5.6 yarn rmadmin 更新配置

刷新加载队列配置：yarn rmadmin -refreshQueues

[wxler@wxler1 ~]$ yarn rmadmin -refreshQueues
2021-04-07 11:21:33,101 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8033

5.7 yarn queue 查看队列

打印队列信息：yarn queue -status <QueueName>

[wxler@wxler1 ~]$ yarn queue -status default
2021-04-07 11:22:33,835 INFO client.RMProxy: Connecting to ResourceManager at wxler2/192.168.218.72:8032
Queue Information : 
Queue Name : default
	State : RUNNING
	Capacity : 100.0%
	Current Capacity : .0%
	Maximum Capacity : 100.0%
	Default Node Label expression : <DEFAULT_PARTITION>
	Accessible Node Labels : *
	Preemption : disabled
	Intra-queue Preemption : disabled

当然，也可以在http://wxler2:8088里面查看

6. Yarn 生产环境核心参数

相关核心参数如下
（1）ResourceManager相关

• yarn.resourcemanager .scheduler .class 配置调度器，默认容量
• yarn.resourcemanager .scheduler .client.thread-count ResourceManager处理调度器请求的线程数量，默认50

（2）NodeManager相关

• yarn.nodemanager.resource.detect-hardware-capabilities 是否让yarn自己检测硬件进行配置，默认false
• yarn.nodemanager.resource.count-logical-processors-as-cores 是否将虚拟核数当作CPU核数，默认false
• yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数，例如：4核8线程，该参数就应设为2，默认1.0

NodeManager内存参数

• yarn.nodemanager.resource.memory-mb NodeManager使用内存，默认8G

• yarn.nodemanager.resource.system-reserved-memory-mb NodeManager为系统保留多少内存
  以上二个参数配置一个即可

• yarn.nodemanager.resource.cpu-vcores NodeManager使用CPU核数，默认8个

• yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制container，默认打开

• yarn.nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制container，默认打开

• yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例，默认2.1，即虚拟内存是物理内存的2.1倍

（3）Container相关

• yarn.scheduler .minimum-allocation-mb 容器最最小内存，默认1G
• yarn.scheduler .maximum-allocation-mb 容器最最大内存，默认8G
• yarn.scheduler .minimum-allocation-vcores 容器最小CPU核数，默认1个
• yarn.scheduler .maximum-allocation-vcores 容器最大CPU核数，默认4个