网站开发与管理,上海三大设计院,成都最新的防疫通告今天,莆田个人外贸网站建设文章目录 #xff08;136#xff09;生产环境多队列创建好处#xff08;137#xff09;容量调度器多队列提交案例如何创建多个队列如何向指定队列提交任务 #xff08;138#xff09;容量调度器任务优先级#xff08;139#xff09;公平调度器案例参考文献 #… 文章目录 136生产环境多队列创建好处137容量调度器多队列提交案例如何创建多个队列如何向指定队列提交任务 138容量调度器任务优先级139公平调度器案例参考文献 136生产环境多队列创建好处
生产环境下怎么创建队列
调度器默认只会开一个default队列这个肯定是不满足生产要求的可以按照框架来划分队列。比如说hive/spark/flink的任务分别放在不同的队列里不过这么做的效率不高企业用的不是很多。按照业务模块来划分队列。比如说登录注册的业务单独一个队列购物车单独一个队列下单功能单独一个队列等等
创建多队列的好处
担心单一程序耗尽集群所有资源实现任务的降级使用。特殊时期可以保证重要的队列资源更充足。比如说双十一的时候就给下单的那个队列多补充资源。
降级怎么理解呢就是队列之间区分优先级资源的分配是按照队列所属的业务的优先级来进行的。
137容量调度器多队列提交案例
仅做了解。
需求1default队列占总内存的40%最大资源容量占总资源60%hive队列占总内存的60%最大资源容量占总资源80%。
需求2配置队列优先级。
如何创建多个队列
接下来就需要在capacity-scheduler.xml中配置容量调度器的各项参数。直接抄教程的示例了
!-- 指定多队列增加hive队列 --
propertynameyarn.scheduler.capacity.root.queues/namevaluedefault,hive/valuedescriptionThe queues at the this level (root is the root queue)./description
/property!-- 降低default队列资源额定容量为40%默认100% --
propertynameyarn.scheduler.capacity.root.default.capacity/namevalue40/value
/property!-- 降低default队列资源最大容量为60%默认100% --
propertynameyarn.scheduler.capacity.root.default.maximum-capacity/namevalue60/value
/property
2为新加队列添加必要属性
!-- 指定hive队列的资源额定容量 --
propertynameyarn.scheduler.capacity.root.hive.capacity/namevalue60/value
/property!-- 用户最多可以使用队列多少资源1表示 --
propertynameyarn.scheduler.capacity.root.hive.user-limit-factor/namevalue1/value
/property!-- 指定hive队列的资源最大容量 --
propertynameyarn.scheduler.capacity.root.hive.maximum-capacity/namevalue80/value
/property!-- 启动hive队列 --
propertynameyarn.scheduler.capacity.root.hive.state/namevalueRUNNING/value
/property!-- 哪些用户有权向队列提交作业 --
propertynameyarn.scheduler.capacity.root.hive.acl_submit_applications/namevalue*/value
/property!-- 哪些用户有权操作队列管理员权限查看/杀死 --
propertynameyarn.scheduler.capacity.root.hive.acl_administer_queue/namevalue*/value
/property!-- 哪些用户有权配置提交任务优先级 --
propertynameyarn.scheduler.capacity.root.hive.acl_application_max_priority/namevalue*/value
/property!-- 任务的超时时间设置yarn application -appId appId -updateLifetime Timeout
参考资料https://blog.cloudera.com/enforcing-application-lifetime-slas-yarn/ --!-- 如果application指定了超时时间则提交到该队列的application能够指定的最大超时时间不能超过该值。
--
propertynameyarn.scheduler.capacity.root.hive.maximum-application-lifetime/namevalue-1/value
/property!-- 如果application没指定超时时间则用default-application-lifetime作为默认值 --
propertynameyarn.scheduler.capacity.root.hive.default-application-lifetime/namevalue-1/value
/property如果任务超过了设定的超时时间那么到时候就会被直接杀死-1表示不设置。
参数设置完成后重启yarn或者是执行yarn rmadmin -refreshQueues刷新队列配置。就可以看到两条队列了。 如何向指定队列提交任务
那如何向指定队列提交任务呢
以向hive队列提交任务为例就是执行
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount -D mapreduce.job.queuenamehive /input /output就是加入了-D参数指定了队列名。
如果不指定队列名的话默认是都提交到default队列。
除了上述方式之外也可以在jar包代码里写死要提交的队列名如
public class WcDrvier {public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {Configuration conf new Configuration();conf.set(mapreduce.job.queuename,hive);//1. 获取一个Job实例Job job Job.getInstance(conf);。。。 。。。//6. 提交Jobboolean b job.waitForCompletion(true);System.exit(b ? 0 : 1);}
}这样这个任务在提交的时候就会直接提交到hive队列。
138容量调度器任务优先级
资源紧张的时候高优先级的任务将先获取到资源。
默认情况下Yarn将所有任务的优先级限制为0如果想使用任务的优先级功能则需要做一些设置。
首先修改yarn-site.xml文件增加以下参数
propertynameyarn.cluster.max-application-priority/namevalue5/value
/property分发配置并重启Yarn
[atguiguhadoop102 hadoop]$ xsync yarn-site.xml
[atguiguhadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguiguhadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh然后通过连续提交下面任务来模拟资源紧张的环境
[atguiguhadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 5 2000000再次提交高优先级任务
[atguiguhadoop102 hadoop-3.1.3]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi -D mapreduce.job.priority5 5 2000000通过-D设置了新提交的任务优先级是5高于当前在运行的所有任务这个任务马上就获取到了资源 上面的例子是在任务提交时设置任务的优先级也可以通过以下命令修改正在执行的任务的优先级
yarn application -appID ApplicationID -updatePriority 优先级139公平调度器案例
公平调度器中大型公司主要使用的。
需求在默认的default队列基础之上再创建两个队列分别是test和atguigu以用户所属组命名。期望实现下面效果
提交任务时若指定队列则提交至指定队列运行提交任务时未指定队列test用户提交的任务到test队列运行atguigu用户提交的任务到atguigu队列运行
公平调度器的配置涉及到两个文件一个是yarn-site.xml另一个是公平调度器队列分配文件fair-scheduler.xml文件名可自定义。
1配置文件参考资料
https://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/FairScheduler.html
2任务队列放置规则参考资料
https://blog.cloudera.com/untangling-apache-hadoop-yarn-part-4-fair-scheduler-queue-basics/
修改yarn-site.xml文件如下
propertynameyarn.resourcemanager.scheduler.class/namevalueorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler/valuedescription配置使用公平调度器/description
/propertypropertynameyarn.scheduler.fair.allocation.file/namevalue/opt/module/hadoop-3.1.3/etc/hadoop/fair-scheduler.xml/valuedescription指明公平调度器队列分配配置文件/description
/propertypropertynameyarn.scheduler.fair.preemption/namevaluefalse/valuedescription禁止队列间资源抢占/description
/property禁止队列间资源抢占这个功能就是之前提到过的不同队列间的资源借调这里是直接关掉了。
创建并配置fair-scheduler.xml:
?xml version1.0?
allocations!-- 单个队列中Application Master占用整个队列资源的最大比例,取值0-1 企业一般配置0.1 --queueMaxAMShareDefault0.5/queueMaxAMShareDefault!-- 单个队列最大资源的默认值 test atguigu default --queueMaxResourcesDefault4096mb,4vcores/queueMaxResourcesDefault!-- 增加一个队列test --queue nametest!-- 队列最小资源 --minResources2048mb,2vcores/minResources!-- 队列最大资源 --maxResources4096mb,4vcores/maxResources!-- 队列中最多同时运行的应用数默认50根据线程数配置 --maxRunningApps4/maxRunningApps!-- 队列中Application Master占用资源的最大比例 --maxAMShare0.5/maxAMShare!-- 该队列资源权重,默认值为1.0 --weight1.0/weight!-- 队列内部的资源分配策略 --schedulingPolicyfair/schedulingPolicy/queue!-- 增加一个队列atguigu --queue nameatguigu typeparent!-- 队列最小资源 --minResources2048mb,2vcores/minResources!-- 队列最大资源 --maxResources4096mb,4vcores/maxResources!-- 队列中最多同时运行的应用数默认50根据线程数配置 --maxRunningApps4/maxRunningApps!-- 队列中Application Master占用资源的最大比例 --maxAMShare0.5/maxAMShare!-- 该队列资源权重,默认值为1.0 --weight1.0/weight!-- 队列内部的资源分配策略 --schedulingPolicyfair/schedulingPolicy/queue!-- 任务队列分配策略,可配置多层规则,从第一个规则开始匹配,直到匹配成功 --queuePlacementPolicy!-- 提交任务时指定队列,如未指定提交队列,则继续匹配下一个规则; false表示如果指定队列不存在,不允许自动创建--rule namespecified createfalse/!-- 提交到root.group.username队列,若root.group不存在,不允许自动创建若root.group.user不存在,允许自动创建 --rule namenestedUserQueue createtruerule nameprimaryGroup createfalse//rule!-- 最后一个规则必须为reject或者default。Reject表示拒绝创建提交失败default表示把任务提交到default队列 --rule namereject //queuePlacementPolicy
/allocations接着分发配置并重启yarn
[atguiguhadoop102 hadoop]$ xsync yarn-site.xml
[atguiguhadoop102 hadoop]$ xsync fair-scheduler.xml[atguiguhadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguiguhadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh接下来可以测试提交任务就不介绍了。
参考文献
【尚硅谷大数据Hadoop教程hadoop3.x搭建到集群调优百万播放】
