深圳网站品牌推广,吴川网站建设公司,济南网站建设方案托管,保险网站有哪些保险网站此文章是学习笔记#xff0c;图片均来源于B站#xff1a;哈喽鹏程 yarn详细介绍 1、yarn 简介1.1 yarn的简介1.2 yarn 的基本架构1.3. yarn 的高可用 2、yarn 调度策略、运维、监控2.1 yarn 的调度策略2.1.1 FIFO scheduler(先进先出)2.1.2 容量调度2.1.3 公平调度 2.2 yarn… 此文章是学习笔记图片均来源于B站哈喽鹏程 yarn详细介绍 1、yarn 简介1.1 yarn的简介1.2 yarn 的基本架构1.3. yarn 的高可用 2、yarn 调度策略、运维、监控2.1 yarn 的调度策略2.1.1 FIFO scheduler(先进先出)2.1.2 容量调度2.1.3 公平调度 2.2 yarn 的运维与管理 1、yarn 简介
1.1 yarn的简介
1.2 yarn 的基本架构
1.3. yarn 的高可用
2、yarn 调度策略、运维、监控
2.1 yarn 的调度策略
2.1.1 FIFO scheduler(先进先出)
调度策略将所有任务放入一个队列先进队列的先获得资源排在后面的任务只有等待。缺点a.资源利用率低无法交叉完成任务b.灵活性差如紧急任务无法插队耗时短的紧急任务只有等待。
2.1.2 容量调度
预分队列比如预分两个队列a、b;再将每个队列预分资源比如a(80%)b20%如果资源a执行大作业都在晚上进行。那么白天资源就浪费了。所以可以设置最大的资源占比。比如白天的时候队列b 默认资源是20%最多可以获得100% 的资源。 容量调度器去配置的时候可以在yarn -site .xml文件里面配置调度的方式 2.1.3 公平调度 2.2 yarn 的运维与管理
yarn application [command_options]
