自己做网站需要收费吗,支付宝小程序,房屋装修app,怎样做访问外国网站才能不卡一、前言 job#xff0c;顾名思义就是任务#xff0c;job的概念在很多框架中都有#xff0c;而且实际业务场景中也使用非常广泛#xff0c;比如大家熟悉的hadoop#xff0c;客户端可以向集群提交一个job#xff0c;然后集群根据一定的调度策略来处理这个job#xff1b; …一、前言 job顾名思义就是任务job的概念在很多框架中都有而且实际业务场景中也使用非常广泛比如大家熟悉的hadoop客户端可以向集群提交一个job然后集群根据一定的调度策略来处理这个job k8s中的job主要用于批量处理的业务场景比如像那种短暂的一次性任务(每个任务仅运行一次就结束) 二、k8s中job特点 当Job创建的pod执行成功结束时Job将记录成功结束的pod数量当成功结束的pod达到指定的数量时Job将完成执行job与pod的关系如下图 三、Job模板配置文件核心配置参数 如下为job的一个模板配置yaml文件中的部分核心配置参数 apiVersion: batch/v1 # 版本号
kind: Job # 类型
metadata: # 元数据name: # rs名称 namespace: # 命名空间 labels: controller: job
spec: completions: 6 # 指定job需要成功运行Pods的次数。默认值: 1parallelism: 3 # 指定job在任一时刻应该并发运行Pods的数量。默认值: 1ttlSecondsAfterFinished: 5activeDeadlineSeconds: 30 # 指定job可运行的时间期限超过时间还未结束系统将会尝试进行终止。backoffLimit: 5 # 指定job失败后进行重试的次数。默认是6manualSelector: true # 是否可以使用selector选择器选择pod默认是falseselector: # 选择器通过它指定该控制器管理哪些podmatchLabels: # Labels匹配规则app: counter-podmatchExpressions: # Expressions匹配规则- {key: app, operator: In, values: [counter-pod]}template: # 模板当副本数量不足时会根据下面的模板创建pod副本metadata:labels:app: counter-podspec:restartPolicy: Never # 重启策略只能设置为Never或者OnFailurecontainers:- name: counterimage: busybox:1.30command: [bin/sh,-c,for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done] 可以参照各个参数的备注加以理解下面对其中部分参数做补充说明 3.1 ttlSecondsAfterFinished
当设置了ttlSecondsAfterFinished参数job完成或者失败后都会在ttlSecondsAfterFinished所设置的时间后被清理假设ttlSecondsAfterFinished 设置成30。在job完成或者失败后30sjob就会被自动清除包括job和job所管理的pod都会被清除假设没有设置job和job所管理的pod会一直存在不管是失败还是成功不过好像有些k8s的版本ttlSecondsAfterFinished是不生效的建议使用1.20以上的版本3.2 activeDeadlineSeconds
Job的超时时间一旦一个Job运行的时间超出该限制则Job失败所有运行中的Pod会被结束并删除该配置指定的值必须是个正整数不指定则不会超时但是经过实验job pod并不会自动删除所以如果希望超时后pod会自动删除还是设置一下ttlSecondsAfterFinished3.3 backoffLimit
允许执行失败的次数默认值是60表示不允许执行失败如果Pod是restartPolicy为Nerver则失败后会创建新的Pod如果是OnFailed则会重启Pod不管是哪种情况只要Pod失败一次就计算一次而不是等整个Pod失败后再计算一个当失败的次数达到该限制时整个Job随即结束所有正在运行中的Pod都会被删除但是经过实验jobpod并不会自动删除所以如果希望超时后pod会自动删除还是设置一下ttlSecondsAfterFinished3.4 parallelism 并行运行的Pod的个数默认值为1假如设置为3就会同时开启3个pod去执行任务 3.5 completions
完成该Job需要执行成功的Pod数指定需要完成的数量默认值为1假设设置为3需要有三个pod成功完成任务这个job才算是完成四、job案例操作演示 在当前目录下创建一个jod-pod.yaml文件配置如下内容
apiVersion: batch/v1
kind: Job
metadata:name: test-jobnamespace: default
spec:manualSelector: trueselector:matchLabels:app: counter-podtemplate:metadata:labels:app: counter-podspec:restartPolicy: Nevercontainers:- name: counterimage: busybox:1.30command: [bin/sh,-c,for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done] 使用apply创建pod 在另外的两个窗口我们提前打开监控pod和job的执行情况可以看到下面的完整执行过程 从job的执行过程来看经历了从无到有以及到最终的STATUS状态为Completed的过程这个也和上文提到的job的生命周期描述吻合 对于Pod的执行过程来看从下面这张图可以清晰看到STATUS的各个阶段变化的完整过程 其他的模板中的参数可以直接往里面添加即可在job运行过程中看到效果比如我们在该模板文件中补充两个参数 再次运行这个job通过job和pod的监控信息看到如下的效果 五、cronjob 理论 CronJob其实就是在Job的基础上加上了时间调度我们可以在给定的时间点运行一个任务也可以周期性地在给定时间点运行。这个实际上和我们Linux中的crontab就非常类似了。 CronJob控制器以 Job控制器资源为其管控对象并借助它管理pod资源对象Job控制器定义的作业任务在其控制器资源创建之后便会立即执行但CronJob可以以类似于Linux操作系统的周期性任务作业计划的方式控制其运行时间点及重复运行的方式。也就是说CronJob可以在特定的时间点(反复的)去运行job任务。 cronjob 运行原理图 六、cronjob 模板配置文件核心配置参数 如下为cronjob模板配置文件中核心参数
apiVersion: batch/v1beta1 # 版本号
kind: CronJob # 类型
metadata: # 元数据name: # rs名称 namespace: # 命名空间 labels: #标签controller: cronjob
spec: # 详情描述schedule: # cron格式的作业调度运行时间点,用于控制任务在什么时间执行concurrencyPolicy: # 并发执行策略用于定义前一次作业运行尚未完成时是否以及如何运行后一次的作业failedJobHistoryLimit: # 为失败的任务执行保留的历史记录数默认为1successfulJobHistoryLimit: # 为成功的任务执行保留的历史记录数默认为3startingDeadlineSeconds: # 启动作业错误的超时时长jobTemplate: # job控制器模板用于为cronjob控制器生成job对象;下面其实就是job的定义metadata:spec:completions: 1parallelism: 1activeDeadlineSeconds: 30backoffLimit: 6manualSelector: trueselector:matchLabels:app: counter-podmatchExpressions: 规则- {key: app, operator: In, values: [counter-pod]}template:metadata:labels:app: counter-podspec:restartPolicy: Never containers:- name: counterimage: busybox:1.30command: [bin/sh,-c,for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done] 关于配置文件中的补充参数说明 concurrencyPolicy
concurrencyPolicy 配置策略
Allow: 允许Jobs并发运行(默认)Forbid: 禁止并发运行如果上一次运行尚未完成则跳过下一次运行Replace: 替换取消当前正在运行的作业并用新作业替它Cron调度语法
注意K8S的定时任务仅支持5位从minute开始 # ┌───────────── minute (0 - 59) # │ ┌───────────── hour (0 - 23) # │ │ ┌───────────── day of the month (1 - 31) # │ │ │ ┌───────────── month (1 - 12) # │ │ │ │ ┌───────────── day of the week (0 - 6) (Sunday to Saturday; # │ │ │ │ │ 7 is also Sunday on some systems) # │ │ │ │ │ # │ │ │ │ │ # * * * * * 七、cronjob 案例操作演示 在当前目录创建一个cron-job.yaml的配置文件配置内容如下
apiVersion: batch/v1beta1
kind: CronJob
metadata:name: test-cronjobnamespace: defaultlabels:controller: cronjob
spec:schedule: */1 * * * *jobTemplate:metadata:spec:template:spec:restartPolicy: Nevercontainers:- name: counterimage: busybox:1.30command: [bin/sh,-c,for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done] 使用apply或create命令创建cronjob 通过开启其他客户端窗口可以监控cronjobjob以及pod的运行过程中的状态 cronjob的运行状态
上面的配置策略是每分钟执行从下图的运行效果中也可以看出来 job的运行状态 pod的运行状态 cronjob使用场景 Cron 作业对于创建周期性和重复性任务很有用例如运行备份或发送电子邮件。Cron 作业还可以将单个任务安排在特定时间例如你想将作业安排在业务低峰期执行。
