# 编写Job的定义

与所有的 Kubernetes 对象一样,Job 对象的 YAML 文件中,都需要包括如下三个字段:

  • .apiVersion
  • .kind
  • .metadata

Job 对象的 YAML 文件,还需要一个 .spec 字段。

# Pod Template

.spec.template 是必填字段:

  • 用于定义 pod template
  • 与 Pod 有相同的字段内容,但由于是内嵌元素,pod template 不包括阿 apiVersion 字段和 kind 字段
  • 除了 Pod 所需的必填字段之外,Job 中的 pod template 必须指定
    • 合适的标签 .spec.template.spec.labels,参考 Pod Selector
    • 指定合适的重启策略 restartPolicy .spec.template.spec.restartPolicy,此处只允许使用 NeverOnFailure 两个取值

# Pod Selector

.spec.selector 字段是可选的。绝大部分情况下,您不需要指定该字段。只有在少数情况下,您才需要这样做,请参考 Job 的特殊操作

# Parallel Jobs

有三种主要的任务类型适合使用 Job 运行:

  • Non-parallel Jobs
    • 通常,只启动一个 Pod,除非该 Pod 执行失败
    • Pod 执行成功并结束以后,Job 也立刻进入完成 completed 状态
  • Parallel Jobs with a fixed completion count
    • .spec.completions 为一个非零正整数
    • Job 将创建至少 .spec.completions 个 Pod,编号为 1 - .spec.completions 尚未实现
    • Job 记录了任务的整体执行情况,当 1 - .spec.completions 中每一个编号都有一个对应的 Pod 执行成功时,Job 进入完成状态
  • Parallel Jobs with a work queue
    • 不指定 .spec.completions,使用 .spec.parallelism
    • Pod 之间必须相互之间自行协调并发,或者使用一个外部服务决定每个 Pod 各自执行哪些任务。例如,某个Pod可能从带工作队列(work queue)中取出最多N个条目的批次数据
    • 每个 Pod 都可以独立判断其他同僚(peers)是否完成,并确定整个Job是否完成
    • 当 Job 中任何一个 Pod 成功结束,将不再为其创建新的 Pod
    • 当所有的 Pod 都结束了,且至少有一个 Pod 执行成功后才结束,则 Job 判定为成功结束
    • 一旦任何一个 Pod 执行成功并退出,Job 中的任何其他 Pod 都应停止工作和输出信息,并开始终止该 Pod 的进程

completions 和 parallelism

  • 对于 non-parallel Job,.spec.completions.spec.parallelism 可以不填写,默认值都为 1
  • 对于 fixed completion count Job,需要设置 .spec.completions 为您期望的个数;同时不设置 .spec.parallelism 字段(默认值为 1)
  • 对于 work queue Job,不能设置 .spec.completions 字段,且必须设置 .spec.parallelism 为0或任何正整数

# Controlling Parallelism 并发控制

并发数 .spec.parallelism 可以被设置为0或者任何正整数,如果不设置,默认为1,如果设置为 0,则 Job 被暂停,直到该数字被调整为一个正整数。

实际的并发数(同一时刻正在运行的 Pod 数量)可能比设定的并发数 .spec.parallelism 要大一些或小一些,不一定严格相等,主要的原因有:

  • 对于 fixed completion count Job,实际并发运行的 Pod 数量不会超过剩余未完成的数量。如果 .spec.parallelism 比这个数字更大,将被忽略
  • 对于 work queue Job,任何一个 Pod 成功执行后,将不再创建新的 Pod (剩余的 Pod 将继续执行)
  • Job 控制器可能没有足够的时间处理并发控制
  • 如果 Job 控制器创建 Pod 失败(例如,ResourceQuota 不够用,没有足够的权限等)
  • 同一个Job中,在已创建的 Pod 出现大量失败的情况下,Job 控制器可能限制 Pod 的创建
  • 当 Pod 被优雅地关闭时(gracefully shut down),需要等候一段时间才能结束
更新时间: 2019-11-02 22:47:54