作业(job)配置

作业配置一般采用 json (HTTP API 提交)或 hcl (nomad 命令行工具提交)文件。样例配置在 /usr/share/dtle/scripts/ 中。

nomad job 的完整配置参考 https://www.nomadproject.io/docs/job-specification/

nomad job 有group/task层级，一个group中的tasks会被放在同一个节点执行。dtle要求src和dest task分别放在src 和 dest group. task 中指定 driver = "dtle", 在config段落中填写dtle专有配置。

从4.22.11.0开始，dtle配置发生变化

• 所有常规配置填在源端任务(src task)
  • 原两端的ConnectionConfig的分别重命名为SrcConnectionConfig和DestConnectionConfig
• 目标端固定填写一个配置项 DestType

  group "dest" {
    task "dest" {
      driver = "dtle"
      config {
        DestType = "mysql" # 或"kafka"
      }
    }
  }

从3.x ~ 4.22.07.x升级到4.22.11后, 可使用 /usr/share/dtle/scripts/dtle-7to11.py更新现有job配置格式.

./dtle-7to11.py 'http://127.0.0.1:4646'

dtle 源端任务有如下配置项:

ReplicateDoDb 每个元素有如下字段:

注：hcl格式中${SOME_TEXT}会被认为是变量引用。正则替换中输入此类文字时，则需使用双$符号：$${SOME_TEXT}。

ReplicateIgnoreDb 每个元素有如下字段:

ConnectionConfig 有如下字段:

KafkaConfig 有如下字段:

OracleConfig 有如下字段:

SqlFilter注意事项

全部的filter：

• NoDML
• NoDMLInsert, NoDMLDelete, NoDMLUpdate
• NoDDL
• NoDDLCreateSchema, NoDDLCreateTable
• NoDDLDropSchema, NoDDLDropTable, NoDDLDropIndex, NoDDLTruncate
• NoDDLAlterTable
• NoDDLAlterTableAddColumn, NoDDLAlterTableDropColumn
• NoDDLAlterTableModifyColumn, NoDDLAlterTableChangeColumn, NoDDLAlterTableAlterColumn

SqlFilter只能简单过滤相关语句。不会自动转换后续语句。例如

-- SqlFilter = ["NoDDLDropTable"]

/** 源端 **/
-- 已有 table a.a (id int primary key)
drop table a.a;
create table a.a (id int primary key, val int);
insert into a.a values (1, 11);

/** 目标端 **/
-- 已有 table a.a (id int primary key)
-- drop table 语句被过滤
create table a.a (id int primary key, val int);
-- 执行错误，目标表已存在
insert into a.a values (1, 11);
-- 执行错误，列数目不对

用户需自行确保在发生过滤的情况下，后续DML/DDL能正确执行。

nomad job 常用通用配置

constraint

job、group 或 task 级配置。配置后该job/group/task会绑定在指定的节点上执行

constraint {
  attribute = "${node.unique.name}"
  value = "nomad3"
}

完整参考

• https://www.nomadproject.io/docs/job-specification/constraint
• https://www.nomadproject.io/docs/runtime/interpolation#interpreted_node_vars

resources

task级配置，src/dest task需各自重复。默认值为 cpu=100，memory=300。 以默认值建立大量轻量级任务，会导致资源不够而pending，可适当调小。

任务的内存消耗和每行大小、事物大小、队列长度有关。注意真实资源消耗，避免OOM。

task "src" {
  resources {
    cpu    = 100 # MHz
    memory = 300 # MB
  }
}

restart & reschedule

nomad job 默认有如下 restart 和 reschedule 配置

restart { # group or task level
  interval = "30m"
  attempts = 2
  delay    = "15s"
  mode     = "fail" # "fail" or "delay"
                    # "delay" 意味着interval过后继续尝试
                    # "fail" 则不再尝试
}
reschedule { # job or group level
 delay          = "30s"
 delay_function = "exponential"
 max_delay      = "1h"
 unlimited      = true
}

• 当task报错时，会根据restart配置，30分钟内在同一节点上重启最多两次
  • 即使失败的job被stop -purge再重新添加，也需要根据restart参数重启
• 2次重启均失败后，会根据reschedule配置，在其他节点上执行

为了避免无限reschedule带来的问题，dtle安装包提供的样例job配置中(<prefix>/usr/share/dtle/scripts/example.job.*)，限制reschedule为每半小时1次:

reschedule {
  attempts = 1
  interval = "30m"
  unlimited = false
}
# 或json格式
"Reschedule": {
  "Attempts": 1,
  "Interval": 1800000000000,
  "Unlimited": false
}