分布式表数据更新原理和性能

• Linux 系统

• DolphinDB v2.00.7 版本

• 单机集群部署 1 个控制节点 +1 个数据节点

• 单 SSD 硬盘，硬盘速度为 6 Gbps，文件系统为 xfs

• 开启 cache engine 和 redo log

参考《DolphinDB 入门：物联网范例》第 2.3、2.4 节，创建多值模型数据库表，并写入数据。注意此处脚本为异步写入，可以通过 getRecentJobs() 方法查看写入是否完成。

本实验将模拟 100 台机器 5 天的数据量，每台机器每天产生 86400 条记录，5 天总数据量为 43200000 条。OLAP 和 TSDB 引擎的基本数据和建库名如下表所示：

参考以下脚本修改《DolphinDB 入门：物联网范例》2.3 节的 createDatabase 函数。注意实验中需要修改 createPartitionedTable 函数的 keepDuplicates 参数值：

def createDatabase(dbName,tableName, ps1, ps2, numMetrics){
	m = "tag" + string(1..numMetrics)
	schema = table(1:0,`id`datetime join m, [INT,DATETIME] join take(FLOAT,numMetrics) )
	db1 = database("",VALUE,ps1)
	db2 = database("",RANGE,ps2)
	db = database(dbName,COMPO,[db1,db2],,'TSDB')
	db.createPartitionedTable(schema,tableName,`datetime`id ,,`id`datetime, keepDuplicates=LAST)
}

实验的基本思路为观察执行 update 语句前后数据目录和文件的变化与上文阐述的原理是否一致。

• 更新前

  首先设置 createPartitionedTable 方法的 keepDuplicates 参数为 LAST，然后建库和导入数据。

  进入需要更新的数据所在的目录，默认位置在 <HomeDir>/<nodeAlias>/storage/CHUNKS/tsdbDemo/20200901/1_11/S，最后的 S 为表的物理名索引。用 tree 命令查看 machines 表的 level file：

  $ tree
  .
  ├── chunk.dict
  └── machines_2
      ├── 0_00000010
      ├── 0_00000011
      ├── 0_00000012
      ├── 0_00000013
      ├── 0_00000014
      └── 1_00000002
  
  1 directory, 7 files

• 执行更新

  在 GUI 执行如下脚本，对分区 20200901 下分区 1_11 里的数据进行 20 次更新：

  machines = loadTable("dfs://tsdbDemo", "machines")
  for(i in 0..20)
  	update machines set tag1=i,tag5=i where id in 1..5,date(datetime)=2020.09.01

  更新时或更新后，用 tree 命令查看数据文件，可见并没有生成新版本的临时目录，但 machines_2 目录下的 level file 变多，说明 keepDuplicates =LAST 时，更新等同于追加数据。如下所示：

  $ tree
  .
  ├── chunk.dict
  └── machines_2
      ├── 0_00000010
      ├── 0_00000011
      ├── 0_00000012
      ├── 0_00000013
      ├── 0_00000014
      ├── 0_00000241
      ├── 0_00000243
       ...
      ├── 1_00000002
      ├── 1_00000050
      └── 1_00000051
  
  1 directory, 21 files

• 更新后

  更新后过一段时间，用 tree 命令查看数据文件，发现 level file 进行了合并。合并 level file 时，系统会自动删除更新时的冗余数据，数量由 20 个减少为 6 个。如下所示：

  tree
  .
  ├── chunk.dict
  └── machines_2
      ├── 0_00000272
      ├── 0_00000274
      ├── 0_00000276
      ├── 1_00000002
      ├── 1_00000050
      └── 1_00000051
  
  1 directory, 7 files

• 更新前

  设置 createPartitionedTable 方法的 keepDuplicates 参数为 ALL，然后建库和导入数据。

  通过 tree 命令查看 machines 表的 level file：

  $ tree
  .
  ├── chunk.dict
  └── machines_2
      ├── 0_00000273
      ├── 0_00000275
      ├── 0_00000277
      ├── 0_00000278
      ├── 0_00000279
      └── 1_00000054
  
  1 directory, 7 files

• 执行更新

  更新过程中使用 tree 命令可以看到，有命名包含 tid 的中间文件夹生成：

  $ tree
  .
  ├── chunk.dict
  ├── machines_2
  │   ├── 0_00000273
  │   ├── 0_00000275
  │   ├── 0_00000277
  │   ├── 0_00000278
  │   ├── 0_00000279
  │   └── 1_00000054
  └── machines_2_tid_199
      ├── 0_00000515
      ├── 0_00000516
      ├── 0_00000517
      ├── 0_00000518
      └── 0_00000519

• 更新后

  使用 tree 命令，可以看到如果没触发周期性清理旧版本，则保留了 5 个更新版本，如下所示：

  $ tree
  .
  ├── chunk.dict
  ├── machines_2_215
  │   ├── 0_00000595
  │   ├── 0_00000596
  │   ├── 0_00000597
  │   ├── 0_00000598
  │   └── 0_00000599
  ├── machines_2_216
  │   ├── 0_00000600
  │   ├── 0_00000601
  │   ├── 0_00000602
  │   ├── 0_00000603
  │   └── 0_00000604
  ├── machines_2_217
  │   ├── 0_00000605
  │   ├── 0_00000606
  │   ├── 0_00000607
  │   ├── 0_00000608
  │   └── 0_00000609
  ├── machines_2_218
  │   ├── 0_00000610
  │   ├── 0_00000611
  │   ├── 0_00000612
  │   ├── 0_00000613
  │   └── 0_00000614
  └── machines_2_219
      ├── 0_00000615
      ├── 0_00000616
      ├── 0_00000617
      ├── 0_00000618
      └── 0_00000619

  在触发周期性清理旧版本前，使用 ll 查看更新后的列数据文件，注意到所有 level file 链接数均为 1，即不存在硬链接：

  $ ll machines_2_219
  total 284764
  -rw-rw-r-- 1 dolphindb dolphindb 57151251 Sep  7 05:48 0_00000615
  -rw-rw-r-- 1 dolphindb dolphindb 57151818 Sep  7 05:48 0_00000616
  -rw-rw-r-- 1 dolphindb dolphindb 58317419 Sep  7 05:48 0_00000617
  -rw-rw-r-- 1 dolphindb dolphindb 59486006 Sep  7 05:48 0_00000618
  -rw-rw-r-- 1 dolphindb dolphindb 59482644 Sep  7 05:48 0_00000619

  更新后过一段时间，发现只保留了最新的版本：

  $ tree 
  .
  ├── chunk.dict
  └── machines_2_219
      ├── 0_00000615
      ├── 0_00000616
      ├── 0_00000617
      ├── 0_00000618
      └── 0_00000619
  
  1 directory, 6 files

createPartitionedTable 方法的 keepDuplicates 参数为 FIRST 时更新操作的表现与 keepDuplicates 参数为 ALL 时相同。