数据备份以及恢复 （1.30.20/2.00.8及之后版本）

要备份单个数据库，可使用backupDB命令。

用例：将数据库testdb备份到/home/$USER/backupDB目录下（其中$USER为用户名称）

dbPath="dfs://testdb"
backupDir="/home/$USER/backupDB"
submitJob("backupDB","backup testdb",backupDB,backupDir,dbPath)

backupDB 有以下特性：

1. 支持断线续备：如果备份中断，再次运行backupDB即可从刚才中断时正在备份的分区开始备份，已备份好的分区无需重新备份一遍。
2. 支持分区级别的增量备份：对于在数据库和备份文件里同时存在的分区， backupDB会检查数据库的分区和备份文件里对应的分区的更新时间。DolphinDB 只会对更新时间不一致的分区，用数据库里的数据覆盖备份文件里的。
3. 备份数据和数据库备份开始时的数据一致：备份文件中存在，而数据库中不存在的分区会被从备份文件中删除；备份文件中不存在，而数据库中存在的分区将会被备份；备份文件和数据库中都存在的分区，参见特性中第2点

要备份一张表，可使用 backupTable 命令。

用例：将数据库 testdb 的 quotes_2 表备份到 /home/$USER/backupTb 目录下（其中$USER为用户名称）

dbPath="dfs://testdb"
tbName=`quotes_2
backupDir="/home/$USER/backupTb"
submitJob("backupTable","backup quotes_2 in testdb",backupTable,backupDir,dbPath,tbName)

backupTable 和backupDB有类似的特性，只不过backupTable是针对分布式表的，而backupDB是针对数据库的。

要备份同一个表的部分或全部分区，可以将他们的分区路径放入一个向量，并将这个向量传入backup函数中

用例：将数据库 testdb 的 quotes_2 表的 /Key3/tp/20120101 和 /Key4/tp/20120101 分区备份到 /home/$USER/backupPar 目录下

dbPath="dfs://testdb"
tbName=`quotes_2
backupDir="/home/$USER/backupPar"
pars=["/Key3/tp/20120101","/Key4/tp/20120101"]
submitJob("backupPartitions","backup some partitions in quotes_2 in testdb",backup,backupDir,dbPath,false,true,true,tbName,pars)

getBackupStatus可以用来查看指定用户的backup/restore任务进度，同时可以预估任务完成时间。

用例：作为管理员使用 getBackupStatus 查看所有用户的 backup/restore 任务

login(`admin, `123456)
getBackupStatus()

管理员调用该函数时，若指定了 userName，则返回指定用户的 backup/restore 任务；否则返回所有用户的 backup/restore 任务

非管理员调用该函数时，只能返回当前用户的 backup/restore 任务。

返回如下：

这张表里会返回每个任务涉及到的数据库和表名，涉及多少个分区，当前已完成了多少分区，和完成百分比。

如果任务还未完成，endTime会返回预估完成时间；如果任务已完成，endTime返回实际完成时间。

注意事项：

1. 返回的表里对每张表的备份/恢复任务都有一行新纪录。例如上图的表里返回了两条记录，虽然只进行了一次备份
2. getBackupStatus只会返回这次数据节点启动之后的backup任务的进度。如果重启数据节点，之前的backup任务的进度将丢失

getBackupList 会返回一个分布式表的备份信息。返回为一张表，表里包含备份文件里这个表的所有的分区。每个分区对应表中的一行。表中会有chunkID、chunkPath、版本号、每个分区包含的行数和最后一次更新的时间戳。

用例：getBackupList获得testdb数据库中quotes_2的表的备份信息。

dbPath="dfs://testdb"
backupDir="/home/$USER/backupDB"
getBackupList(backupDir,dbPath,`quotes_2)

部分信息见下图：

使用 getBackupMeta 可以获得某一个分区的相关信息，比如所在的表的表结构，分区的完整路径，行数，ID，版本号等等。详情参见 DolphinDB用户手册

checkBackup 会检查备份文件中每个分区的 checksum。返回一张包含 checksum 检查不通过的分区的表。

用例：检查“备份单个数据库”里的备份文件的完整性

dbPath="dfs://testdb"
backupDir="/home/$USER/backupDB"
checkBackup(backupDir,dbPath)

checkBackup运行需要的时间和备份文件时所需的时间相近。

如果发现检查不通过的分区，需要通过backup，并设定force为true强制重新备份。如果设置force=false，只会检查分区的元数据信息，那么就有可能不会重新备份有问题的分区。

为了展示这个函数的用法，我们将做如下操作：

1. 运行 checkBackup
2. 将之前备份好的文件，选取一个移动到别的目录下，并建一个同名的空文件，再运行checkBackup
3. 将移除文件涉及的分区重新备份，并再次运行 checkBackup

为了更快返回结果，我们选择检查OLAP数据库中 quotes_2 的备份文件：

checkBackup(backupDir,dbPath,`quotes_2)

返回为空，说明校验通过。

然后将086b0c1e-0386-95a4-4b4a-5038f4fd5d51分区中volume.col文件移除，并添加一个同名的空文件。 再次运行checkBackukp，得到结果

接下来我们将这个分区重新备份：

backup(backupDir=backupDir,dbPath=dbPath,force=true,parallel=true,snapshot=true,tableName=`quotes_2,partition="/Key4/tp/20120103")

再运行checkBackup，返回为空，说明校验通过。

所以checkBackup可以检查一个备份文件在备份完成之后是否损坏。

备份文件检查分为两个阶段，第一个阶段是备份任务结束之后，需要判断其是否正常完成。第二个阶段是在恢复之前，需要检查备份文件是否有损坏。以下的命令都需要在备份任务所在的节点执行。

现在 DolphinDB 提供了4种恢复数据的方式：

1. 恢复单个数据库
2. 恢复单张表
3. 恢复部分分区
4. 恢复整个集群

与备份不同，在数据恢复时，不会对涉及分区加锁。比如，在对一张表做恢复的同时，允许对这张表进行写入操作。不过我们建议在恢复的同时不要写入，否则会出现一些无法预测的行为，比如新的写入可能会留在数据库，也可能被恢复任务覆盖。

本次性能测试使用的机器 CPU 为Intel(R) Xeon(R) Silver 4314 CPU @ 2.40GHz

使用的DolphinDB集群为 DolphinDB 普通集群，1个 controller，3个 datanode，每个 datanode 挂载1个普通SSD盘，读写速度约为500MB/s。备份文件所在的磁盘也是SSD盘，读写速度也为500MB/s。

cluster.cfg配置如下：

maxMemSize=256
maxConnections=512
workerNum=8
chunkCacheEngineMemSize=16
newValuePartitionPolicy=add
maxPubConnections=64
subExecutors=4
subPort=8893
lanCluster=0
enableChunkGranularityConfig=true
diskIOConcurrencyLevel=0

运行备份时，落库为50G大小的数据，观察备份文件所在的磁盘IO，写入速度为490MB/s左右，基本达到了磁盘的性能瓶颈。

运行恢复时，因为是写入多个磁盘，我们用数据量/时间来估算写入速度。备份文件大小为50G，恢复花费了2分20秒，速度约为365MB/s，低于备份速度。