向量存储引擎

向量数据存储

在 DolphinDB 中，向量数据以数组向量的形式存储。DolphinDB 的 TSDB 引擎本身就支持数组向量的存储，因此 VectorDB 无需自行实现向量数据的存储，只需要基于 TSDB 引擎进行构建即可。关于 TSDB 数据存储原理介绍，请参考 TSDB 存储引擎。

向量索引构建

DolphinDB 采用 Facebook 开源的向量检索库 Faiss，为 VectorDB 的向量索引构建提供支持。

在创建分区表时，如果为表中的某列指定了索引信息，系统会为该列构建并存储向量索引。VectorDB 以 Level File 为单位进行向量索引的构建和存储。也就是说，VectorDB 不会在全局仅保存一个向量索引，而是在每个 Level File 文件存储一个独立的向量索引。每次生成新的 Level File 文件时，VectorDB 会根据指定的索引类型，为该 Level File 中的向量数据建立向量索引。

向量数据检索

相似度计算和检索方法是向量数据检索中的关键技术。VectorDB 利用欧式距离（L2, Euclidean distance）计算向量数据之间的相似度。L2 是最常用的距离度量，计算所得的值越小，越与搜索值相似。L2 在低维空间中表现良好，但是在高维空间中，由于维度灾难的影响，L2 的效果会逐渐变差。

SELECT {col1,...,colx} 
FROM table [where] 
ORDER BY rowEuclidean(<vectorCol>, queryVector)
LIMIT <TOPK>

普通向量检索

普通向量检索即在查询语句中没有指定 where 语句进行条件过滤。由于只有存储在磁盘 Level File 中的数据拥有向量索引，而 Cache Engine 中的数据并没有建立向量索引，因此普通向量检索的流程如下：

1. 首先，遍历磁盘上所有 Level File，读取每个 Level File 中存储的向量索引。通过索引搜索得到 N * K 个初步查询结果。
2. 其次，对 Cache Engine 中的数据（若有）进行穷举搜索，得到共（N + 1）* K 个查询结果。
3. 最后，将这（N + 1）* K 个查询结果根据与查询向量的 L2 距离从小到大进行归并排序，取出并返回与查询向量最相近的 K条数据。

混合检索

VectorDB 支持在查询语句中使用 where 条件过滤数据，以充分利用向量数据库的优势，提高检索的准确性和灵活性。这种检索方式适用于综合多个属性进行查询的场景。此时的向量检索流程为：

1. 根据 where 条件对数据进行初步过滤。
2. 将过滤后的数据按照 Level File 进行划分，确保同一 Level File 中的数据被划分在一起。
3. 对每个 Level File 中的数据使用其对应的索引进行相似性搜索。
4. 合并各 Level File 的搜索结果，并从中选出与查询向量最相近的 K 条数据作为最终返回结果。

在 DolphinDB 中，创建分布式分区表有两种方式：一种是使用 createPartitionedTable 函数，另一种是使用 create 语句。这两个函数中的 indexes 参数用于指定需要建立向量索引的列、向量索引的类型以及向量数据的维度。在创建数据表时，必须指定该参数，才能创建 VectorDB 中分布式分区表。

关于数据表的创建方法，请参考函数页面。本文仅说明 VectorDB 的使用限制。

建库限制：

只能创建 TSDB 引擎下的数据库，因此在使用 database 函数创建数据库时，必须设置 engine="TSDB"。

建表限制:

• 仅支持为分布式分区表设置向量索引，且建表时必须指定 keepDuplicates=ALL。

• 最多只能为一个 FLOAT[] 类型的列建立向量索引。该列中的每一行代表一个向量，且所有向量必须具有相同的维度。维度表示每个向量中的元素数量，由 indexes 参数中的 dim 指定。

• 插入向量索引列的数据维度必须与维度（dim）一致。

搜索限制:

只有在满足如下条件时，才会使用向量索引加速检索：

• 不能使用表连接查询。
• 查询语句中 order by 必须按升序排序，且仅支持使用 rowEuclidean计算距离。
• 传入 rowEuclidean 的第一个参数必须是已指定了向量索引的列，即 rowEuclidean(<vectorCol>, queryVec) 。
• 必须指定 limit 子句。
• 若指定了 where，则 where 条件中不能包含 sortColumns 中的任意列。
• 查询语句中不能指定 group by, having 等其他子句。

其它说明：

• 内存 Cache Engine 中的向量数据没有索引，无法对其通过向量索引加速检索。若需要检索这部分数据，可以通过 flushTSDBCache 强制将缓存中的数据写入磁盘后，再进行查询。