文本存储引擎

TextDB 的实现围绕以下几个方面展开：文本数据存储、文本索引构建、文本索引存储、文本数据检索。

TextDB 提供以下查询函数用于文本索引查询。请注意，这些函数仅适用于已创建文本索引的列，且只能在查询语句的 where 子句中使用，无法单独调用。

若不使用文本索引查询函数，而是直接在文本索引列上使用 = 或 in 查询，将自动使用文本索引，从而加速查询。触发查询加速需同时满足以下条件：

• 建立文本索引时设置分词器为 none 分词器。

• = 或 in 查询的另一侧为常量。

select textCol from pt where textCol = "apple";
select textCol from pt where textCol in ("apple","banana");

建库建表

目前 TextDB 只支持基于 PKEY 引擎使用，因此建库时需要指定 engine="PKEY"。

// 创建 PKEY 引擎中的数据库
dbName = "dfs://test"
if (existsDatabase(dbName)){
        dropDatabase(dbName)
}

// 通过函数创建数据库
db = database(dbName, HASH, [INT, 3], engine=`PKEY)

// 通过SQL语句创建数据库
create database "dfs://test" 
partitioned by HASH([INT, 3]),engine="PKEY"

// 通过函数创建表，并通过indexes参数指定文本索引，其中textCol列为索引列
schematb = table(5:5, `col0`col1`textCol, [INT,INT,STRING])
pt = createPartitionedTable(dbHandle=db,table=schematb,tableName=`pt, partitionColumns=`col0, primaryKey=`col0`col1, indexes={"textCol":"textindex(parser=english,full=false,lowercase=true,stem=false)"})

// 通过SQL语句创建表，并通过indexes参数指定文本索引，其中textCol列为索引列
CREATE TABLE "dfs://test"."pt"(
    col0 INT,
    col1 INT,
    textCol STRING [indexes="textIndex(parser=english,full=true,lowercase=true,stem=false)"]
)
PARTITIONED BY col0,
primaryKey=`col0`col1

索引查询

本节展示如何通过 TextDB 提供的文本索引查询函数进行查询。

首先基于上一节建立的库表，插入一些数据用于后续查询：

textData = [
        "The sun was shining brightly as I walked down the street, enjoying the warmth of the summer day.",
        "I enjoy a refreshing smoothie made with apple every morning.",
        "The sound of the waves crashing against the shore was a soothing melody that helped me relax after a long day.",
        "The city skyline looked stunning from the top of the mountain, with the lights twinkling like stars in the night sky.",
        "The picnic basket was filled with juicy apple slices and ripe banana for a healthy snack."
    ]
data = table(1..5 as col1, 1..5 as col2, textData)

//分区表中写入数据后，强制将数据写入磁盘
pt.append!(data)

执行查询：

//查询数据
// 查询含"apple"或"banana"的行
select textCol from pt where matchAny(textCol, "apple banana");

// 查询同时包含"apple"和"banana"的行
select textCol from pt where matchAll(textCol, "apple banana");

// 查询所有包含短语"juicy apple"的行
select textCol from pt where matchPhrase(textCol, "juicy apple");

// 查询所有包含以"ap"为前缀的单词的行
select textCol from pt where matchPrefix(textCol, "ap");

// 查询所有包含以"ana"为后缀的单词的行
select textCol from pt where matchSuffix(textCol, "ana");

// 查询所有包含以"a"为前缀，且以"le"为后缀的单词的行
select textCol from pt where matchPrefixSuffix(textCol, "ap", "le");

// 查询包含以"filled with juicy ap" 为前缀的短语所在的行
select textCol from pt where matchPhrasePrefix(textCol, "filled with juicy", "ap");

// 查询包含以"th of the summer day"为后缀的短语所在的行
select textCol from pt where matchPhraseSuffix(textCol, "th", "of the summer day");

// 查询包含以"hts twinkling like sta"为中缀的短语所在的行
select textCol from pt where matchPhraseInfix(textCol, "hts", "twinkling like", "sta");

/**
  查询包含了 "enjoying the summer day"的短语的行，且如果短语内部有小于等于2个无关词汇，也可以被匹配到
  如 "enjoying the summer day", "enjoying xxx the yyy summer day"都会被匹配，其中xxx,yyy为无关词汇
  注：如果查询字段或目标字符串中包含停止词，停止词会被预先过滤掉，因此均不计入"无关词汇个数"
*/
select textCol from pt where matchSpan(textCol, "enjoying the summer day", 2)

/**
  查询包含了 "day summer the enjoying"的短语的行，且如果短语内部有小于等于2个无关词汇，也可以被匹配到。
  且忽略目标文本中 day summer the enjoying之间的相对顺序
  如 "enjoying the xxx summer day", "day xxx summer the yyy enjoying"都会被匹配，其中xxx,yyy为无关词汇
*/
select textCol from pt where matchUnorderedSpan(textCol, "day summer the enjoying", 2)