Apache Lucene 7.0 – 索引文件格式

Apache Lucene 7.0 – 索引文件格式

文章目录

• Apache Lucene 7.0 – 索引文件格式
• • 介绍
  • 定义
  • 反向索引
  • 字段类型
  • 段
  • 文档数量
  • 索引结构概述
  • 文件命名
  • 文件扩展名摘要
  • 锁文件

原文地址

介绍

这个文档定义了在这个版本的Lucene中使用的索引文件格式。如果您使用的是不同版本的Lucene，请查询对应版本的文档。

本文档试图提供Apache Lucene文件格式的高级定义。

定义

Lucene的基本概念是索引、文档、字段和术语（分词后的检索词）。

索引包含一系列文档。

文档是一系列字段。

• 字段是一个命名的术语序列。
• 术语是一个字节序列。
• 两个不同字段中的相同字节序列被认为是不同的术语。因此，术语被表示为一对:命名字段的字符串和字段内的字节。

反向索引

索引存储有关术语的统计信息，以便使基于术语的搜索更有效。Lucene的索引属于被称为倒排索引的索引族。这是因为对于一个术语，它可以列出包含它的文档。这与文档列出术语的自然关系相反。

字段类型

在Lucene中，字段可以被存储，在这种情况下，它们的文本以一种非反向的方式逐字存储在索引中。倒置的字段称为索引。一个字段可以被存储和索引。

字段的文本可以被标记成要索引的术语，或者字段的文本可以按字面意思用作要索引的术语。大多数字段都是标记化的，但有时对某些标识符字段进行逐字索引是有用的。

有关Field的更多信息，请参阅Field java文档。

段

Lucene索引可以由多个子索引或段组成。每个段都是一个完全独立的索引，可以单独搜索。指数的演变:

为新添加的文档创建新的段。

1. 合并现有段。
2. 搜索可能涉及多个段和多个索引，每个索引可能由一组段组成。

文档数量

在内部，Lucene通过一个整数文档号来引用文档。添加到索引中的第一个文档编号为0，随后添加的每个文档的编号都比前一个文档大1。

注意文档的编号可能会改变，所以在Lucene之外存储这些编号时要小心。在以下情况下，数字可能会发生变化:

存储在每个段中的数字仅在该段内是唯一的，并且必须在将其用于更大的上下文中之前进行转换。标准技术是根据每个段中使用的数字范围为每个段分配一个值范围。要将文档号从段转换为外部值，需要添加段的基本文档号。为了将外部值转换回特定于段的值，段由外部值所在的范围标识，并减去段的基值。例如，可以组合两个5个文档段，使第一个段的基值为0，第二个段的基值为5。第二部分的文档3的外部值为8。

当文档被删除时，在编号中会产生空白。随着索引在合并过程中的演变，这些最终会被删除。在合并段时删除已删除的文档。因此，新合并的段在编号上没有间隙。

索引结构概述

每个段索引维护如下内容:

• Segment info.它包含关于一个段的元数据，例如文档的数量，它使用的文件。
• Field names. 它包含索引中使用的字段名称集。
• Stored Field values. T对于每个文档，这包含一个属性值对列表，其中属性是字段名。它们用于存储关于文档的辅助信息，例如文档的标题、url或访问数据库的标识符。存储的字段集是在搜索时为每个命中返回的内容。这是由文档号输入的。
• Term dictionary. 包含所有文档的所有索引字段中使用的所有术语的字典。字典还包含包含该术语的文档数量，以及指向该术语的频率和接近度数据的指针。
• Term Frequency data. 对于字典中的每个术语，包含该术语的所有文档的编号，以及该术语在该文档中出现的频率，除非省略频率(IndexOptions.DOCS_ONLY)
• Term Proximity data. 对于字典中的每个术语，表示该术语在每个文档中出现的位置。请注意，如果所有文档中的所有字段都省略位置数据，则不存在此方法。
• Normalization factors. 对于每个文档中的每个字段，存储一个值，该值乘以该字段的命中分数。
• Term Vectors. 对于每个文档中的每个字段，都可以存储术语向量（有时也称为文档向量）。术语向量由术语文本和术语频率组成。要在索引中添加术语向量，请参见 Field 构造函数
• Per-document values.与存储值一样，这些值也是按文档编号键入的，但通常是为了快速访问而加载到主存 储器中。存储值一般用于搜索结果的汇总，而每个文档值则适用于评分因子等。
• Live documents. 可选文件，说明哪些文件是实时文件。
• Point values. 可选的一对文件，记录维度索引字段，以实现快速数值范围过滤和大数值，如 BigInteger 和 BigDecimal（1D）以及地理形状交叉（2D、3D）。

文件命名

属于一个段的所有文件具有相同的名称，但扩展名不同。扩展名对应于下面描述的不同文件格式。当使用复合文件格式(小段的默认格式)时，这些文件(段信息文件、锁文件和删除文档文件除外)被折叠成一个.cfs文件(详细信息见下文)。

通常，索引中的所有段都存储在单个目录中，尽管这不是必需的。

文件名永远不会被重用。也就是说，当任何文件保存到目录时，它被赋予一个从未使用过的文件名。这是使用简单的生成方法实现的。例如，第一个片段文件是segments_1，然后是segments_2，等等。生成是一个以字母数字(基数36)形式表示的连续长整数。

文件扩展名摘要

下表总结了 Lucene 中文件的名称和扩展名：

锁文件

默认存储在索引目录中的写锁名为“write.lock”。如果锁目录与索引目录不同，那么写锁将被命名为“XXXX-write”。其中XXXX是从索引目录的完整路径派生的唯一前缀。当这个文件存在时，写程序当前正在修改索引(添加或删除文档)。这个锁文件确保一次只有一个写入器在修改索引。