手机网站建设报价多少,网站怎么做移动图片不显示不出来吗,上海高端室内设计公司,购物网站html模板Apache Lucene 7.0 - 索引文件格式 文章目录 Apache Lucene 7.0 - 索引文件格式介绍定义反向索引字段类型段文档数量索引结构概述文件命名文件扩展名摘要锁文件 原文地址 介绍
这个文档定义了在这个版本的Lucene中使用的索引文件格式。如果您使用的是不同版本的Lucene#xf…Apache Lucene 7.0 - 索引文件格式 文章目录 Apache Lucene 7.0 - 索引文件格式介绍定义反向索引字段类型段文档数量索引结构概述文件命名文件扩展名摘要锁文件 原文地址 介绍
这个文档定义了在这个版本的Lucene中使用的索引文件格式。如果您使用的是不同版本的Lucene请查询对应版本的文档。
本文档试图提供Apache Lucene文件格式的高级定义。
定义
Lucene的基本概念是索引、文档、字段和术语分词后的检索词。
索引包含一系列文档。
文档是一系列字段。
字段是一个命名的术语序列。术语是一个字节序列。两个不同字段中的相同字节序列被认为是不同的术语。因此术语被表示为一对:命名字段的字符串和字段内的字节。
反向索引
索引存储有关术语的统计信息以便使基于术语的搜索更有效。Lucene的索引属于被称为倒排索引的索引族。这是因为对于一个术语它可以列出包含它的文档。这与文档列出术语的自然关系相反。
字段类型
在Lucene中字段可以被存储在这种情况下它们的文本以一种非反向的方式逐字存储在索引中。倒置的字段称为索引。一个字段可以被存储和索引。
字段的文本可以被标记成要索引的术语或者字段的文本可以按字面意思用作要索引的术语。大多数字段都是标记化的但有时对某些标识符字段进行逐字索引是有用的。
有关Field的更多信息请参阅Field java文档。
段
Lucene索引可以由多个子索引或段组成。每个段都是一个完全独立的索引可以单独搜索。指数的演变:
为新添加的文档创建新的段。
合并现有段。搜索可能涉及多个段和多个索引每个索引可能由一组段组成。
文档数量
在内部Lucene通过一个整数文档号来引用文档。添加到索引中的第一个文档编号为0随后添加的每个文档的编号都比前一个文档大1。
注意文档的编号可能会改变所以在Lucene之外存储这些编号时要小心。在以下情况下数字可能会发生变化:
存储在每个段中的数字仅在该段内是唯一的并且必须在将其用于更大的上下文中之前进行转换。标准技术是根据每个段中使用的数字范围为每个段分配一个值范围。要将文档号从段转换为外部值需要添加段的基本文档号。为了将外部值转换回特定于段的值段由外部值所在的范围标识并减去段的基值。例如可以组合两个5个文档段使第一个段的基值为0第二个段的基值为5。第二部分的文档3的外部值为8。
当文档被删除时在编号中会产生空白。随着索引在合并过程中的演变这些最终会被删除。在合并段时删除已删除的文档。因此新合并的段在编号上没有间隙。
索引结构概述
每个段索引维护如下内容:
Segment info.它包含关于一个段的元数据例如文档的数量它使用的文件。Field names. 它包含索引中使用的字段名称集。Stored Field values. T对于每个文档这包含一个属性值对列表其中属性是字段名。它们用于存储关于文档的辅助信息例如文档的标题、url或访问数据库的标识符。存储的字段集是在搜索时为每个命中返回的内容。这是由文档号输入的。Term dictionary. 包含所有文档的所有索引字段中使用的所有术语的字典。字典还包含包含该术语的文档数量以及指向该术语的频率和接近度数据的指针。Term Frequency data. 对于字典中的每个术语包含该术语的所有文档的编号以及该术语在该文档中出现的频率除非省略频率(IndexOptions.DOCS_ONLY)Term Proximity data. 对于字典中的每个术语表示该术语在每个文档中出现的位置。请注意如果所有文档中的所有字段都省略位置数据则不存在此方法。Normalization factors. 对于每个文档中的每个字段存储一个值该值乘以该字段的命中分数。Term Vectors. 对于每个文档中的每个字段都可以存储术语向量有时也称为文档向量。术语向量由术语文本和术语频率组成。要在索引中添加术语向量请参见 Field 构造函数Per-document values.与存储值一样这些值也是按文档编号键入的但通常是为了快速访问而加载到主存 储器中。存储值一般用于搜索结果的汇总而每个文档值则适用于评分因子等。Live documents. 可选文件说明哪些文件是实时文件。Point values. 可选的一对文件记录维度索引字段以实现快速数值范围过滤和大数值如 BigInteger 和 BigDecimal1D以及地理形状交叉2D、3D。
文件命名
属于一个段的所有文件具有相同的名称但扩展名不同。扩展名对应于下面描述的不同文件格式。当使用复合文件格式(小段的默认格式)时这些文件(段信息文件、锁文件和删除文档文件除外)被折叠成一个.cfs文件(详细信息见下文)。
通常索引中的所有段都存储在单个目录中尽管这不是必需的。
文件名永远不会被重用。也就是说当任何文件保存到目录时它被赋予一个从未使用过的文件名。这是使用简单的生成方法实现的。例如第一个片段文件是segments_1然后是segments_2等等。生成是一个以字母数字(基数36)形式表示的连续长整数。
文件扩展名摘要
下表总结了 Lucene 中文件的名称和扩展名
NameExtensionBrief DescriptionSegments Filesegments_N存储有关提交点的信息N随着commit的次数增长而增长Lock Filewrite.lock写入锁文件可防止多个 IndexWriters 向同一文件写入。Segment Info.si记录对应段的元数据Compound File.cfs, .cfe合并当前段内所有文件生产合并文件.cfe扩展后缀的合并文件用于记 录合并之前段对应的所有文件的元信息.cfs扩展后缀的合并文件存储的 是合并前段内所有文件的实际数据Fields.fnm记录index对应所有字段的信息Field Index.fdxdoc通过docId来标识被存储在.fdt的文件中方便快速的查询到docid对 应的数据需要对doc数据做相关的索引位置记录Field Data.fdt存储doc数据的文件只有设置Field.Store.YES的field对应的数据才会 被存储在该文件中Term Dictionary.tim术语词典记录术语信息Term Index.tipterm被记录存储在.tim中当term数据很大时需要对term进行索引方便 快速定位到对应的termFrequencies.doc记录包含每个术语的文档列表以及频率Positions.pos记录术语在索引中出现的位置Payloads.pay记录额外的每个位置元数据信息如字符偏移和用户有效载荷Norms.nvd, .nvmnvd保存索引文档字段的加权因子的数据搜索时计算相关性的一个系数nvm保存索引文档字段加权因子的元数据Per-Document Values.dvd, .dvmdvd保存索引文档的评分因子也用于存储docValues类型的字段数据即 列存储正向索引dvm保存索引文档的评分因子的元数据Term Vector Index.tvx将偏移量存入文件数据文件Term Vector Data.tvd包含术语向量数据。Live Documents.liv有关实时文件的信息Point values.dii, .dim保存索引点如果有
锁文件
默认存储在索引目录中的写锁名为“write.lock”。如果锁目录与索引目录不同那么写锁将被命名为“XXXX-write”。其中XXXX是从索引目录的完整路径派生的唯一前缀。当这个文件存在时写程序当前正在修改索引(添加或删除文档)。这个锁文件确保一次只有一个写入器在修改索引。
