Quantcast
Channel: IT社区推荐资讯 - ITIndex.net
Viewing all articles
Browse latest Browse all 11804

jsearch的索引文件结构

$
0
0

jsearch是一个高性能的全文检索工具包,基于倒排索引,基于java8,类似于lucene,但更轻量级。


jsearch的索引文件结构定义如下:

    1、一个词的索引由 =分割的三部分组成:
       
第一部分是词
       
第二部分是这个词在多少个文档中出现过(上限 1000
       
第三部分是倒排表
    2
、倒排表由多个倒排表项目组成,倒排表项目之间使用 |分割
    3
、倒排表项目的组成又分为三部分,用 _分割:
       
第一部分是文档 ID
       
第二部分是词频
       
第三部分是词的位置
    4
、词的位置用 :分割
   
   
例如 :
    shingles=31=47466_1_2|1_1_6|1_1_1|2_1_5|67_1_1|903_1_3|17_1_5|1_3_4:6:11
   
表示词 shingles 的索引:
   
词: shingles
   
31 个文档包含 shingles 这个词
   
包含这个词的第一篇文档的 ID47466
    shingles
的词频是 1,出现 shingles 的位置是 2
   
文档内容为:
    A better solution is to use shingles, which are compound tokens created
    from multiple adjacent tokens.
   
对文档内容进行分词并移除停用词之后的结果为:
    [solution, shingles, compound, tokens, created, multiple, adjacent, tokens]
   
   
包含这个词的第二篇文档的 ID47466+1=47467
    shingles
的词频是 1,出现 shingles 的位置是 6
   
文档内容为:
    Lucene has a sandbox module that simplifies adding shingles to your index,
    described in section 8.3.2
   
对文档内容进行分词并移除停用词之后的结果为:
    [lucene, sandbox, module, simplifies, adding, shingles, index, section]
   
   
包含这个词的第八篇文档的 ID47466+1+1+2+67+903+17+1=48458
    shingles
的词频是 3,出现 shingles 的位置分别是 4611
   
文档内容为:
    For example the sentence “please divide this sentence into shingles”
    might be tokenized into the shingles “please divide”, “divide this”,
    “this sentence”, “sentence into” and “into shingles”
   
对文档内容进行分词并移除停用词之后的结果为:
    [sentence, divide, sentence, shingles, tokenized, shingles, divide, divide, sentence, sentence, shingles]
   
   
这里需要注意的是位置不是和原文一一对应的,而是和去除停用词后的位置一一对应的
    停用词的定义看 这里的链接
分词使用 word分词提供的 针对纯英文文本的分词器


   
    






Viewing all articles
Browse latest Browse all 11804

Trending Articles



<script src="https://jsc.adskeeper.com/r/s/rssing.com.1596347.js" async> </script>