快捷導(dǎo)航

python 全文檢索引擎詳解

更新時(shí)間：2017年04月25日 11:39:30 投稿：lqh

這篇文章主要介紹了python 全文檢索引擎詳解的相關(guān)資料,需要的朋友可以參考下

python 全文檢索引擎詳解

最近一直在探索著如何用Python實(shí)現(xiàn)像百度那樣的關(guān)鍵詞檢索功能。說(shuō)起關(guān)鍵詞檢索，我們會(huì)不由自主地聯(lián)想到正則表達(dá)式。正則表達(dá)式是所有檢索的基礎(chǔ)，python中有個(gè)re類，是專門(mén)用于正則匹配。然而，光光是正則表達(dá)式是不能很好實(shí)現(xiàn)檢索功能的。

python有一個(gè)whoosh包，是專門(mén)用于全文搜索引擎。

whoosh在國(guó)內(nèi)使用的比較少，而它的性能還沒(méi)有sphinx/coreseek成熟，不過(guò)不同于前者，這是一個(gè)純python庫(kù)，對(duì)python的愛(ài)好者更為方便使用。具體的代碼如下

安裝

輸入命令行 pip install whoosh

需要導(dǎo)入的包有:

fromwhoosh.index import create_in

fromwhoosh.fields import *

fromwhoosh.analysis import RegexAnalyzer

fromwhoosh.analysis import Tokenizer,Token

中文分詞解析器

class ChineseTokenizer(Tokenizer):
  """
  中文分詞解析器
  """
  def __call__(self, value, positions=False, chars=False,
         keeporiginal=True, removestops=True, start_pos=0, start_char=0,
         mode='', **kwargs):
    assert isinstance(value, text_type), "%r is not unicode "% value
    t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
    list_seg = jieba.cut_for_search(value)
    for w in list_seg:
      t.original = t.text = w
      t.boost = 0.5
      if positions:
        t.pos = start_pos + value.find(w)
      if chars:
        t.startchar = start_char + value.find(w)
        t.endchar = start_char + value.find(w) + len(w)
      yield t


def chinese_analyzer():
  return ChineseTokenizer()

構(gòu)建索引的函數(shù)

@staticmethod
  def create_index(document_dir):
    analyzer = chinese_analyzer()
    schema = Schema(titel=TEXT(stored=True, analyzer=analyzer), path=ID(stored=True),
            content=TEXT(stored=True, analyzer=analyzer))
    ix = create_in("./", schema)
    writer = ix.writer()
    for parents, dirnames, filenames in os.walk(document_dir):
      for filename in filenames:
        title = filename.replace(".txt", "").decode('utf8')
        print title
        content = open(document_dir + '/' + filename, 'r').read().decode('utf-8')
        path = u"/b"
        writer.add_document(titel=title, path=path, content=content)
    writer.commit()

檢索函數(shù)

 @staticmethod
  def search(search_str):
    title_list = []
    print 'here'
    ix = open_dir("./")
    searcher = ix.searcher()
    print search_str,type(search_str)
    results = searcher.find("content", search_str)
    for hit in results:
      print hit['titel']
      print hit.score
      print hit.highlights("content", top=10)
      title_list.append(hit['titel'])
    print 'tt',title_list
    return title_list

感謝閱讀，希望能幫助到大家，謝謝大家對(duì)本站的支持！

您可能感興趣的文章: