10分鐘用Python快速搭建全文搜索引擎詳解流程
有一個群友在群里問個如何快速搭建一個搜索引擎,在搜索之后我看到了這個
代碼所在
官方很貼心,很方便的是已經(jīng)提供了docker 鏡像,基本pull下來就可以很方便的使用了,執(zhí)行命令
cid=$(sudo docker ps -a | grep searx | awk '{print $1}') echo searx cid is $cid if [ "$cid" != "" ];then sudo docker stop $cid sudo docker rm $cid fi sudo docker run -d --name searx -e IMAGE_PROXY=True -e BASE_URL=http://yourdomain.com -p 7777:8888 wonderfall/searx
然后就可以使用了,正常查看docker的狀態(tài),就可以正常的使用了
思考
怎么樣,是不是很方便,我們先看看源碼是怎么樣實現(xiàn)的
我們打開里面的代碼,其實本質(zhì)就是將request之后的結(jié)果做一個大的聚合,至于數(shù)據(jù)來源,我們可以是來于DB,或者文件,我們可以看一下他的核心代碼
from urllib import urlencode from json import loads from collections import Iterable search_url = None url_query = None content_query = None title_query = None suggestion_query = '' results_query = '' # parameters for engines with paging support # # number of results on each page # (only needed if the site requires not a page number, but an offset) page_size = 1 # number of the first page (usually 0 or 1) first_page_num = 1 def iterate(iterable): if type(iterable) == dict: it = iterable.iteritems() else: it = enumerate(iterable) for index, value in it: yield str(index), value def is_iterable(obj): if type(obj) == str: return False if type(obj) == unicode: return False return isinstance(obj, Iterable) def parse(query): q = [] for part in query.split('/'): if part == '': continue else: q.append(part) return q def do_query(data, q): ret = [] if not q: return ret qqkey = q[0] for key, value in iterate(data): if len(q) == 1: if key == qkey: ret.append(value) elif is_iterable(value): ret.extend(do_query(value, q)) else: if not is_iterable(value): continue if key == qkey: ret.extend(do_query(value, q[1:])) else: ret.extend(do_query(value, q)) return ret def query(data, query_string): q = parse(query_string) return do_query(data, q) def request(query, params): query = urlencode({'q': query})[2:] fp = {'query': query} if paging and search_url.find('{pageno}') >= 0: fp['pageno'] = (params['pageno'] - 1) * page_size + first_page_num params['url'] = search_url.format(**fp) params['query'] = query return params def response(resp): results = [] json = loads(resp.text) if results_query: for result in query(json, results_query)[0]: url = query(result, url_query)[0] title = query(result, title_query)[0] content = query(result, content_query)[0] results.append({'url': url, 'title': title, 'content': content}) else: for url, title, content in zip( query(json, url_query), query(json, title_query), query(json, content_query) ): results.append({'url': url, 'title': title, 'content': content}) if not suggestion_query: return results for suggestion in query(json, suggestion_query): results.append({'suggestion': suggestion}) return results
結(jié)果
每個response的時候我們都要以輕松的定制返回的數(shù)據(jù)(可以是網(wǎng)絡(luò),可以是數(shù)據(jù)庫,可以是文件),那我們進(jìn)一步想一下,如果我們可以hack response 結(jié)果,那我們完全可以將自己爬來的數(shù)據(jù)做為返回結(jié)果。如果是1024之類的,完全可以打造自己的“愛好”小引擎,代碼我就不貼了,大家可以自己動手自己玩玩。結(jié)合jieba分詞,可以更好玩一點。
到此這篇關(guān)于10分鐘用Python快速搭建全文搜索引擎詳解流程的文章就介紹到這了,更多相關(guān)Python 搜索引擎內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python數(shù)據(jù)結(jié)構(gòu)之翻轉(zhuǎn)鏈表
這篇文章主要介紹了Python數(shù)據(jù)結(jié)構(gòu)之翻轉(zhuǎn)鏈表的相關(guān)資料,需要的朋友可以參考下2017-02-02pandas使用get_dummies進(jìn)行one-hot編碼的方法
今天小編就為大家分享一篇pandas使用get_dummies進(jìn)行one-hot編碼的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07Python設(shè)計模式結(jié)構(gòu)型享元模式
這篇文章主要介紹了Python享元模式,享元模式即Flyweight Pattern,指運用共享技術(shù)有效地支持大量細(xì)粒度的對象,下面和小編一起進(jìn)入文章了解更多詳細(xì)內(nèi)容吧2022-02-02python語言中pandas字符串分割str.split()函數(shù)
分列在我們?nèi)粘9ぷ髦薪?jīng)常用到,從各種系統(tǒng)中導(dǎo)出的什么訂單號、名稱、日期很多都是復(fù)合組成的,這些列在匹配、合并時沒有辦法使用,我們經(jīng)常需要將她們分開,下面這篇文章主要給大家介紹了關(guān)于python語言中pandas字符串分割str.split()函數(shù)的相關(guān)資料,需要的朋友可以參考下2022-08-08淺談Pytorch中的自動求導(dǎo)函數(shù)backward()所需參數(shù)的含義
今天小編就為大家分享一篇淺談Pytorch中的自動求導(dǎo)函數(shù)backward()所需參數(shù)的含義,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02