快捷導(dǎo)航

python批量導(dǎo)入數(shù)據(jù)進(jìn)Elasticsearch的實(shí)例

更新時(shí)間：2018年05月30日 10:43:27 作者：小威xiaowei2

今天小編就為大家分享一篇python批量導(dǎo)入數(shù)據(jù)進(jìn)Elasticsearch的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

ES在之前的博客已有介紹，提供很多接口，本文介紹如何使用python批量導(dǎo)入。ES官網(wǎng)上有較多說(shuō)明文檔，仔細(xì)研究并結(jié)合搜索引擎應(yīng)該不難使用。

先給代碼

#coding=utf-8
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch import helpers
es = Elasticsearch()
actions = []
f=open('index.txt')
i=1
for line in f:
 line = line.strip().split(' ')
 action={
 "_index":"image",
 "_type":"imagetable",
 "_id":i,
 "_source":{
  u"圖片名":line[0].decode('utf8'),
  u"來(lái)源":line[1].decode('utf8'),
  u"權(quán)威性":line[2].decode('utf8'),
  u"大小":line[3].decode('utf8'),
  u"質(zhì)量":line[4].decode('utf8'),
  u"類別":line[5].decode('utf8'),
  u"型號(hào)":line[6].decode('utf8'),
  u"國(guó)別":line[7].decode('utf8'),
  u"采集人":line[8].decode('utf8'),
  u"所屬部門":line[9].decode('utf8'),
  u"關(guān)鍵詞":line[10].decode('utf8'),
  u"訪問(wèn)權(quán)限":line[11].decode('utf8') 
  }
 }
 i+=1
 actions.append(action)
 if(len(actions)==500):
 helpers.bulk(es, actions)
 del actions[0:len(actions)]
if (len(actions) > 0):
 helpers.bulk(es, actions)

每句話的含義還是很明顯的，這里需要說(shuō)幾點(diǎn)，首先是index.txt是以u(píng)tf8編碼的，所以需要decode('utf8')轉(zhuǎn)換成unicode對(duì)象，并且“圖片名”前需要加u，否則ES會(huì)報(bào)錯(cuò)

導(dǎo)入的速度還是很快的，2000多條記錄每秒。

以上這篇python批量導(dǎo)入數(shù)據(jù)進(jìn)Elasticsearch的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

TensorFlow2中提供的幾種處理特征列的方法小結(jié)
本文主要介紹了TensorFlow2中提供的幾種處理特征列的方法小結(jié),主要介紹了6種方式,具有一定的參考價(jià)值,感興趣的可以了解一下
2023-09-09
基于python實(shí)現(xiàn)操作git過(guò)程代碼解析
這篇文章主要介紹了基于python實(shí)現(xiàn)操作git過(guò)程代碼解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-07-07
Python小整數(shù)對(duì)象池和字符串intern實(shí)例解析
這篇文章主要介紹了Python小整數(shù)對(duì)象池和字符串intern實(shí)例解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-03-03
Python中asyncio模塊使用詳解
Python中的asyncio模塊提供了異步IO支持,通過(guò)協(xié)程和事件循環(huán)實(shí)現(xiàn)異步編程,使用裝飾器@asyncio.coroutine可以定義協(xié)程,yield from語(yǔ)法用于調(diào)用其他協(xié)程并實(shí)現(xiàn)非阻塞等待,asyncio.sleep()模擬IO操作,通過(guò)并發(fā)執(zhí)行多個(gè)協(xié)程提高程序性能
2024-10-10
Tensorflow實(shí)現(xiàn)酸奶銷量預(yù)測(cè)分析
這篇文章主要為大家詳細(xì)介紹了Tensorflow酸奶銷量預(yù)測(cè)分析，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-07-07
Python網(wǎng)絡(luò)編程之HTTP客戶端模塊urllib與urllib3
這篇文章介紹了Python網(wǎng)絡(luò)編程之HTTP客戶端模塊urllib與urllib3，文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-05-05
PyCharm設(shè)置SSH遠(yuǎn)程調(diào)試的方法
這篇文章主要介紹了PyCharm設(shè)置SSH遠(yuǎn)程調(diào)試的方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2018-07-07
如何利用python在剪貼板上讀取/寫入數(shù)據(jù)
說(shuō)起處理數(shù)據(jù)就離不開導(dǎo)入導(dǎo)出,而我們使用Pandas時(shí)候最常用的就是read_excel、read_csv了,下面這篇文章主要給大家介紹了關(guān)于如何利用python在剪貼板上讀取/寫入數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下
2022-07-07
python爬蟲爬取58同城上所有城市的租房信息詳解
這篇文章主要介紹了python爬蟲爬取58同城上所有城市的租房信息詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-07-07
Python安裝Imaging報(bào)錯(cuò)：The _imaging C module is not installed問(wèn)題解決
這篇文章主要介紹了Python安裝Imaging報(bào)錯(cuò)：The _imaging C module is not installed問(wèn)題解決方法,原來(lái)是PIL庫(kù)的庫(kù)文件沒有加到系統(tǒng)中導(dǎo)致老是提示這個(gè)錯(cuò)誤,需要的朋友可以參考下
2014-08-08