Python將json文件寫入ES數(shù)據(jù)庫的方法
1、安裝Elasticsearch數(shù)據(jù)庫
PS：在此之前需首先安裝Java SE環(huán)境
下載elasticsearch-6.5.2版本，進入/elasticsearch-6.5.2/bin目錄，雙擊執(zhí)行elasticsearch.bat 打開瀏覽器輸入http://localhost:9200 顯示以下內(nèi)容則說明安裝成功
安裝head插件，便于查看管理（還可以用kibana）
首先安裝Nodejs（下載地址https://nodejs.org/en/）
再下載elasticsearch-head-master包解壓到/elasticsearch-6.5.2/下（鏈接: https://pan.baidu.com/s/1q3kokFhpuJ2Q3otPgu7ldg
提取碼: 1rpp
修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml如下：
進入elasticsearch-head-master目錄下執(zhí)行npm install -g grunt-cli，再執(zhí)行npm install安裝依賴
在elasticsearch-head-master目錄下找到Gruntfile.js文件修改服務(wù)器監(jiān)聽地址如下：
執(zhí)行g(shù)runt server命令啟動head服務(wù)
訪問地址 http://localhost:9100/ 即可訪問head管理頁面
2、將json文件寫入ES數(shù)據(jù)庫（py腳本如下）
# -*- coding: UTF-8 -*-
from itertools import islice
import json , sys
from elasticsearch import Elasticsearch , helpers
import threading
_index = 'indextest' #修改為索引名
_type = 'string' #修改為類型名
es_url = 'http://192.168.116.1:9200/' #修改為elasticsearch服務(wù)器
reload(sys)
sys.setdefaultencoding('utf-8')
es = Elasticsearch(es_url)
es.indices.create(index=_index, ignore=400)
chunk_len = 10
num = 0
def bulk_es(chunk_data):
bulks=[]
try:
for i in xrange(chunk_len):
bulks.append({
"_index": _index,
"_type": _type,
"_source": chunk_data[i]
})
helpers.bulk(es, bulks)
except:
pass
with open(sys.argv[1]) as f:
while True:
lines = list(islice(f, chunk_len))
num =num +chunk_len
sys.stdout.write('\r' + 'num:'+'%d' % num)
sys.stdout.flush()
bulk_es(lines)
if not lines:
print "\n"
print "task has finished"
break
總結(jié)
以上所述是小編給大家介紹的Python將json文件寫入ES數(shù)據(jù)庫的方法，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
如果你覺得本文對你有幫助，歡迎轉(zhuǎn)載，煩請注明出處，謝謝！
相關(guān)文章
在本文中,我們將學(xué)習(xí) Python 中多線程和多處理的內(nèi)容、原因和方式,文中通過代碼示例給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-01-01
Pygame游戲開發(fā)之太空射擊實戰(zhàn)碰撞改進篇
相信大多數(shù)8090后都玩過太空射擊游戲，在過去游戲不多的年代太空射擊自然屬于經(jīng)典好玩的一款了，今天我們來自己動手實現(xiàn)它，在編寫學(xué)習(xí)中回顧過往展望未來，在本課中，我們將討論如何更改?Pygame?處理精靈之間沖突的方式2022-08-08
這篇文章主要為大家展示了如何從零開始搭建一個基于?Python?的微信小程序項目，包含詳細(xì)的解決思路、方案和實際案例，希望對大家有所幫助2023-05-05
下面小編就為大家分享一篇使用pygame模塊編寫貪吃蛇的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-02-02
本篇文章主要介紹了Django 前后臺的數(shù)據(jù)傳遞的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-08-08
python?memory_profiler庫生成器和迭代器內(nèi)存占用的時間分析
這篇文章主要介紹了python?memory_profiler庫生成器和迭代器內(nèi)存占用的時間分析，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，感興趣的小伙伴可以參考一下2022-06-06
這里我們將來詳解Python中的Descriptor描述符類,包括定義描述符并展示如何調(diào)用描述符,需要的朋友可以參考下2016-06-06
這篇文章主要介紹了Python3基于sax解析xml操作,結(jié)合實例形式分析了Python3使用sax解析xml文檔的相關(guān)原理與實現(xiàn)技巧,需要的朋友可以參考下2018-05-05
今天小編就為大家分享一篇Python字典底層實現(xiàn)原理詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
解決pytorch讀取自制數(shù)據(jù)集出現(xiàn)過的問題
這篇文章主要介紹了解決pytorch讀取自制數(shù)據(jù)集出現(xiàn)過的問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05