python連接kafka加載數(shù)據(jù)的項(xiàng)目實(shí)踐
背景：讀取TXT文件，加載到kafka中，然后通過(guò)logstash消費(fèi)kafka中的數(shù)據(jù)加載到es中
第一步：導(dǎo)入相應(yīng)的依賴(lài)包
pip install kafka-python pip install loguru pip install msgpack
第二步：編寫(xiě)連接kafka的代碼
# -*- coding: utf-8 -*-
import json
import json
import msgpack
from loguru import logger
from kafka import KafkaProducer
from kafka.errors import KafkaError
def kfk_produce_1():
"""
發(fā)送 json 格式數(shù)據(jù)
:return:
"""
producer = KafkaProducer(
//連接kafka集群的配置信息
bootstrap_servers='192.168.85.109:9092',
value_serializer=lambda v: json.dumps(v).encode('utf-8')
)
//這里是你創(chuàng)建topic和打算發(fā)送數(shù)據(jù)的地方
producer.send('python_test_topic', {'key': 'value'})
kfk_produce_1()第三步：驗(yàn)證是否在kafka中創(chuàng)建topic
kafka的消費(fèi)者界面上已經(jīng)出現(xiàn)了創(chuàng)建的topic，并且數(shù)據(jù)也接收到了
注意：下面的消費(fèi)者界面的按鈕，要先運(yùn)行起來(lái)，選擇好kafka環(huán)境和topic，group以后，點(diǎn)擊那個(gè)綠色的運(yùn)行按鈕，就能實(shí)時(shí)看到發(fā)送過(guò)來(lái)的消息了，??
問(wèn)題記錄：
然后在使用時(shí)，報(bào)錯(cuò)提示：ImportError: cannot import name ‘KafkaConsumer’
找了一會(huì)兒最后發(fā)現(xiàn)自己創(chuàng)建的文件名叫做：kafka.py，突然意識(shí)到問(wèn)題出在哪里了。
原因：
簡(jiǎn)單說(shuō)就是因?yàn)?，?chuàng)建的文件名是kafka.py，這會(huì)導(dǎo)致代碼運(yùn)行時(shí)，python解釋器查找kafka的模塊時(shí)，就找到自身kafka.py了，所以就報(bào)錯(cuò)。
以后寫(xiě)代碼的時(shí)候，還是要注意，切記不要用關(guān)鍵字去命名文件，避免不必要的麻煩。
到此這篇關(guān)于python連接kafka加載數(shù)據(jù)的項(xiàng)目實(shí)踐的文章就介紹到這了,更多相關(guān)python連接kafka加載數(shù)據(jù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python實(shí)現(xiàn)RSA加密(解密)算法
RSA是目前最有影響力的公鑰加密算法，它能夠抵抗到目前為止已知的絕大多數(shù)密碼攻擊，已被ISO推薦為公鑰數(shù)據(jù)加密標(biāo)準(zhǔn)，下面通過(guò)本文給大家介紹python實(shí)現(xiàn)RSA加密(解密)算法，需要的朋友參考下2016-02-02
Python利用前序和中序遍歷結(jié)果重建二叉樹(shù)的方法
這篇文章主要介紹了Python利用前序和中序遍歷結(jié)果重建二叉樹(shù)的方法,實(shí)例分析了Python二叉樹(shù)的定義與遍歷操作技巧,需要的朋友可以參考下2016-04-04
這篇文章將詳細(xì)為大家講解圖像采樣處理，包括原理知識(shí)、代碼實(shí)現(xiàn)和局部馬賽克處理。文中的示例代碼講解詳細(xì)，感興趣的可以跟隨小編一起動(dòng)手試一試2022-02-02
這篇文章主要介紹了Python中文豎排顯示的方法,可實(shí)現(xiàn)Python將中文豎排輸出顯示的功能,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了如何基于python操作excel并獲取內(nèi)容,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12
Python開(kāi)發(fā)生產(chǎn)環(huán)境常用的4個(gè)工具(實(shí)用推薦)
構(gòu)建優(yōu)秀的軟件需要遵循特定的規(guī)則并執(zhí)行行業(yè)標(biāo)準(zhǔn),如何在真實(shí)的生產(chǎn)環(huán)境開(kāi)發(fā)中體現(xiàn)呢？在這篇文章中,我將向您展示我在Python項(xiàng)目中設(shè)置的4種工具,以簡(jiǎn)化開(kāi)發(fā)工作流程并執(zhí)行一些最佳實(shí)踐,這些工具幫助我提高了效率,節(jié)省了時(shí)間,希望你讀完也能有所收獲2024-01-01
今天小編就為大家分享一篇使用Python進(jìn)行目錄的對(duì)比方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-11-11
Python對(duì)列表進(jìn)行排序的五種方法舉例
這篇文章主要介紹了Python對(duì)列表進(jìn)行排序的五種方法,文中包括sort()方法、sorted()函數(shù)、lambda表達(dá)式、operator模塊和numpy模塊,幫助開(kāi)發(fā)者根據(jù)具體需求選擇合適的排序方式,需要的朋友可以參考下2024-11-11
python實(shí)現(xiàn)快速排序的示例(二分法思想)
本篇文章主要介紹了python實(shí)現(xiàn)快速排序的示例(二分法思想)，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-03-03
Python docx庫(kù)刪除復(fù)制paragraph及行高設(shè)置圖片插入示例
這篇文章主要為大家介紹了Python docx庫(kù)刪除復(fù)制paragraph及行高設(shè)置圖片插入操作實(shí)現(xiàn)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07