kafka-python批量發(fā)送數(shù)據(jù)的實例
更新時間：2018年12月27日 10:12:47 作者：rongyongfeikai2
今天小編就為大家分享一篇kafka-python批量發(fā)送數(shù)據(jù)的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示：
from kafka import KafkaClient from kafka.producer import SimpleProducer
def send_data_2_kafka(datas):
'''
向kafka解析隊列發(fā)送數(shù)據(jù)
'''
client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
producer = SimpleProducer(client, async=False)
curcount = len(datas)/PARTNUM
for i in range(0, PARTNUM):
start = i*curcount
if i != PARTNUM - 1:
end = (i+1)*curcount
curdata = datas[start:end]
producer.send_messages(TOPICNAME, *curdata)
else:
curdata = datas[start:]
producer.send_messages(TOPICNAME, *curdata)
producer.stop()
client.close()
其中PARTNUM為topic的partition的數(shù)目，這樣保證批量發(fā)送的數(shù)據(jù)均勻的落在kafka的partition中。
以上這篇kafka-python批量發(fā)送數(shù)據(jù)的實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- 在python環(huán)境下運用kafka對數(shù)據(jù)進(jìn)行實時傳輸?shù)姆椒?/a>
- 對python操作kafka寫入json數(shù)據(jù)的簡單demo分享
- python3實現(xiàn)從kafka獲取數(shù)據(jù),并解析為json格式,寫入到mysql中
- python消費kafka數(shù)據(jù)批量插入到es的方法
- python kafka 多線程消費者&手動提交實例
- python 消費 kafka 數(shù)據(jù)教程
- python3連接kafka模塊pykafka生產(chǎn)者簡單封裝代碼
- python每5分鐘從kafka中提取數(shù)據(jù)的例子
- python操作kafka實踐的示例代碼
- 快速上手Python Kafka庫安裝攻略
相關(guān)文章
Python3多進(jìn)程 multiprocessing 模塊實例詳解
這篇文章主要介紹了Python3多進(jìn)程 multiprocessing 模塊,結(jié)合實例形式詳細(xì)分析了Python3多進(jìn)程 multiprocessing 模塊的概念、原理、相關(guān)方法使用技巧與注意事項,需要的朋友可以參考下2018-06-06
Google開源的一個序列化框架，類似于xml ， json。最大的特點是基于 二進(jìn)制，比傳統(tǒng)的xml表示同樣的內(nèi)容要短小很多。亦可定義一些可選字段，用于服務(wù)端與客戶端通信2021-08-08
Python實現(xiàn)將通信達(dá).day文件讀取為DataFrame
今天小編就為大家分享一篇Python實現(xiàn)將通信達(dá).day文件讀取為DataFrame，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
在本篇文章里小編給各位分享的是一篇關(guān)于Python3爬蟲帶上cookie的實例代碼內(nèi)容，需要的朋友們可以學(xué)習(xí)下。2020-07-07
這篇文章主要給大家介紹了關(guān)于如何利用python實現(xiàn)你說我猜游戲的相關(guān)資料,用到的都是一些簡單的基礎(chǔ)的python語句,適合剛?cè)腴T的小白,可以嘗試跟著一起敲一下,感受一下編程中的樂趣,需要的朋友可以參考下2022-05-05
本文給大家分享利用python3爬蟲爬取漫畫島-非人哉漫畫，本文通過實例代碼給大家介紹的非常詳細(xì)，需要的朋友跟隨小編一起學(xué)習(xí)下吧2021-07-07
Python遠(yuǎn)程視頻監(jiān)控程序的實例代碼
這篇文章主要介紹了Python遠(yuǎn)程視頻監(jiān)控程序的實例代碼,需要的朋友可以參考下2019-05-05
python實現(xiàn)寫數(shù)字文件名的遞增保存文件方法
今天小編就為大家分享一篇python實現(xiàn)寫數(shù)字文件名的遞增保存文件方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
pycharm: 恢復(fù)(reset) 誤刪文件的方法
今天小編就為大家分享一篇pycharm: 恢復(fù)(reset) 誤刪文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了關(guān)于fastapi異步框架的操作,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06