快捷導(dǎo)航

kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例

更新時(shí)間：2018年12月27日 10:12:47 作者：rongyongfeikai2

今天小編就為大家分享一篇kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

如下所示：

from kafka import KafkaClient
from kafka.producer import SimpleProducer

def send_data_2_kafka(datas):
  '''
    向kafka解析隊(duì)列發(fā)送數(shù)據(jù)
  '''
  client = KafkaClient(hosts=KAFKABROKER.split(","), timeout=30)
  producer = SimpleProducer(client, async=False)
 
  curcount = len(datas)/PARTNUM
  for i in range(0, PARTNUM):
    start = i*curcount
    if i != PARTNUM - 1:
      end = (i+1)*curcount
      curdata = datas[start:end]
      producer.send_messages(TOPICNAME, *curdata)
    else:
      curdata = datas[start:]
      producer.send_messages(TOPICNAME, *curdata)
    
  producer.stop()
  client.close()

其中PARTNUM為topic的partition的數(shù)目，這樣保證批量發(fā)送的數(shù)據(jù)均勻的落在kafka的partition中。

以上這篇kafka-python批量發(fā)送數(shù)據(jù)的實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python3多進(jìn)程 multiprocessing 模塊實(shí)例詳解
這篇文章主要介紹了Python3多進(jìn)程 multiprocessing 模塊,結(jié)合實(shí)例形式詳細(xì)分析了Python3多進(jìn)程 multiprocessing 模塊的概念、原理、相關(guān)方法使用技巧與注意事項(xiàng),需要的朋友可以參考下
2018-06-06
python使用protobufde的過程解析
Google開源的一個(gè)序列化框架，類似于xml ， json。最大的特點(diǎn)是基于二進(jìn)制，比傳統(tǒng)的xml表示同樣的內(nèi)容要短小很多。亦可定義一些可選字段，用于服務(wù)端與客戶端通信
2021-08-08
Python實(shí)現(xiàn)將通信達(dá).day文件讀取為DataFrame
今天小編就為大家分享一篇Python實(shí)現(xiàn)將通信達(dá).day文件讀取為DataFrame，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
Python3爬蟲帶上cookie的實(shí)例代碼
在本篇文章里小編給各位分享的是一篇關(guān)于Python3爬蟲帶上cookie的實(shí)例代碼內(nèi)容，需要的朋友們可以學(xué)習(xí)下。
2020-07-07
利用python實(shí)現(xiàn)你說我猜游戲的完整實(shí)例
這篇文章主要給大家介紹了關(guān)于如何利用python實(shí)現(xiàn)你說我猜游戲的相關(guān)資料,用到的都是一些簡單的基礎(chǔ)的python語句,適合剛?cè)腴T的小白,可以嘗試跟著一起敲一下,感受一下編程中的樂趣,需要的朋友可以參考下
2022-05-05
教你如何利用python3爬蟲爬取漫畫島-非人哉漫畫
本文給大家分享利用python3爬蟲爬取漫畫島-非人哉漫畫，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友跟隨小編一起學(xué)習(xí)下吧
2021-07-07
Python遠(yuǎn)程視頻監(jiān)控程序的實(shí)例代碼
這篇文章主要介紹了Python遠(yuǎn)程視頻監(jiān)控程序的實(shí)例代碼,需要的朋友可以參考下
2019-05-05
python實(shí)現(xiàn)寫數(shù)字文件名的遞增保存文件方法
今天小編就為大家分享一篇python實(shí)現(xiàn)寫數(shù)字文件名的遞增保存文件方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-10-10
pycharm: 恢復(fù)(reset) 誤刪文件的方法
今天小編就為大家分享一篇pycharm: 恢復(fù)(reset) 誤刪文件的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-10-10
關(guān)于fastapi異步框架操作的理解
這篇文章主要介紹了關(guān)于fastapi異步框架的操作,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-06-06