欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

使用Protocol Buffers的C語言拓展提速Python程序的示例

 更新時間:2015年04月16日 17:05:35   投稿:goldensun  
這篇文章主要介紹了使用Protocol Buffers的C語言拓展提速Python程序的示例,使用C拓展Python是Python編程進階中的重要技巧,需要的朋友可以參考下

 Protocol Buffers (類似XML的一種數(shù)據(jù)描述語言)最新版本2.3里,protoc—py_out命令只生成原生的Python代碼。 盡管PB(Protocol Buffers)可以為C++語言生成快速解析和序列化代碼,但是這種方式對于Python不適用,并且手動生成的已包裝的代碼需要非常大的維護工作。在討論組里,這是一個常見的功能要求,由于一個必備的客戶端組件—AppEngine(根據(jù)團隊介紹名稱為AppEngine),生成原生的Python代碼有更高的優(yōu)先級。

幸運的是, PB 2.4版本中本地化代碼已被提名,在 svn的分支中已經(jīng)可以下載,因此你能夠使用快速的 PB有一段時間了。 (我們使用 r352版本有一段時間了,還沒有遇到任何問題。) PB團隊一直不愿輕易指定任何發(fā)布日期,在我的威脅下, Kenton Varda提到日期初步定在 2011年初。


我沒有在其它地方看見過這個文檔,希望它能對其他人有所幫助.

如何做能讓它快起來

安裝好新的PB庫之后并使用 protoc --py_out=...  重新構建好你的PB之后,你需要在運行你的Python程序之前進行環(huán)境變量 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp 的設置,以便于選擇C++的,或者PB默認使用的Python實現(xiàn).

就這樣了!這至少就能在可以動態(tài)轉化/序列化消息的PB運行時庫用通用的C++代碼了. (注意我們還沒有生成任何C++代碼.)

它能有多快呢? 我編寫了一個簡單的程序來獲得性能在我們的應用程序中的提升感觀:
 

nruns = 1000nwarmups = 100xs = ... # your protobufsdef ser(): return [x.SerializeToString() for x in xs]def parse(ys): for y in ys: pb.Email().ParseFromString(y)
 
t = timeit.Timer(lambda:None)
t.timeit(nwarmups)print 'noop:', t.timeit(nruns) / nruns
 
t = timeit.Timer(ser)
t.timeit(nwarmups)print 'ser:', t.timeit(nruns) / nruns / len(xs)
 
ys = ser()
t = timeit.Timer(lambda: parse(ys))
t.timeit(nwarmups)print 'parse:', t.timeit(nruns) / nruns / len(xs)print 'msg size:', sum(len(y) for y in ys) / len(ys)

以秒為單位,這段程序在我的桌面上給出了如下幾個時間結果:
 

$ python sandbox/pbbench.py out.ini
ser: 0.000434461673101
parse: 0.000602062404156
msg size: 10730
 
$ PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp \
> python sandbox/pbbench.py out.ini
ser: 2.86788344383e-05
parse: 7.63910810153e-05
msg size: 10730

這顯示出在序列化和轉化方面分別有15和8被的速度提升。不壞!但還可以更快.

如何做讓它更快

現(xiàn)在我們實際上只是特地針對你的PB生成了一個C++實現(xiàn),而我們從來沒有使用過運行時反射。首先,為你的Python項目添加一個C擴展,不如,通過修改如下的 setup.py:
 

setup(
  ...
  ext_modules=[Extension('podpb',
sources=['cpp/podpb.c','cpp/main.pb.cc'], libraries=['protobuf'])],
  ...
  )

使用 protoc --cpp_out=cpp 生成main.pb.c, 并按如下所示創(chuàng)建 podpb.c 來設置一個空的 Python C 模塊:
 

#include <Python.h>
 
static PyMethodDef PodMethods[] = {
 {NULL, NULL, 0, NULL}    /* Sentinel */};
 
PyMODINIT_FUNC
initpodpb(void)
{
 PyObject *m;
 
 m = Py_InitModule("podpb", PodMethods); if (m == NULL)  return;
}

現(xiàn)在就運行 python setup.py build 命令會構建所有的東西. 只要將C模塊(在這里是podpb)導入到你的項目中,PB 運行時庫就將會自動使用 C++ 實現(xiàn)了.

現(xiàn)在我們就分別有了68倍x 和 13倍 的速度提升. 吼吼.
 

$ PYTHONPATH=build/lib.linux-x86_64-2.6/:$PYTHONPATH \
> PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=cpp \
> python sandbox/pbbench.py out.ini
ser: 6.39575719833e-06
parse: 4.55250144005e-05
msg size: 10730


我這篇文章發(fā)布到很多地方,大事完全忘了它的存在。同時 connex.io 和 Greplin 發(fā)布了他們的原生的 Python實現(xiàn),cypb和fast-python-pb。cypb在PB的郵件列表中公布過,可以運行,但仍需要提升到可用的狀態(tài)。fast-python-pb目前只支持string int32, int64 雙精度浮點和子消息成員。除了這些項目,其他的我都不了解。你也可以查看我的orginal thread PB郵列表來了解到這些。

相關文章

  • Django框架中處理URLconf中特定的URL的方法

    Django框架中處理URLconf中特定的URL的方法

    這篇文章主要介紹了Django框架中處理URLconf中特定的URL的方法,Django是豐富多彩的Python框架中最具人氣的一個,需要的朋友可以參考下
    2015-07-07
  • numpy.array 操作使用簡單總結

    numpy.array 操作使用簡單總結

    這篇文章主要介紹了numpy.array 操作使用簡單總結,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2019-11-11
  • vue.js實現(xiàn)輸入框輸入值內容實時響應變化示例

    vue.js實現(xiàn)輸入框輸入值內容實時響應變化示例

    這篇文章主要介紹了vue.js實現(xiàn)輸入框輸入值內容實時響應變化,結合實例形式分析了vue.js使用v-model屬性進行數(shù)據(jù)綁定的相關操作技巧,需要的朋友可以參考下
    2018-07-07
  • 基于Pygame實現(xiàn)簡單的貪吃蛇游戲

    基于Pygame實現(xiàn)簡單的貪吃蛇游戲

    Pygame是一個專門用來開發(fā)游戲的Python模塊,主要用于開發(fā)、設計?2D?電子游戲。本文主要為大家介紹了通過Pygame制作一個簡單的貪吃蛇游戲,感興趣的同學可以關注一下
    2021-12-12
  • 在Ubuntu上部署Flask應用的流程步驟

    在Ubuntu上部署Flask應用的流程步驟

    隨著云計算和容器化技術的普及,Linux 服務器已成為部署 Web 應用程序的主流平臺之一,Python 作為一種簡單易用的編程語言,適用于開發(fā)各種應用程序,本文將詳細介紹如何在 Ubuntu 服務器上部署 Python 應用,需要的朋友可以參考下
    2025-01-01
  • Pandas數(shù)據(jù)操作及數(shù)據(jù)分析常用技術介紹

    Pandas數(shù)據(jù)操作及數(shù)據(jù)分析常用技術介紹

    Pandas是Python中用于數(shù)據(jù)處理和數(shù)據(jù)分析的庫,具有強大的數(shù)據(jù)操作和分析功能,包括數(shù)據(jù)清洗、轉換、篩選、聚合等。常用技術有數(shù)據(jù)讀取與寫入、數(shù)據(jù)索引、數(shù)據(jù)切片、數(shù)據(jù)合并、數(shù)據(jù)透視表、數(shù)據(jù)可視化等,適用于各種數(shù)據(jù)分析和機器學習任務
    2023-04-04
  • 判斷python字典中key是否存在的兩種方法

    判斷python字典中key是否存在的兩種方法

    這篇文章主要介紹了判斷python字典中key是否存在的兩種方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-08-08
  • python paramiko利用sftp上傳目錄到遠程的實例

    python paramiko利用sftp上傳目錄到遠程的實例

    今天小編就為大家分享一篇python paramiko利用sftp上傳目錄到遠程的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • python 讀取數(shù)據(jù)庫并繪圖的實例

    python 讀取數(shù)據(jù)庫并繪圖的實例

    今天小編就為大家分享一篇python 讀取數(shù)據(jù)庫并繪圖的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • 使用Python寫個小監(jiān)控

    使用Python寫個小監(jiān)控

    最近使用python寫了個小監(jiān)控,為什么使用python?簡單、方便、好管理,Python如何實現(xiàn)簡單的小監(jiān)控,感興趣的小伙伴們可以參考一下
    2016-01-01

最新評論