淺談python處理json和redis hash的坑
1、使用MySQLdb讀取出來的數(shù)據(jù)是unicode字符串,如果要寫入redis的hash中會變成
"{u'eth0_outFlow': 2.5, u'eth1_inFlow': 3.44}"
無法使用json.loads,需要提前將unicode轉(zhuǎn)成str:
str(eth0_outFlow)
2、單引號包圍的key不是規(guī)范的json格式
"{'eth0_outFlow': 2.5, 'eth1_inFlow': 3.44}"
需要轉(zhuǎn)成規(guī)范的格式才能使用json.loads()
replace('\'', '"') => '{"eth0_outFlow": 2.5, "eth1_inFlow": 3.44}'
3、None寫入redis的hash是直接變成 'None',需要轉(zhuǎn)成'null' 才能使用 json.loads()
"{'eth0_outFlow': None, 'eth1_inFlow': None}"
replace('\'', '"').replace("None", "null") => '{"eth0_outFlow": null, "eth1_inFlow": null}'
4、json.loads()會把key的類型從str轉(zhuǎn)成unicode,之后寫進redis后就變成了
"{u'eth0_outFlow': None, u'eth1_inFlow': None}"
需要將其轉(zhuǎn)成str的key才能寫進redis
value = json.loads(cache) items = value.iteritems() value = {k.encode('utf8'): v for k, v in items} redisCli.hmset(key, value)
5、json.loads如果要保持字典的順序則可以使用
from collections import OrderedDict
json.loads(data, object_pairs_hook=OrderedDict)
6、json.dumps中文亂碼解決方法
>>> js = json.loads('{"haha": "哈哈"}') >>> print json.dumps(js) {"haha": "\u54c8\u54c8"} >>> print json.dumps(js, ensure_ascii=False) {"haha": "哈哈"}
7、解碼出錯,使用json.loads會報錯 'utf8' codec can't decode byte ...則使用忽略錯誤的方法
json.loads(unicode( str, errors='ignore'))
8、redis hash在存入redis后所有key都會變成字符串
9、使用redis的時候盡量減少網(wǎng)絡(luò)IO操作,有時候可以使用hash代替 key-value字符串,會得到事半功倍的效果
10、redis最大內(nèi)存 maxmemory達到設(shè)置的最大值時會隨機刪除設(shè)置了expire時間的key,這個讓我調(diào)試了幾個鐘
補充知識:redis的hash與string區(qū)別
Redis hash 是一個 string 類型的 field 和 value 的 映射表。它的添加、刪除操作都是 0(1)(平均操作)。
hash 特別 適合用于存儲對象。相較于將對象的每個字段存成單個 string 類型(string 類型可以存儲對象序列化)。
將一個對象存儲在 hash 類型中會占用更少的內(nèi)存,并且可以更方便的存取整個對象。
(省內(nèi)存的原因是新建一個 hash 對象時開始是用 zipmap(又稱為 small hash)來存儲的。
這個 zipmap 其實并不是 hash table,但是 zipmap 相比正常的 hash 實現(xiàn)可以節(jié)省不少 hash 本身需要的一些元數(shù)據(jù)存儲開銷。
對比軟件:Beyond Compare 3
以上這篇淺談python處理json和redis hash的坑就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python中執(zhí)行存儲過程及獲取存儲過程返回值的方法
這篇文章主要介紹了Python中執(zhí)行存儲過程及獲取存儲過程返回值的方法,結(jié)合實例形式總結(jié)分析了Python調(diào)用存儲過程的常用方法與相關(guān)操作注意事項,需要的朋友可以參考下2017-10-10python3在同一行內(nèi)輸入n個數(shù)并用列表保存的例子
今天小編就為大家分享一篇python3在同一行內(nèi)輸入n個數(shù)并用列表保存的例子,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07