從MySQL到Redis的簡(jiǎn)單數(shù)據(jù)庫(kù)遷移方法
從mysql搬一個(gè)大表到redis中，你會(huì)發(fā)現(xiàn)在提取、轉(zhuǎn)換或是載入一行數(shù)據(jù)時(shí)，速度慢的讓你難以忍受。這里我就要告訴一個(gè)讓你解脫的小技巧。使用“管道輸出”的方式把mysql命令行產(chǎn)生的內(nèi)容直接傳遞給redis-cli，以繞過(guò)“中間件”的方式使兩者在進(jìn)行數(shù)據(jù)操作時(shí)達(dá)到最佳速度。
一個(gè)約八百萬(wàn)行數(shù)據(jù)的mysql表，原本導(dǎo)入到redis中需要90分鐘，使用這個(gè)方法后，只需要兩分鐘。不管你信不信，反正我是信了。
Mysql到Redis的數(shù)據(jù)協(xié)議
redis-cli命令行工具有一個(gè)批量插入模式，是專門為批量執(zhí)行命令設(shè)計(jì)的。這第一步就是把Mysql查詢的內(nèi)容格式化成redis-cli可用的數(shù)據(jù)格式。here we go!
我的統(tǒng)計(jì)表：
CREATE TABLE events_all_time ( id int(11) unsigned NOT NULL AUTO_INCREMENT, action varchar(255) NOT NULL, count int(11) NOT NULL DEFAULT 0, PRIMARY KEY (id), UNIQUE KEY uniq_action (action) );
準(zhǔn)備在每行數(shù)據(jù)中執(zhí)行的redis命令如下：
HSET events_all_time [action] [count]
按照以上redis命令規(guī)則，創(chuàng)建一個(gè)events_to_redis.sql文件，內(nèi)容是用來(lái)生成redis數(shù)據(jù)協(xié)議格式的SQL：
-- events_to_redis.sql
SELECT CONCAT( "*4\r\n", '$', LENGTH(redis_cmd), '\r\n', redis_cmd, '\r\n', '$', LENGTH(redis_key), '\r\n', redis_key, '\r\n', '$', LENGTH(hkey), '\r\n', hkey, '\r\n', '$', LENGTH(hval), '\r\n', hval, '\r' ) FROM ( SELECT 'HSET' as redis_cmd, 'events_all_time' AS redis_key, action AS hkey, count AS hval FROM events_all_time ) AS t
ok, 用下面的命令執(zhí)行：
mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe
很重要的mysql參數(shù)說(shuō)明：
- --raw: 使mysql不轉(zhuǎn)換字段值中的換行符。
- --skip-column-names: 使mysql輸出的每行中不包含列名。
相關(guān)文章
Redis的Sentinel解決方案介紹與運(yùn)行機(jī)制
這篇文章主要介紹了Redis的Sentinel解決方案介紹與運(yùn)行機(jī)制, Sentinel 是一款面向分布式服務(wù)架構(gòu)的輕量級(jí)流量控制組件，主要以流量為切入點(diǎn)，從流量控制、熔斷降級(jí)、系統(tǒng)自適應(yīng)保護(hù)等多個(gè)維度來(lái)保障服務(wù)的穩(wěn)定性,需要的朋友可以參考下2023-07-07
Redis實(shí)現(xiàn)分布式鎖的幾種方法總結(jié)
這篇文章主要介紹了Redis實(shí)現(xiàn)分布式鎖的幾種方法總結(jié)的相關(guān)資料, Redis實(shí)現(xiàn)與Zookeeper實(shí)現(xiàn)和數(shù)據(jù)庫(kù)實(shí)現(xiàn)，需要的朋友可以參考下2017-07-07
Redis是一個(gè)開(kāi)源的使用ANSI C語(yǔ)言編寫(xiě)、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫(kù)，并提供多種語(yǔ)言的API。本文就教大家如何安裝Redis，需要的朋友可以參考下2015-10-10
這篇文章主要為大家詳細(xì)介紹了Linux下Redis安裝教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-09-09
這篇文章主要為大家詳細(xì)介紹了Linux下Redis安裝使用教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-09-09
Redis報(bào)錯(cuò):無(wú)法連接Redis服務(wù)的解決方法
在Linux系統(tǒng)上運(yùn)行Redis服務(wù)時(shí),有時(shí)會(huì)遇到“無(wú)法連接Redis服務(wù)”的報(bào)錯(cuò),本文就詳細(xì)的介紹一下解決方法,具有一定的參考價(jià)值,感興趣的可以了解一下2023-09-09
這篇文章主要介紹了redis如何取hash的值問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-01-01
mac下設(shè)置redis開(kāi)機(jī)啟動(dòng)方法步驟
這篇文章主要介紹了mac下設(shè)置redis開(kāi)機(jī)啟動(dòng),本文詳細(xì)的給出了操作步驟,需要的朋友可以參考下2015-07-07
redis列表類型_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理
這篇文章主要為大家詳細(xì)介紹了redis列表類型的相關(guān)資料，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-08-08
本文主要介紹了redis?主從哨兵模式實(shí)現(xiàn)一主二從，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07