php性能優(yōu)化進(jìn)階不要在for循環(huán)中操作DB
前言
如何提高程序運(yùn)行速度,減輕服務(wù)器壓力是服務(wù)端開(kāi)發(fā)必須面對(duì)的一個(gè)問(wèn)題。
簡(jiǎn)單且樸素的原則:不要在for循環(huán)中操作DB,包括關(guān)系型數(shù)據(jù)庫(kù)和NoSql。
我們應(yīng)該根據(jù)自己的業(yè)務(wù)場(chǎng)景,在for循環(huán)之前批量拿到數(shù)據(jù),用盡量少的sql查詢批量查到結(jié)果。 在for循環(huán)中進(jìn)行數(shù)據(jù)的匹配組裝。
上一篇文章 性能優(yōu)化反思:不要在for循環(huán)中操作DB ,被推薦到首頁(yè)也收到了大家的互動(dòng)評(píng)論,再接再厲,進(jìn)階一版。
說(shuō)明:繼續(xù)上一篇文檔的demo整理,不贅述重復(fù)代碼了,建議大家先讀上一篇內(nèi)容。
場(chǎng)景說(shuō)明
- 我們?cè)试S用戶選擇職業(yè),系統(tǒng)預(yù)制了一批職業(yè)標(biāo)簽;又開(kāi)放了自定義職業(yè)標(biāo)簽的功能,不限制自定義標(biāo)簽的次數(shù)。允許用戶編輯資料時(shí)選擇2個(gè)職業(yè)標(biāo)簽。
- 發(fā)現(xiàn)用戶自定義的職業(yè)真的五花八門(mén),隨著業(yè)務(wù)增長(zhǎng),數(shù)量級(jí)越來(lái)越大;比如目前職業(yè)標(biāo)簽是2千個(gè),以后可能有2萬(wàn)個(gè),甚至20萬(wàn)個(gè)。
- 這種情況下,我們上一篇提到的在for循環(huán)之前批量查詢?nèi)繑?shù)據(jù),在for循環(huán)中用自定義函數(shù)匹配,避免在for循環(huán)中操作DB的方式命中率太低了,造成了極大的浪費(fèi)。
- 比如:每個(gè)列表返回30個(gè)用戶信息,每個(gè)用戶選擇了2個(gè)職業(yè)標(biāo)簽,最大標(biāo)簽數(shù)量是60;而我全量查到的職業(yè)標(biāo)簽數(shù)量是2千,命中率只有3%;如果職業(yè)標(biāo)簽達(dá)到2萬(wàn)個(gè),命中率就只有0.3%了。
解題思路
首先,在for循環(huán)中不操作DB,這個(gè)大原則不變
上述問(wèn)題的核心是命中率太低,就是全量查了很多用不到的數(shù)據(jù)
解決思路就是只批量查詢命中的標(biāo)簽數(shù)據(jù):
- 取到30個(gè)用戶在user表中保存的職業(yè)id
- 30個(gè)用戶的id去重后重組
- 在職業(yè)表通過(guò)whereIn查詢匹配的職業(yè)標(biāo)簽
- 其他邏輯不變,替換的只是數(shù)據(jù)源:之前的數(shù)據(jù)源是全量數(shù)據(jù),優(yōu)化后的數(shù)據(jù)源是精準(zhǔn)命中的數(shù)據(jù)。
思路清晰之后,開(kāi)始coding
核心代碼示例
為了行文緊湊,代碼段中省略了和文章無(wú)關(guān)的代碼,用豎著的三個(gè).省略。
核心代碼:抽取 renderUserInfo ,統(tǒng)一輸出用戶信息,這個(gè)函數(shù)在for循環(huán)中調(diào)用,獲得數(shù)據(jù)源在for循環(huán)之前。
<?php
namespace App\Render;
.
.
.
class CommonRender extends BaseRender
{
public static function renderUserinfo($data, $hobbyInfo = [],$professionInfo = [])
{
$hobbyInfo = !empty($hobbyInfo) ? $hobbyInfo : HobbyInfo::getAllInfo();
//特殊處理,因?yàn)槁殬I(yè)用戶可以自定義 數(shù)字一直增長(zhǎng) 不全量查數(shù)據(jù);$professionInfo為空時(shí)不是批量查詢,只查單條記錄
$professionInfo = !empty($professionInfo) ? $professionInfo : (isset($data['profession']) ? ProfessionInfo::getByIds($data['profession']) : []);
if (!is_array($data)) {
return [];
}
$ret = [
.
.
.
//優(yōu)化之前
// 'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
// 'profession' => !isset($data['profession']) ? [] : ProfessionInfo::getByIds($data['profession']),
//優(yōu)化之后
'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
'profession' => !isset($data['profession']) ? [] : self::_renderProfession($data['profession'], $professionInfo),
.
.
.
return $ret;
}
}
isset() 判斷,避免傳入的數(shù)據(jù)不存在,提示數(shù)組越界。
我還整理了一篇 如何避免數(shù)組下標(biāo)越界 ,有興趣可以閱讀一下。
protected static function _renderProfession($userProfession, $professionInfo)
{
$ret = [];
if ($userProfession) {
$userProfessionIds = explode(',', $userProfession);
foreach ($userProfessionIds as $key => $userProfessionId) {
if (isset($professionInfo[$userProfessionId])) {
$ret[$key] = $professionInfo[$userProfessionId];
}
}
}
return $ret;
}
調(diào)用 commonRender() 的代碼,即展示數(shù)據(jù)源是怎么來(lái)的。
public static function getBatchUserIntro($userid, $userList)
{
$retData = [];
if (empty($userList)) {
return $retData;
}
.
.
.
$hobbyInfo = HobbyInfo::getAllInfo();
//按需批量查職業(yè),不全量查詢職業(yè)
$professionIds = array_column($batchUserInfo, 'profession');
$professionIds = implode(',', $professionIds);
$professionIds = array_unique(explode(',', $professionIds));
$professionInfo = ProfessionInfo::batchGetByIds($professionIds);
foreach ($batchUserInfo as $item) {
$retData[$item['userid']] = CommonRender::renderUserinfo($item, $hobbyInfo, $professionInfo, $expectInfo);
}
return $retData;
}
封裝的工具方法,通過(guò)id數(shù)組批量獲得數(shù)據(jù),做了特殊判斷,兼容值為空的情況。
public static function batchGetByIds($ids = [])
{
//兼容職業(yè)為空的情況
foreach ($ids as $key => $id) {
if (empty($id)) {
unset($ids[$key]);
}
}
if (empty($ids)) {
return [];
}
return self::query()->selectRaw('id,name,pid')
->whereIn('id', $ids)
->get()
->keyBy('id')
->toArray();
}
核心代碼就是上述4部分
性能對(duì)比
以此舉例:每次列表返回30個(gè)用戶信息,每個(gè)用戶選擇了2個(gè)職業(yè)標(biāo)簽,最大標(biāo)簽數(shù)量是60;
優(yōu)化之前:全量查到的職業(yè)標(biāo)簽數(shù)量為2千,命中率只有3%;如果職業(yè)標(biāo)簽達(dá)到2萬(wàn)個(gè),命中率就只有0.3%了。
優(yōu)化之后:全量查到的職業(yè)標(biāo)簽數(shù)量為2千,命中率為100%;如果職業(yè)標(biāo)簽達(dá)到2萬(wàn)個(gè),命中率仍然為100%。
反思總結(jié)
程序設(shè)計(jì)一定要結(jié)合業(yè)務(wù)場(chǎng)景,沒(méi)有絕對(duì)正確的程序設(shè)計(jì);
隨著業(yè)務(wù)增長(zhǎng)原本穩(wěn)健的程序設(shè)計(jì)也可能遇到問(wèn)題,技術(shù)人必須能和業(yè)務(wù)一起成長(zhǎng)。
更多關(guān)于php性能優(yōu)化for循環(huán)DB操作的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
php中文字母數(shù)字驗(yàn)證碼實(shí)現(xiàn)代碼
php下實(shí)現(xiàn)多種方式的驗(yàn)證碼實(shí)現(xiàn)效果代碼2008-04-04
基于PHP實(shí)現(xiàn)棧數(shù)據(jù)結(jié)構(gòu)和括號(hào)匹配算法示例
這篇文章主要介紹了基于PHP實(shí)現(xiàn)棧數(shù)據(jù)結(jié)構(gòu)和括號(hào)匹配算法,結(jié)合實(shí)例形式分析了php數(shù)組操作實(shí)現(xiàn)棧數(shù)據(jù)結(jié)構(gòu)的進(jìn)棧、出棧,以及基于棧的括號(hào)匹配應(yīng)用技巧,需要的朋友可以參考下2017-08-08

