php解決注冊并發(fā)問題并提高QPS
更新時間：2023年05月25日 10:34:49 作者：北橋蘇
這篇文章主要為大家介紹了php解決注冊并發(fā)問題并提高QPS實現(xiàn)方法示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
前言
前面在本地的windows通過apache的ab工具測試了600并發(fā)下“查詢指定手機是否存在再提交數(shù)據(jù)”的注冊功能會出現(xiàn)重復提交的情況，并且在注冊完成時還需要對邀請人進行獎勵，記錄邀請記錄，對該新用戶自動發(fā)布動態(tài)信息，發(fā)短信或發(fā)郵件等其他業(yè)務功能。所以這里當并發(fā)時，注冊功能就變得低效且容易出現(xiàn)問題。
先對重復提交的問題通過redis解決，再把注冊儲存用戶基本信息以后的操作放到隊列中進行異步執(zhí)行，可以很好的優(yōu)化注冊功能，提高QPS。
一、環(huán)境要求
PHP版本 >= 5.6.0
PHP框架：Thinkphp5.1.*
消息隊列：Think-queue2.0
PHP擴展：Redis
二、下載框架和消息隊列中間件
- 下載tp5.1。composer create-project topthink/think=5.1.* tp5 --prefer-dist
- 安裝think-queue。composer require topthink/think-queue
- php安裝redis擴展和打開redis服務端和客戶端。
三、解決注冊重復提交
配置文件中cache設置為redis驅動，并新建控制器因為cache相關命名空間。
use think\Exception; use think\facade\Cache; use think\facade\Env; use think\Queue;
- 使用無序集合存手機號，通過判斷當前手機號是否是在指定鍵里為成員(如果注冊存入數(shù)據(jù)庫失敗，通過sRem刪除該成員)，然后再通過查詢數(shù)據(jù)庫判斷是否存在。
private $cache;
private $handler;
// 實例化redis
public function __construct() {
$this->cache = Cache::init();
$this->handler = $this->cache->handler();
}
// 判斷手機號是否在集合中
$is_existe = $this->handler->sIsMember("register:mobile",$mobile);
if(!$is_existe) {
$this->handler->sAdd("register:mobile",$mobile);
}else {
//Log::write('---壓力測試'.date("Y-m-d h:i:s").'---手機號已存在');
var_dump('手機號已存在'); // 用戶已存在
die;
}
// 查詢手機號碼是否已注冊
$user = db('user')->field('mobile')->where('mobile', $mobile)->find();
if ($user) {
//Log::write('---壓力測試'.date("Y-m-d h:i:s").'---手機號注冊了');
var_dump('手機號已注冊'); // 用戶已存在
die;
}四、消息隊列分解注冊功能
- 配置消息隊列，后面以redis驅動為例。
<?php
return [
'connector' => 'Redis', // Redis 驅動
'expire' => 60, // 任務的過期時間，默認為60秒; 若要禁用，則設置為 null
'default' => 'default', // 默認的隊列名稱
'host' => '127.0.0.1', // redis 主機ip
'port' => 6379, // redis 端口
'password' => '', // redis 密碼
'select' => 0, // 使用哪一個 db，默認為 db0
'timeout' => 0, // redis連接的超時時間
'persistent' => false, // 是否是長連接
// 'connector' => 'Database', // 數(shù)據(jù)庫驅動
// 'expire' => 60, // 任務的過期時間，默認為60秒; 若要禁用，則設置為 null
// 'default' => 'default', // 默認的隊列名稱
// 'table' => 'jobs', // 存儲消息的表名，不帶前綴
// 'dsn' => [],
// 'connector' => 'Topthink', // ThinkPHP內(nèi)部的隊列通知服務平臺 ，本文不作介紹
// 'token' => '',
// 'project_id' => '',
// 'protocol' => 'https',
// 'host' => 'qns.topthink.com',
// 'port' => 443,
// 'api_version' => 1,
// 'max_retries' => 3,
// 'default' => 'default',
// 'connector' => 'Sync', // Sync 驅動，該驅動的實際作用是取消消息隊列，還原為同步執(zhí)行
];- 完成添加新用戶后將指定數(shù)據(jù)加入消息隊列。
<?php
namespace app\index\controller;
use think\Db;
use think\Validate;
use think\Exception;
use think\facade\Cache;
use think\facade\Env;
use think\Queue;
use think\Log;
class Index
{
private $cache;
private $handler;
public function __construct() {
$this->cache = Cache::init();
$this->handler = $this->cache->handler();
}
public function index()
{
$data = input('post.');
unset($data['balance']);
unset($data['credit']);
// $blacklist = [
// "18124198164","13401363108","17688552009","15089352898","13602940094","13346643336","13181351655","18301123028","13598020751","13014568187",
// "13428733909","17337991130","13275342497"
// ];
$rule = [
'mobile' => 'require|number|length:11',
'password' => 'require|length:6,32',
];
$msg = [
'mobile.require' => '手機號必須',
'mobile.length' => '手機號為11位數(shù)字',
'mobile.number' => '手機號為11位數(shù)字',
'password.require' => '密碼必須',
'password.length' => '密碼為6-12位之間',
];
//驗證數(shù)據(jù)是否合法
$mobile = isset($data['mobile']) ? $data['mobile'] : '';
$validate = new Validate($rule, $msg);
$result = $validate->check($data);
if (!$result) {
var_dump($validate->getError());
die;
}
// if(in_array($mobile,$blacklist)) {
// var_dump('該手機號已注冊了'); // 黑名單
// die;
// }
// 判斷手機號是否在集合中
$is_existe = $this->handler->sIsMember("register:mobile",$mobile);
if(!$is_existe) {
$this->handler->sAdd("register:mobile",$mobile);
}else {
//Log::write('---壓力測試'.date("Y-m-d h:i:s").'---手機號已存在');
var_dump('手機號已存在'); // 用戶已存在
die;
}
// 查詢手機號碼是否已注冊
$user = db('user')->field('mobile')->where('mobile', $mobile)->find();
if ($user) {
//Log::write('---壓力測試'.date("Y-m-d h:i:s").'---手機號注冊了');
var_dump('手機號已注冊'); // 用戶已存在
die;
}
// 用戶不存在注冊
// $data['id'] = getNewUserid();
$data['no'] = date("Ymdhis").rand(100, 999);
$data['avatar'] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_h.png';
$data['password'] = md5($data['password']);
$randomNickname = date("Ymdhis").rand(100, 999);
$data['nickname'] = 'rm_' . $randomNickname;
$data['create_time'] = time();
$data['type'] = 1;
/***是否存在邀請人的跑步錢進號***/
if(isset($data['pbqj_no']) && !empty($data['pbqj_no'])) {
$inviter = db('user')->field('id')->where(["no"=>$data['pbqj_no']])->find();
if($inviter) {
$data['inviter_id'] = $inviter['id'];
}
}
/***是否存在邀請人的跑步錢進號***/
unset($data['pbqj_no']);
$userid = db('user')->insertGetId($data);
if ($userid) {
/******************加入消息隊列異步處理后續(xù)操作*******************/
// 1.當前任務將由哪個類來負責處理。
// 當輪到該任務時，系統(tǒng)將生成一個該類的實例，并調(diào)用其 fire 方法
$jobHandlerClassName = 'app\index\job\JobUser';
// 2.當前任務歸屬的隊列名稱，如果為新隊列，會自動創(chuàng)建
$jobQueueName = "userJobQueue";
// 3.當前任務所需的業(yè)務數(shù)據(jù) . 不能為 resource 類型，其他類型最終將轉化為json形式的字符串
// ( jobData 為對象時，需要在先在此處手動序列化，否則只存儲其public屬性的鍵值對)
//$jobData = ['ts' => time(), 'bizId' => uniqid() , 'a' => 1];
$jobData = ['userid'=>$userid,'time'=>time(),'mobile'=>$mobile,'inviterid'=>(isset($data['inviter_id']) ? $data['inviter_id'] : 0)];
// 4.將該任務推送到消息隊列，等待對應的消費者去執(zhí)行
$isPushed = Queue::push($jobHandlerClassName , $jobData , $jobQueueName);
// database 驅動時，返回值為 1|false ; redis 驅動時，返回值為 隨機字符串|false
if($isPushed !== false) {
var_dump('加入隊列成功');
die;
//Log::write('-----------加入消息隊列成功-----------');
//echo date('Y-m-d H:i:s') . " a new Hello Job is Pushed to the MQ"."
";
}else{
var_dump('加入消息隊列');
die;
//Log::write('-----------加入消息隊列失敗-----------');
//echo 'Oops, something went wrong.';
}
/******************加入消息隊列異步處理后續(xù)操作*******************/
$res['id'] = $userid;
$res['no'] = $data['no'];
// // token處理類
// $accessToken = new AccessToken();
// $accessToken = $accessToken->getToken($userid);
// if (empty($accessToken)) {
// //Log::write('---壓力測試'.date("Y-m-d h:i:s").'---秘鑰生成失敗');
// var_dump('秘鑰生成失敗');
// } else {
// $res['user_token'] = $accessToken;
// }
// if (method_exists(\chat\User::class, 'getToken')) {
// $chat_token = \chat\User::getToken($res['id'], $data['nickname'], $data['avatar']);
// if (!$chat_token) {
// //Log::write('---壓力測試'.date("Y-m-d h:i:s").'---聊天秘鑰生成失敗');
// var_dump('聊天秘鑰生成失敗');
// } else {
// $res['chat_token'] = $chat_token;
// }
// } else {
// $res['chat_token'] = '';
// }
//Log::write('---壓力測試'.date("Y-m-d h:i:s").'---注冊成功');
var_dump($res);
die;
} else {
//Log::write('---壓力測試'.date("Y-m-d h:i:s").'---數(shù)據(jù)庫錯誤');
$this->handler->sRem("register:mobile",$mobile);
var_dump('數(shù)據(jù)庫錯誤');
die;
}
}
public function hello($name = 'ThinkPHP5')
{
return 'hello,' . $name;
}
}創(chuàng)建消費者(job)，對執(zhí)行隊列中的任務。
(1). 在同一模塊下新建job文件夾和一個執(zhí)行類(JobUser), 需要對應生產(chǎn)者中jobHandlerClassName。
(2). 前面執(zhí)行完隊列加入成功后，可以本地使用redis客戶端通過lrange queues:userJobQueue 0 -1 查看隊列成員
(queues:userJobQueue中,userJobQueue是自己在加入隊列前自己起的隊列名稱，與queues: 拼接就是redis的list的鍵名，所以可以直接查看 )。
(3).隊列中的data就是自己傳遞的數(shù)據(jù)，后面需要在消費者中通過該數(shù)據(jù)進行注冊功能后的業(yè)務操作: 送獎勵，存儲邀請記錄，發(fā)動態(tài)，發(fā)短信，發(fā)郵件等等。
<?php
namespace app\index\job;
use think\queue\Job;
use think\Db;
use think\Exception;
use think\facade\Cache;
use think\facade\Env;
class JobUser {
private $cache;
private $handler;
public function __construct()
{
$this->cache = Cache::init();
$this->handler = $this->cache->handler();
}
/**
* fire方法是消息隊列默認調(diào)用的方法
* @param Job $job 當前的任務對象
* @param array|mixed $data 發(fā)布任務時自定義的數(shù)據(jù)
*/
public function fire(Job $job,$data) {
$job->delete();
//print("hahah\n");
// print("<info>The user already exists "."</info>\n");
// exit();
if(empty($data) || empty($data['userid']) || empty($data['mobile'])) {
$job->delete();
print("canshu buzu\n");
return;
}
// 如有必要,可以根據(jù)業(yè)務需求和數(shù)據(jù)庫中的最新數(shù)據(jù),判斷該任務是否仍有必要執(zhí)行.
$isJobStillNeedToBeDone = $this->checkDatabaseToSeeIfJobNeedToBeDone($data);
if(!$isJobStillNeedToBeDone) {
print("hahah\n");
$job->delete();
return;
}
$isJobDone = $this->doHelloJob($data);
if ($isJobDone) {
//如果任務執(zhí)行成功， 記得刪除任務
$job->delete();
print("<info>Hello Job has been done and deleted"."</info>\n");
}else{
if ($job->attempts() > 3) {
//通過這個方法可以檢查這個任務已經(jīng)重試了幾次了
print("<warn>Hello Job has been retried more than 3 times!"."</warn>\n");
//$job->delete();
// 也可以重新發(fā)布這個任務
//print("<info>Hello Job will be availabe again after 2s."."</info>\n");
//$job->release(2); //$delay為延遲時間，表示該任務延遲2秒后再執(zhí)行
}
}
}
/**
* 有些消息在到達消費者時,可能已經(jīng)不再需要執(zhí)行了
* @param array|mixed $data 發(fā)布任務時自定義的數(shù)據(jù)
* @return boolean 任務執(zhí)行的結果
*/
private function checkDatabaseToSeeIfJobNeedToBeDone($data) {
// 判斷手機緩存集合中是否存在
// $is_existe = $this->handler->sIsMember("register:mobile",$data['mobile']);
// if($is_existe) {
// return false;
// }
// // 查詢當前用戶是否在數(shù)據(jù)庫中存在
// $userinfo = Db::name('user')->field('id')->where('id',$data['userid'])->find();
// if($userinfo) {
// return false;
// }
return true;
}
/**
* 根據(jù)消息中的數(shù)據(jù)進行實際的業(yè)務處理
* @param array|mixed $data 發(fā)布任務時自定義的數(shù)據(jù)
* @return boolean 任務執(zhí)行的結果
*/
private function doHelloJob($data) {
try{
if(isset($data['inviterid']) && !empty($data['inviterid'])) {
// 添加邀請記錄
$res_record = Db::name('user_inviter')
->insert([
'inviterid' => $data['inviterid'],
'userid' => $data['userid'],
'code' => $data['inviterid'] . 'T' . $data['userid'],
'create_time' => $data['time'],
]);
// 給邀請人贈送300步幣
Db::name('user_credit')
->insert([
'userid' => $data['inviterid'],
'type' => 1,
'credit' => 300,
'source' => $res_record,
'create_time' => $data['time']
]);
// 更新邀請人步幣（用戶表）
Db::name('user')->where('id', $data['inviterid'])->setInc('credit', 300);
}
{ // 注冊成功發(fā)表動態(tài)
$dynamic_data['userid'] = $data['userid'];
$dynamic_data['dynamic'] = base64_encode('號外！號外！我加入跑步錢進了，大家一起走路領紅包吧！');
$dynamic_data['images'][] = 'https://rumcdn-1255484416.cos.ap-chengdu.myqcloud.com/img/d_d.png';
$dynamic_data['images'] = serialize($dynamic_data['images']);
$dynamic_data['create_time'] = $data['time'];
$result = Db::name('dynamic')->insert($dynamic_data);
}
}catch(\Exception $e) {
Log::write('---執(zhí)行消息隊列出錯---'.$e->getMessage());
return false;
}
return true;
// 根據(jù)消息中的數(shù)據(jù)進行實際的業(yè)務處理...
//var_dump($data);
// print("<info>Hello Job Started. job Data is: ".var_export($data,true)."</info> \n");
// print("<info>Hello Job is Fired at " . date('Y-m-d H:i:s') ."</info> \n");
// print("<info>Hello Job is Done!"."</info> \n");
//return true;
}
/**
* 該方法用于接收任務執(zhí)行失敗的通知，你可以發(fā)送郵件給相應的負責人員
* @param $jobData string|array|... //發(fā)布任務時傳遞的 jobData 數(shù)據(jù)
*/
public function failed($jobData) {
//send_mail_to_somebody() ;
print("Warning: Job failed after max retries. job data is :".var_export($jobData,true)."\n");
}
}(4). 設置任務執(zhí)行失敗后的處理，比如記錄日志或發(fā)郵件給開發(fā)者。
a. 在tags.php中配置失敗后執(zhí)行了類。
<?php
// 應用行為擴展定義文件
return [
// 應用初始化
'app_init' => [],
// 應用開始
'app_begin' => [],
// 模塊初始化
'module_init' => [],
// 操作開始執(zhí)行
'action_begin' => [],
// 視圖內(nèi)容過濾
'view_filter' => [],
// 日志寫入
'log_write' => [],
// 應用結束
'app_end' => [],
'queue_failed' => [
// 數(shù)組形式，[ 'ClassName' , 'methodName']
['application\\behavior\\MyQueueFailedLogger', 'logAllFailedQueues']
// 字符串(靜態(tài)方法)，'StaicClassName::methodName'
// 'MyQueueFailedLogger::logAllFailedQueues'
// 字符串(對象方法)，'ClassName'，此時需在對應的ClassName類中添加一個名為 queueFailed 的方法
// 'application\\behavior\\MyQueueFailedLogger'
// 閉包形式
/*
function( &$jobObject , $extra){
// var_dump($jobObject);
return true;
}
*/
],
];b. 在application目錄下創(chuàng)建任務錯誤執(zhí)行后的處理腳本，根據(jù)業(yè)務需求自定。
<?php
namespace app\behavior;
use think\Db;
class MyQueueFailedLogger
{
const should_run_hook_callback = true;
/**
* @param $jobObject \think\queue\Job //任務對象，保存了該任務的執(zhí)行情況和業(yè)務數(shù)據(jù)
* @return bool true //是否需要刪除任務并觸發(fā)其failed() 方法
*/
public function logAllFailedQueues(&$jobObject) {
$failedJobLog = [
'jobHandlerClassName' => $jobObject->getName(), // 'application\index\job\Hello'
'queueName' => $jobObject->getQueue(), // 'helloJobQueue'
'jobData' => $jobObject->getRawBody()['data'], // '{'a': 1 }'
'attempts' => $jobObject->attempts(), // 3
];
var_export(json_encode($failedJobLog,true));
$data = [
"content" => json_encode($failedJobLog,true),
"create_time" => time(),
];
Db::name('ztest')->insertGetId($data);
// $jobObject->release(); //重發(fā)任務
//$jobObject->delete(); //刪除任務
//$jobObject->failed(); //通知消費者類任務執(zhí)行失敗
return self::should_run_hook_callback;
}
}五、通過命令運行消息隊列，以下以windows舉栗
- cmd進入當前項目, 然后輸入 "php think queue:listen --queue userJobQueue" (userJobQueue是自己的隊列名)。
- 也可以在項目的根目錄創(chuàng)建bat文件，文件寫入"php think queue:listen --queue userJobQueue"，保存只需雙擊就可以執(zhí)行。
六、測試
結果使用了消息隊列后，同樣610的并發(fā)，使用時間就縮短了
以上就是php解決注冊并發(fā)問題并提高QPS的詳細內(nèi)容，更多關于php注冊并發(fā)提高QPS的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要介紹了php實現(xiàn)的數(shù)組轉xml,結合具體案例形式分析了PHP數(shù)組與xml轉換的實現(xiàn)方法與相關操作注意事項,需要的朋友可以參考下2019-09-09
本篇文章是對PHP+Ajax實現(xiàn)表單驗證的代碼進行了詳細的分析介紹，需要的朋友參考下2013-06-06
在PHP中，沒有任何變量指向這個對象時，這個對象就成為垃圾。PHP會將其在內(nèi)存中銷毀；這是PHP的GC垃圾處理機制。PHP的內(nèi)存管理,分為倆部分, 第一部分是PHP自身的內(nèi)存管理,而第二部分是zend_alloc中描寫的關于PHP自身的內(nèi)存管理。本文將詳細介紹這兩個內(nèi)容。2021-05-05
PHP數(shù)組排序函數(shù)sort()、asort()和ksort()的用法和區(qū)別
在 PHP 中,sort()、asort() 和 ksort() 是三個常用的數(shù)組排序函數(shù),它們分別適用于不同的排序需求和場景,本文將分別介紹這三個函數(shù)的用法和區(qū)別,并舉例說明它們的具體應用,文中通過代碼示例講解的非常詳細,需要的朋友可以參考下2023-11-11
這篇文章主要介紹了PHP使用星號隱藏用戶名,手機和郵箱的實現(xiàn)方法,涉及php針對字符正則替換的相關操作技巧,需要的朋友可以參考下2016-09-09
PHP在特殊字符前加斜杠的代碼，需要的朋友可以參考下。quotemeta() 函數(shù)在字符串中某些預定義的字符前添加反斜杠。2011-07-07
這篇文章主要介紹了php版微信小店調(diào)用api用法,結合實例形式分析了微信小店API接口調(diào)用展示商品信息的基本操作技巧,需要的朋友可以參考下2016-11-11
這篇文章主要告訴大家如何將apache和PHP整合在一起，需要的朋友可以參考下2015-10-10
PHP把所有”__”開頭的方法當做魔術方法，這篇文章主要為大家介紹了PHP中常用的幾個魔術方法，文中示例代碼講解詳細，需要的可以參考一下2022-08-08
PHP使用Curl實現(xiàn)模擬登錄及抓取數(shù)據(jù)功能示例
這篇文章主要介紹了PHP使用Curl實現(xiàn)模擬登錄及抓取數(shù)據(jù)功能,結合實例形式分析了php使用curl進行登陸、驗證、cookie操作與數(shù)據(jù)抓取等相關實現(xiàn)技巧,需要的朋友可以參考下2018-04-04