一、介紹

MySQL Test Run 簡稱MTR，是MySQL官方提供的自動化測試框架，執(zhí)行腳本在發(fā)布路徑的mysql-test目錄下。

主要測試步驟，是通過執(zhí)行一個case(*.test)中的語句（包括sql語句和其他管理語句），將case的輸出記錄保存在結果文件(*.result)中，或者是將語句執(zhí)行結果與標準的輸出結果作diff，如果出現(xiàn)偏差就會報錯。

MySQL自動化框架包括一組測試用例和用于運行它們的程序：perl 腳本(mysql-test-run.pl)和 c++ 二進制(mysqltest)。

• perl 腳本：負責控制流程，包括啟停、識別執(zhí)行哪些用例、創(chuàng)建文件夾、收集結果等操作。
• mysqltest：負責執(zhí)行測試用例，包括讀文件，解析特定語法，執(zhí)行用例。

二、安裝

安裝依賴包

本次安裝環(huán)境是CentOS 8.5

yum -y install perl* -y

下載安裝包并解壓：

本文采用的MySQL版本是8.0.28，可根據(jù)需要自行選擇版本。

cd ?/home/
wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-test-8.0.28-linux-glibc2.12-x86_64.tar.xz
tar -xvf mysql-test-8.0.28-linux-glibc2.12-x86_64.tar.xz
mv mysql-8.0.28-linux-glibc2.12-x86_64 mysql_mtr_8.0.28
cd /home/mysql_mtr_8.0.28/
cp -r /path-to-db/* /home/mysql_mtr_8.0.28/ ?#將mysql安裝包目錄下的文件與mtr目錄合并
cd /home/mysql_mtr_8.0.28/mysql-test #進入mtr目錄

主要介紹：

include：

包含.inc文件，用于測試開始時判斷是否滿足測試條件，在測試用例中通過source命令引入，就像C/C++的頭文件，在mtr的體系中，我們可以將許多可重復利用的測試語句，提取到*.inc文件中，放到對應的include目錄中，以便在*.test中直接調用。

suite：

包含所有測試suite，每一個suite為一個測試用例集，一般地，我們將若干個測試功能點同屬于一個功能模塊的testcase放在一個大目錄下，這個包含了t和r目錄的大目錄被稱為一個testsuite。其中a.test文件會放在t目錄，而a.result放在r目錄。

三、測試示例

我們通過一個最簡單的例子來說明這個框架是怎么使用的。

四、創(chuàng)建測試用例

在 mysql-test/t 目錄下創(chuàng)建一個文件名為 mytest.test的測試用例：

# vi mytest.test
--disable_warnings
DROP TABLE IF EXISTS t1;
SET @@sql_mode='NO_ENGINE_SUBSTITUTION';
--enable_warnings

SET SQL_WARNINGS=1;

CREATE TABLE t1 (a INT);
INSERT INTO t1 VALUES (1);
INSERT INTO t1 VALUES (2);

DROP TABLE t1;?

執(zhí)行并查看結果：

# ./mtr --record mytest.test
Logging: ./mtr ?mytest.test
MySQL Version 8.0.28
Checking supported features...
?- SSL connections supported
Collecting tests...
Checking leftover processes...
Removing old var directory...
Creating var directory '/usr/local/mysql/mysql-test/var'...
Installing system database...
Using parallel: 1

==============================================================================

TEST ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?RESULT ? TIME (ms) or COMMENT
--------------------------------------------------------------------------

worker[1] Using MTR_BUILD_THREAD 300, with reserved ports 13000..13009
worker[1] mysql-test-run: WARNING: running this script as _root_ will cause some tests to be skipped
[100%] main.mytest ? ? ? ? ? ? ? ? ? ? ? ? ?[ pass ] ? ? 12
--------------------------------------------------------------------------
The servers were restarted 0 times
Spent 0.012 of 4 seconds executing testcases

Completed: All 1 tests were successful.?

看到successful說明執(zhí)行成功。

執(zhí)行說明：

•  1. mysql-test/mtr這個文件，是一個perl腳本。同目錄下還有 mysql-test-run 和mysql-test-run.pl，這三個文件是一模一樣的; 
•  2. 執(zhí)行case時會自動啟動一個mysql服務，默認端口為13000。如果這個case涉及到需要啟動多個服務（比如主從），則端口從13000遞增; 
•  3. ./mtr的參數(shù)只需要指明測試case的前綴即可，當你執(zhí)行./mtr mytest會自動到t/目錄下搜索 mytest.test文件來執(zhí)行,也可以輸入完整的測試例名稱如./mtr mytest.test。 如果要執(zhí)行某個功能模塊的所有測試用例，可以在suite目錄下創(chuàng)建一個大目錄如spTest然后再分別創(chuàng)建t和r目錄，執(zhí)行該目錄的測試例可以寫成：./mtr spTest.mytest; 
•  4. mytest.test最后一行是刪除這個創(chuàng)建的表。因為每個case都要求不要受別的case影響，也不要影響別的case，因此自己在case中創(chuàng)建的表要刪除；
•  5.第一次執(zhí)行建議加上參數(shù)--record，執(zhí)行完會在對應的r目錄下生成mytest.result；mtr會將mytest.test的執(zhí)行結果與r/mytest.result作diff。  若完全相同，則表示測試結果正常(如果需要和往期測試結果做對比，需要在r目錄下先提供一份xx.result文件)；
•  6.MTR提供了一套測試用例，如果不帶任何參數(shù)直接執(zhí)行./mtr，會運行t目錄下的的所有case，包括上面剛新增的用例。

五、mtr 其他常用參數(shù)介紹

–force

默認情況下，只要遇到一個用例出錯，測試程序就會退出，加入該參數(shù)后，mtr會忽略錯誤并繼續(xù)執(zhí)行下一個case直到所有case執(zhí)行結束再退出（但如何腳本存在太多錯誤還是會退出）；

–record

是否記錄results結果，首次執(zhí)行建議帶上，讓其自動生成.results文件(再修改成我們預期的結果文件)；

若一個執(zhí)行輸出結果和testname.result文件不同，會生成一個testname.reject文件，該文件在下次執(zhí)行成功之后被刪除；檢查reject文件的內容，如果里面是期望的輸出，則將內容拷貝到.result文件中，作為以后判斷運行結果是否通過的依據(jù)；

–big-test

執(zhí)行標記為big的測試用例，因為用例較大、耗時較長，標記為big的用例默認不會執(zhí)行，輸入兩遍big-test則只執(zhí)行標記為big的測試用例；

–suite=[dirname]

批量執(zhí)行指定測試目錄下的所有測試例，有時候我們要執(zhí)行一套xx.test文件，這樣可以在執(zhí)行時候指定套件名稱。

連接遠程的數(shù)據(jù)庫進行mtr執(zhí)行：
 

#./mtr --extern host=192.168.6.1 --extern port=3306 --extern user=root --extern password='123456' ?--record --force example.1

--extern：一般情況下mtr是啟動自己的MySQL服務來進行測試，如果在啟動時指定參數(shù)—extern，則可以使用指定的MySQL服務進行測試；
host | port :遠程服務器地址 | 端口；
user | password: 對應數(shù)據(jù)庫的用戶名 | 密碼；

六、測試用例編寫的規(guī)范

• 盡可能避免每行超過80個字符 ;
• 用#開頭，作為注釋;
• 縮進使用空格，避免使用tab;
• SQL 語句使用相同的風格，包括關鍵字大寫，其它變量、表名、列名等小寫;
• 增加合適的注釋。特別是文件的開頭，注釋出測試的目的、可能的引用或者修復的bug編號;
• 為了避免可能的沖突，習慣上表命名使用 t1、t2…視圖命名使用v1、v2…;

case運行失敗的原因：

• 用例文件中的sql可能不合法;
• 產生的結果文件與期望文件diff結果不一致;
• 具體錯誤原因可以通過查看執(zhí)行時的輸出日志進行排查修改；

處理預期錯誤：

• 在期望有返回錯誤的語句前面使用error指令，例如創(chuàng)建一個已經存在的表名時，可以使用以下任一種方式：

--error 1050
--error ER_TABLE_EXISTS_ERROR
其中數(shù)字對應錯誤碼，ER_TABLE_EXISTS_ERROR對應錯誤的邏輯名。
這樣在mysqltest運行后，會將返回的錯誤信息一起寫入結果文件，這些錯誤信息就作為期望結果的一部分了。

也可以使用SQLSTATE來指示期望有錯誤返回，例如與MySQL錯誤碼1050關聯(lián)的SQLSTATE值是42S01，使用下面的方式，注意編碼增加了S前綴：

--error S42S01
在指令error后面是可以加入多個錯誤碼作為參數(shù)的，使用逗號分隔即可;.

MTR其他詳細用法可以參考官網： 官方文檔

到此這篇關于MySQL Test Run 測試框架詳細介紹 的文章就介紹到這了,更多相關MySQL Test Run 測試框架內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論