Python讀取Ansible?playbooks返回信息示例解析
一．背景及概要設(shè)計
當公司管理維護的服務(wù)器到達一定規(guī)模后，就必然借助遠程自動化運維工具，而ansible是其中備選之一。Ansible基于Python開發(fā)，集合了眾多運維工具（puppet、chef、func、fabric）的優(yōu)點，實現(xiàn)了批量系統(tǒng)配置、批量程序部署、批量運行命令等功能。Ansible是借助ssh來和遠程主機通訊的，不需要在遠程主機上安裝client/agents。因為上手容易，配置簡單、功能強大、擴展性強，在生產(chǎn)應(yīng)用中得到了廣泛的應(yīng)用。使用過程中，讀取、解析、判斷、保存Ansible playbooks 的執(zhí)行返回信息是重要一壞。本文詳細描述如何實現(xiàn)Python讀取Ansible playbooks 執(zhí)行返回信息，并且保存到數(shù)據(jù)庫中。
Ansible playbooks 的返回信息
Ansible playbooks 的返回信息，有相應(yīng)的格式。
例如：
PLAY [play to setup web server] *****************************************************
TASK [Gathering Facts] **************************************************************
ok: [172.177.117.129]
ok: [172.177.117.130]TASK [Installed the latest httpd version] ***********************************************
ok: [172.177.117.129]
ok: [172.177.117.130]TASK [restart service] ***********************************************************
changed: [172.177.117.129]
changed: [172.177.117.130]PLAY RECAP **************************************************************************
172.177.117.129 : ok=3 changed=1 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0
172.177.117.130 : ok=3 changed=1 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0
從上面的例子可以看出，返回的運行信息還是很豐富的，從中可以得出play、task的名字、每個task執(zhí)行情況，以及play運行情況的概況。
即:
When you run a playbook, Ansible returns information about connections, the name lines of all your plays and tasks, whether each task has succeeded or failed on each machine, and whether each task has made a change on each machine. At the bottom of the playbook execution, Ansible provides a summary of the nodes that were targeted and how they performed. General failures and fatal “unreachable” communication attempts are kept separate in the counts.
重點及難點：從結(jié)果中找出規(guī)律，格式化結(jié)果，怎么用正則表達式取得想要的信息。
二．表設(shè)計
通過對Ansible playbooks返回信息的分析，可以將其分成兩類（或者說兩部分），一是play的整體執(zhí)行情況（主要信息為PLAY RECAP ），另一個是每個task的執(zhí)行詳情。因此，我們設(shè)計了兩張表。
2.1 設(shè)計用來保存【最終執(zhí)行結(jié)果】的表
ansible_play_recap
| 字段名字 | 字段類型 | 默認值 | COMMENT |
| id | bigint(20) | NOT NULL AUTO_INCREMENT | 主鍵 |
| manager_ip | varchar(100) | NOT NULL | 管理節(jié)點 |
| clustername | varchar(200) | NOT NULL | 集群名字 |
| playname | varchar(360) | NOT NULL | Ansible劇本名稱 |
| playrecap_serverip | varchar(50) | NOT NULL | Ansible運行節(jié)點（受管節(jié)點） |
| playrecap_ok_qty | varchar(10) | NOT NULL | 成功運行的task個數(shù) |
| playrecap_changed_qty | varchar(10) | NOT NULL | 產(chǎn)生效果的task個數(shù) |
| playrecap_unreachable | varchar(10) | NOT NULL | 相應(yīng)的遠程節(jié)點是否不可達 |
| playrecap_failed_qty | varchar(10) | NOT NULL | 執(zhí)行失敗的task個數(shù)【注意，不可達的情況，即未執(zhí)行的情況下，失敗的個數(shù)記為0，此時是為執(zhí)行的】 |
| playrecap_skipped_qty | varchar(10) | NOT NULL | 跳過的task的個數(shù) |
| playrecap_rescued_qty | varchar(10) | NOT NULL | 搶救的task的個數(shù) |
| playrecap_ignored_qty | varchar(10) | NOT NULL | 忽略的task的個數(shù) |
| create_time | datetime(6) | NOT NULL | 插入時間 |
| create_user | varchar(50) | NOT NULL | 操作人 |
2.2 設(shè)計用來保存【各執(zhí)行步驟詳情】的表
ansible_task_palydetail
| 字段名字 | 字段類型 | 默認值 | COMMENT |
| id | bigint(20) | NOT NULL AUTO_INCREMENT | 主鍵 |
| manager_ip | varchar(100) | NOT NULL | 管理節(jié)點 |
| clustername | varchar(200) | NOT NULL | 集群名字 |
| playname | varchar(360) | NOT NULL | Ansible劇本名稱 |
| task_serverip | varchar(50) | NOT NULL | Ansible運行節(jié)點（受管節(jié)點） |
| taskname | varchar(360) | NOT NULL | 任務(wù)名稱 |
| task_status | varchar(50) | NOT NULL | 任務(wù)執(zhí)行結(jié)果 |
| task_result_type | varchar(10) | NOT NULL | 執(zhí)行結(jié)果類型（錯誤類型） |
| task_messages | mediumtext | NOT NULL | Task運行返回信息（錯誤信息） |
| create_time | datetime(6) | NOT NULL | 插入時間 |
| create_user | varchar(50) | NOT NULL | 操作人 |
注意:
（1）可以根據(jù)需要，在表中增加一列ansible_cmd，用來保存執(zhí)行的ansible的命令。
（2）為什么會有看著奇怪的manager_ip、clustername？因為，這份代碼來自于對DB 集群的 部署 和 管理，可根據(jù)實際需要，修改取舍（即你的代碼可以把他們?nèi)サ簦?/strong>
三．Models設(shè)計
AnsiblePlayRecap的定義
class AnsiblePlayRecap(models.Model):
"""
保存ansible最終執(zhí)行結(jié)果的表
"""
id = models.AutoField('自增id', primary_key=True)
manager_ip = models.CharField('MHA Manager IP', max_length=100)
clustername = models.CharField('HA 集群名字', max_length=200, default='')
playname = models.CharField('Ansible劇本名稱', max_length=360, default='')
playrecap_serverip = models.CharField('受管節(jié)點', max_length=50, default='')
playrecap_ok_qty = models.CharField('此節(jié)點成功運行的task個數(shù)', max_length=10, default='')
playrecap_changed_qty = models.CharField('產(chǎn)生效果的task個數(shù)', max_length=10, default='')
playrecap_unreachable = models.CharField('相應(yīng)的遠程節(jié)點是否不可達', max_length=10, default='')
playrecap_failed_qty = models.CharField('執(zhí)行失敗的task個數(shù)', max_length=10, default='')
playrecap_skipped_qty = models.CharField('跳過的task的個數(shù)', max_length=10, default='')
playrecap_rescued_qty = models.CharField('搶救的task的個數(shù)', max_length=10, default='')
playrecap_ignored_qty = models.CharField('忽略的task的個數(shù)', max_length=10, default='')
create_time = models.DateTimeField('插入時間', auto_now=True)
create_user = models.CharField('操作人', max_length=50, default='')
class Meta:
db_table = 'ansible_play_recap'
verbose_name = '保存ansible最終執(zhí)行結(jié)果的表'AnsibleTaskDetail的定義
class AnsibleTaskDetail(models.Model):
"""
保存各task執(zhí)行詳情的表
"""
id = models.AutoField('自增id', primary_key=True)
manager_ip = models.CharField('MHA Manager IP', max_length=100)
clustername = models.CharField('HA 集群名字', max_length=200, default='')
playname = models.CharField('Ansible劇本名稱', max_length=360, default='')
task_serverip = models.CharField('受管節(jié)點', max_length=50, default='')
taskname = models.CharField('任務(wù)名稱', max_length=360, default='')
task_status = models.CharField('任務(wù)執(zhí)行結(jié)果', max_length=50, default='')
task_result_type = models.CharField('執(zhí)行結(jié)果的錯誤類型', max_length=10, default='')
task_messages = models.TextField('Task運行返回信息')
create_time = models.DateTimeField('插入時間', auto_now=True)
create_user = models.CharField('操作人', max_length=50, default='')
class Meta:
db_table = 'ansible_task_palydetail'
verbose_name = '保存各執(zhí)行步驟詳情的表'四．生成SQL腳本
由model所在的項目名稱，通過運行 python manage.py生成
假如項目名稱用XXXX代替
---生成腳本
python manage.py makemigrations XXXX
---顯示剛才生成的SQL腳本（0006為版本序列號）
python manage.py sqlmigrate XXXX 0006
五. 主要功能代碼
調(diào)用代碼，需傳入的參數(shù)有三個，
（1）shell_command 餐宿 -----即要執(zhí)行的Ansible Playbook 命令；
（2）manager_ip參數(shù)
（3）cluster_name 參數(shù)--- 這兩個命令前面已解釋了，因為我們的這份代碼，其功能是為了維護數(shù)據(jù)庫集群的。在其他場景下，這兩個參數(shù)可以去掉。
5.1 執(zhí)行ansible 命令
聲明關(guān)于正則的模式；連接遠程ansible主機；獲取ansible 執(zhí)行結(jié)果；
from .ansible import ParamikoHelper
##paramiko 是一個用于在Python中執(zhí)行遠程操作的模塊，支持SSH協(xié)議。它可以用于連接到遠程服務(wù)器，執(zhí)行命令、上傳和下載文件，以及在遠程服務(wù)器上執(zhí)行各種操作。
##字符串中關(guān)于IP地址的正則表達式
## ^：匹配字符串的開頭。((25[0-5]|2[0-4]\d|[01]?\d\d?)\.)：匹配一個數(shù)字和一個點號，這個數(shù)字的取值范圍是0到255。
## {3}：匹配前面的表達式三次。(25[0-5]|2[0-4]\d|[01]?\d\d?)： 配一個數(shù)字，這個數(shù)字的取值范圍是0到255。$：匹配字符串的結(jié)尾。
## 使用正則表達式匹配IP地址
# 字符串是IP地址
ip_pattern = r'^((25[0-5]|2[0-4]\d|[01]?\d\d?)\.){3}(25[0-5]|2[0-4]\d|[01]?\d\d?)$'
##字符串是IP地址開頭的
ipstart_pattern = r'^((25[0-5]|2[0-4]\d|[01]?\d\d?)\.){3}(25[0-5]|2[0-4]\d|[01]?\d\d?)'
##字符串包含IP
ipcontain_pattern = r'((25[0-5]|2[0-4]\d|[01]?\d\d?)\.){3}(25[0-5]|2[0-4]\d|[01]?\d\d?)'
##字符串包含IP,并且IP地址是以': ['字符開頭，以']'字符結(jié)尾
ipcontain_pattern_plus = r'(\: \[)((25[0-5]|2[0-4]\d|[01]?\d\d?)\.){3}((25[0-5]|2[0-4]\d|[01]?\d\d?)\])'
ansible_ip = '你的ansible server IP'
ssh_port = 你的ssh_port
ssh_username = '免密登錄設(shè)置的賬號'
ph = ParamikoHelper(remote_ip=ansible_ip,remote_ssh_port=ssh_port,ssh_username=ssh_username)
stdin, stdout, stderr = ph.exec_shell(shell_command)
processor_result = stdout.readlines() #readlines()列表形式返回全文，每行作為一個字符串作為列表元素5.2 開始逐行解析返回的結(jié)果
先判斷這一行是否以Server IP開頭（是的話，就是 PLAY RECAP 中的內(nèi)容 ），
還要判斷這一行 是否 有 以': ['字符開頭，以']'字符結(jié)束的Server IP（如果是的話，很可能就是task部分的內(nèi)容）
兩個判斷是各自獨立的，相互沒有關(guān)系依賴。
### 先賦值，否則有可能報錯:UnboundLocalError: local variable 'XXXXX' referenced before assignment
rplayname = ''
rtask_result_type =''
###
for pr_line in processor_result:
logger.warning(f'{pr_line}')
## 判斷這個字符串是不是以IP地址開頭
ip_result = re.search(ipstart_pattern, pr_line)
## 判斷這個字符串是不是包含IP地址，并且IP以': ['字符開頭，以']'字符結(jié)束
ip_plus_result = re.search(ipcontain_pattern_plus, pr_line)
##獲取playname start5.3 獲取playname 和taskname
根據(jù)是否含有'PLAY ['字符、'TASK ['字符進行判斷和提取。
##獲取playname
if 'PLAY [' in pr_line:
##使用的正則表達式'\[(.*?)\]'，其中'\'為轉(zhuǎn)移符，用于表示左右中括號的匹配，'?'表示非貪婪模式，這個模式會匹配最短的符合要求的字符串。
## [0],因正則匹配后，放回的是數(shù)組，通過[0],轉(zhuǎn)換為字符串。
rplayname = re.findall(r'\[(.*?)\]', pr_line)[0]##獲取task 的名稱
elif 'TASK [' in pr_line:
rtaskname = re.findall(r'\[(.*?)\]', pr_line)[0]5.4 獲取 paly 執(zhí)行概況
即PLAY RECAP 部分內(nèi)容，主要依據(jù)是這行的字符是以IP地址開頭的。
## 判斷這個字符串是不是以IP地址開頭
elif ip_result: #字符串是IP地址開頭的
## 此時pr_line的字符串格式如下:
## pr_line = '172.173.17.18 : ok=5 changed=2 unreachable=1 failed=0 skipped=6 rescued=7 ignored=8'
rserverip = ip_result.group() ## 匹配的server IP
## print(rserverip) ##打印IP地址
## 正則表達式，\s+ ，將一個以多個空格或制表符為分隔符的字符串拆分成一個列表
pr_line_lst = re.split(r"\s+", pr_line)
##分割后為： ['172.173.17.18', ':', 'ok=5', 'changed=2', 'unreachable=1', 'failed=0', 'skipped=6', 'rescued=7', 'ignored=8']
for pr_arry in pr_line_lst:
if 'ok=' in pr_arry:
rplayrecap_ok_qty = pr_arry.split("ok=")[1] ##記得：字符串切割后返回的是數(shù)組，所以取第二個元素if 'changed=' in pr_arry:
rplayrecap_changed_qty = pr_arry.split("changed=")[1]if 'unreachable=' in pr_arry:
rplayrecap_unreachable = pr_arry.split("unreachable=")[1]if 'failed=' in pr_arry:
rplayrecap_failed_qty = pr_arry.split("failed=")[1]if 'skipped=' in pr_arry:
rplayrecap_skipped_qty = pr_arry.split("skipped=")[1]if 'rescued=' in pr_arry:
rplayrecap_rescued_qty = pr_arry.split("rescued=")[1]if 'ignored=' in pr_arry:
rplayrecap_ignored_qty = pr_arry.split("ignored=")[1]5.5 將paly 概況數(shù)據(jù)插入表中
Django 框架，關(guān)于Model數(shù)據(jù)的寫入。
### 開始向表[ansible_play_recap]中插入數(shù)據(jù),保存ansible最終執(zhí)行結(jié)果的表
AnsiblePlayRecap.objects.create(manager_ip=manager_ip,clustername=cluster_name,playname=rplayname,playrecap_serverip=rserverip,
playrecap_ok_qty=rplayrecap_ok_qty,playrecap_changed_qty=rplayrecap_changed_qty,
playrecap_unreachable=rplayrecap_unreachable,playrecap_failed_qty=rplayrecap_failed_qty,
playrecap_skipped_qty=rplayrecap_skipped_qty,playrecap_rescued_qty=rplayrecap_rescued_qty,
playrecap_ignored_qty=rplayrecap_ignored_qty, create_user='Archery System'
)5.6 獲取task執(zhí)行情況，并將數(shù)據(jù)保存到表中
如果這一行數(shù)據(jù)包含Server IP地址，并且這個 IP以': ['字符開頭，以']'字符結(jié)尾的，那么這行記錄的就是這個task在某受管節(jié)點的執(zhí)行情況。
## 判斷這個字符串是不是包含IP地址，并且IP以': ['字符開頭，以']'字符結(jié)尾
elif ip_plus_result: ##字符串包含IP,并且IP地址是以': ['字符開頭，以']'字符結(jié)尾
if 'ok: [' in pr_line:
rtask_status = 'ok'
rtask_messages = '' ## 賦值空
##查找server IP
result = re.search(ipcontain_pattern, pr_line)
rserverip = result.group() ## 匹配的server IP
## print(rserverip)
elif 'changed: [' in pr_line:
rtask_status = 'changed'
rtask_messages = '' ## 賦值空##查找server IP
result = re.search(ipcontain_pattern, pr_line)
rserverip = result.group() ## 匹配的server IP## 有些 返回的change 中還有其他信息，例如:changed: [192.168.168.192] => (item=perl-Parallel-ForkManager-1.18-2.el7.noarch.rpm)
## 此時判斷下，是否包含 '] =>',如果包含，賦值給
if '] => ' in pr_line:
rtask_messages= pr_line.split("] => ")[1]elif 'skipping: [' in pr_line:
rtask_status = 'skipping'
rtask_messages = '' ## 賦值空
##查找server IP
result = re.search(ipcontain_pattern, pr_line)
rserverip = result.group() ## 匹配的server IPelif 'fatal: [' in pr_line:
rtask_status = 'fatal'
rtask_messages = '' ## 賦值空
rtask_result_type ='FAILED'##查找server IP
result = re.search(ipcontain_pattern, pr_line)
rserverip = result.group() ## 匹配的server IPif 'FAILED! =>' in pr_line:
rtask_messages= pr_line.split("FAILED! =>")[1]else:
rtask_status = 'NA'
rtask_messages = '未知狀態(tài)，請DBAcheck......' + pr_line
### 開始向表中插入數(shù)據(jù)
AnsibleTaskDetail.objects.create(manager_ip=manager_ip,clustername=cluster_name,playname=rplayname,playrecap_serverip=rserverip,
taskname=rtaskname,task_status=rtask_status,
task_result_type=rtask_result_type,task_messages=rtask_messages,
create_user='Archery System'
)5.7 去除干擾項和無效項
elif len(pr_line) == 0 or pr_line == '\n' or ('PLAY RECAP *******' in pr_line): ###判斷是否空 或只是 簡單的換行符，再或者包含指定字符
print("這一行為空行 或 說明行，無需記錄!")5.8 補充有效項
當執(zhí)行task返回OK時，，后面跟個IP，再后面一般不跟啥了；但是有時候還會由跟東西的。啥時候跟呢？
例如：task #debug: # msg: "你想要的返回信息。。。。。。" 這類命令時。
else:
rtask_status = 'Mostly OK'
rtask_result_type = 'debug+msg' ##'經(jīng)常出現(xiàn)在task中有debug：msg：的時候'
rtask_messages = pr_line
### 開始向表中插入數(shù)據(jù)
AnsibleTaskDetail.objects.create(manager_ip=manager_ip,clustername=cluster_name,playname=rplayname,playrecap_serverip=rserverip,
taskname=rtaskname,task_status=rtask_status,
task_result_type=rtask_result_type,task_messages=rtask_messages,
create_user='Archery System'
)
###這段處理的情形不好想像，比較難懂，舉個例子
## ok: [192.168.168.192] =>
## {
## "msg": "MySQL Replication Health is OK!"
## }
##需要注意的時，相應(yīng)的在表中也會保留多行數(shù)據(jù)。因為我們時逐行獲取，逐行解析，逐行報錯的。不過慶幸的時，順序都是對的。六. 其他說明
必須說明的是：上面的Python代碼針對的是ansible host 文件保存的是Server IP，如果是域名，那么關(guān)于IP的正則是不可用的，代碼必須調(diào)整。
補充幾個task的返回信息的示例，方便理解代碼。
示例 1
ok: [192.168.168.192] => {\n', ' "msg": "MySQL Replication Health is OK!"\n', '}\n
示例 2
changed: [192.168.168.192] => (item=perl-Parallel-ForkManager-1.18-2.el7.noarch.rpm)
示例 3
fatal: [192.168.168.192]: FAILED! => {"changed": false, "msg": "No package matching "test" found available, installed or updated", "rc": 126, "results": ["No package matching "test" found available, installed or updated']}"""
示例 4
skipping: [192.168.168.192]
示例 5
changed: [192.168.168.192]
示例 6
ok: [192.168.168.192]
Python讀取Ansible playbooks返回信息只是平臺的一個小功能，整個系統(tǒng)平臺采用的是Django框架。
以上就是Python讀取Ansible playbooks返回信息示例解析的詳細內(nèi)容，更多關(guān)于Python讀取Ansible playbooks的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
10種檢測Python程序運行時間、CPU和內(nèi)存占用的方法
這篇文章主要介紹了10種檢測Python程序運行時間、CPU和內(nèi)存占用的方法,包括利用Python裝飾器或是外部的Unix Shell命令等，需要的朋友可以參考下2015-04-04
這篇文章主要為大家介紹了通過Python為圖像添加下雪特效，文中的示例代碼講解詳細，對學(xué)習(xí)Python有一定的幫助，感興趣的小伙伴可以了解一下2021-12-12
python使用requests+excel進行接口自動化測試的實現(xiàn)
在當今的互聯(lián)網(wǎng)時代中,接口自動化測試越來越成為軟件測試的重要組成部分,本文就來介紹了python使用requests+excel進行接口自動化測試的實現(xiàn),感興趣的可以了解一下2023-11-11
Python程序自動以管理員權(quán)限運行的實現(xiàn)方法
Windows上為了安全起見,python語言啟動的應(yīng)用程序默認都不會使用admin管理員權(quán)限,但是在有些情況下我們又需要使用管理員權(quán)限啟動應(yīng)用,這篇文章主要給大家介紹了關(guān)于Python程序自動以管理員權(quán)限運行的實現(xiàn)方法,需要的朋友可以參考下2023-11-11
python:刪除離群值操作(每一行為一類數(shù)據(jù))
這篇文章主要介紹了python:刪除離群值操作(每一行為一類數(shù)據(jù))，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
對python?調(diào)用類屬性的方法詳解測試時候類的調(diào)用是經(jīng)常會用到的,下面這篇文章主要給大家介紹了關(guān)于Python類屬性和方法的調(diào)用的相關(guān)資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-06-06
Python tkinter實現(xiàn)的圖片移動碰撞動畫效果【附源碼下載】
這篇文章主要介紹了Python tkinter實現(xiàn)的圖片移動碰撞動畫效果,涉及Python tkinter模塊操作圖片基于坐標動態(tài)變換與數(shù)值判定實現(xiàn)移動、碰撞檢測等相關(guān)操作技巧,需要的朋友可以參考下2018-01-01
Python編程深度學(xué)習(xí)計算庫之numpy
今天小編就為大家分享一篇關(guān)于Python編程深度學(xué)習(xí)計算庫之numpy，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-12-12
Python+Selenium使用Page Object實現(xiàn)頁面自動化測試
這篇文章主要介紹了Python+Selenium使用Page Object實現(xiàn)頁面自動化測試，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
這篇文章主要介紹了Python 讀取WAV音頻文件 畫頻譜的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03