python基于pexpect庫自動獲取日志信息

更新時間：2021年02月01日 14:23:49 作者：airpython

這篇文章主要介紹了python基于pexpect庫自動獲取日志信息的方法，幫助大家更好的利用python高效辦公，感興趣的朋友可以了解下

1. 前言

對大部分的人來說，解決 Bug 都是依靠關(guān)鍵字去日志去定位問題！

在調(diào)試情況下，我們可以實時在控制臺查看日志；但對于部署到服務器上的應用，日志都存放在服務器某個目錄下，沒法通過本地查看到

這種情況下，就需要我們先登錄服務器，然后進入到日志目錄文件夾，最后通過日志文件去定位問題；如果涉及到 K8s 容器，可能還需要使用 kubectl 命令進入到服務對應的容器中，進入到日志目錄，才能開始定位問題，這一切顯得非常繁瑣且低效

本篇文章介紹一款 Python 依賴庫：pexpect，作為一款命令行自動化工具，它可以幫助我們一鍵獲取日志，快速定位問題！

2. pexpect 介紹

pexpect 是 Python 語言實現(xiàn)的類 Expect 的一種實現(xiàn)，通過產(chǎn)生子應用程序并控制它們，通過期望模式對子應用程序的輸出做出相應處理

項目地址：

https://github.com/pexpect/pexpect/tree/5eed1a31a2853a09b7367c59fbd1a4a0b53341df

它主要對人機對話進行模擬，來實現(xiàn)一些自動化的場景

比如：用來和 SSH、FTP、PASSWD、Telnet 等命令行程序進行自動化交互

在使用之前，我們先安裝依賴包

# 安裝依賴庫
pip3 install pexpect

3. 實戰(zhàn)一下

我們以從服務器 K8S 容器獲取日志為例進行講解

3-1 SSH 登錄

首先，初始化使用 pexpect 模擬 SSH 遠程登錄服務器

import pexpect

PROMPT = ['# ', '>>> ', '> ', '\$ ']

def login_with_pexpect():
    """
    登錄-pexpect
    :return:
    """
    # 端口號
    port = **

    # 用戶名
    user = **

    # 密碼
    pwd = **

    # ip地址
    ip = **

    ssh_cmd = "ssh -p {} {}@{}".format(port,user,ip)

    # 指定登錄命令，拿到程序操作句柄
    child = pexpect.spawn(ssh_cmd, timeout=60, encoding='utf-8')

    # 提示輸入密碼的字符出現(xiàn)，否則超時
    ret = child.expect([pexpect.TIMEOUT, '[P|p]assword: '], timeout=10)

    # 匹配成功后，輸入密碼，執(zhí)行登陸操作
    if ret == 1:
        # 發(fā)送密碼
        child.sendline(pwd)
        child.expect(PROMPT)
        return child
    else:
        print('登錄失??！')

其中

pexpect.spawn() ：用于執(zhí)行一個程序，并返回一個操作句柄

該方法常見的 3 個參數(shù)如下：

第一個參數(shù)是待執(zhí)行的命令
第二個參數(shù)指定超時時間，程序執(zhí)行后的輸出檢查，如果指定時間內(nèi)沒有匹配到結(jié)果，就會拋異常
第三個參數(shù)用于設置編碼格式

child.expect() ：對輸出結(jié)果，利用正則表達式進行關(guān)鍵字匹配

代碼中的含義是在 10s 內(nèi)等待出現(xiàn)關(guān)鍵字 '[P|p]assword: '

最后，如果匹配的結(jié)果為 1，使用 sendline() 方法發(fā)送帶回車符的字符串，模擬密碼的輸入，完成登錄操作

3-2 封裝發(fā)送命令

接下來，我們將操作句柄發(fā)送命令進行一次封裝，并獲取返回結(jié)果

def send_command(child, cmd, expected_content=None, timeout=10):
    """
    發(fā)送一條命令，并打印結(jié)果
    :param expected_content:
    :param child:
    :param cmd:
    :return:
    """
    # 發(fā)送一條命令
    if expected_content is None:
        expected_content = ["#"]

    child.sendline(cmd)

    # 期望有命令行提示字符出現(xiàn)
    child.expect(expected_content, timeout=timeout)

    # 將之前的內(nèi)容都輸出
    result = child.before

    return result

需要指出的是，child.before 用于獲取到匹配到關(guān)鍵字為止，緩存里面已有的全部數(shù)據(jù)

3-3 進入容器 pod 日志目錄

使用上面的方法，通過 kubectl 進入到對應的容器日志目錄

# 登錄pod容器
exec_enter_pod = 'kubectl -n %s exec -it %s  bash' % (env, pod_name)

# 進入容器
send_command(child, exec_enter_pod)

# 進入到日志目錄
send_command(child, "cd logs", expected_content='tomcat/logs#')