ELK配置轉(zhuǎn)存redis緩存采集nginx訪問(wèn)日志的操作方法
在136服務(wù)器上部署mysql
啟動(dòng)mysql服務(wù)
可通過(guò)以下命令查找安裝的軟件包
怎么查找安裝軟件的日志文件位置rpm -qc mysql-server，即可顯示mysql.log位置
也可通過(guò)查找配置文件中的log關(guān)鍵字來(lái)查找log文件日志位置
用awk命令，以=切割，輸出第二個(gè)字段
rpm -ql 也可查找
編輯logstash配置文件
添加mysql日志信息配置文件
重啟logstash配置文件
登錄前臺(tái)查看
只采集nginx日志，配置nginx_logs.conf,修改索引
看到9600端口啟動(dòng)成功，即配置啟動(dòng)成功
搜索索引，選擇索引模式，添加新的索引
點(diǎn)擊創(chuàng)建索引模式
重新訪問(wèn)nginx服務(wù)器生成新的nginx日志文件，即可加載出nginx日志文件
以時(shí)間字段作為篩選
此時(shí)顯示日志配置成功，通過(guò)135服務(wù)器重新訪問(wèn)136nginx服務(wù)，前臺(tái)顯示出訪問(wèn)信息
添加mysql單獨(dú)索引日志顯示服務(wù)
但是不能連續(xù)重啟nginx和mysql日志加載配置文件，需要將其配置日志文件放在一個(gè)文件夾下，進(jìn)行加載顯示，配置logstash.yml文件
在配置的目錄下創(chuàng)建配置文件
用以下方式重新啟動(dòng)配置文件
修改文件pipelines.yml內(nèi)容配置文件目錄
加入該配置文件后，etc目錄下會(huì)生成以下文件內(nèi)容
在135服務(wù)器上安裝redis服務(wù)，配置監(jiān)聽(tīng)為全網(wǎng)監(jiān)聽(tīng)
啟動(dòng)redis服務(wù)
進(jìn)入redis，查看redis中的鍵值
在136上配置用redis緩存技術(shù)，將logstash采集的日志存儲(chǔ)到redis中
重新加載配置文件在config文件夾下，執(zhí)行../bin/logstash -f nginx_logs.conf
在135服務(wù)器上監(jiān)控redis
雖然有訪問(wèn)數(shù)據(jù)，但是沒(méi)有key，不知道哪里原因，重新單獨(dú)測(cè)試，先寫入redis中
停掉135上的elk進(jìn)程，直接停掉java進(jìn)程即可pkill java
編輯logstash配置文件nginx_log.conf,vim nginx_log.conf,刪除之前的寫入els服務(wù)模塊內(nèi)容
重新加載配置文件../bin/logstash -f nginx_log.conf
訪問(wèn)nginx測(cè)試頁(yè)面
查看redis服務(wù)中的鍵值，即可看到訪問(wèn)信息
至此測(cè)試成功，下次測(cè)試同時(shí)先轉(zhuǎn)存redis，在轉(zhuǎn)存到els,在前臺(tái)kibana頁(yè)面顯示出來(lái)
到此這篇關(guān)于ELK配置轉(zhuǎn)存redis緩存，采集nginx訪問(wèn)日志的文章就介紹到這了,更多相關(guān)ELK轉(zhuǎn)存redis緩存內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
使用Redis實(shí)現(xiàn)記錄訪問(wèn)次數(shù)的三種方案
這篇文章主要介紹了使用Redis實(shí)現(xiàn)記錄訪問(wèn)次數(shù)的三種方案,文中通過(guò)代碼示例和圖文講解的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下2024-09-09
Deepin UOS編譯安裝Redis的實(shí)現(xiàn)步驟
本文主要介紹了Deepin UOS編譯安裝Redis的實(shí)現(xiàn)步驟，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
Redis實(shí)現(xiàn)每日簽到功能(大數(shù)據(jù)量)
在面對(duì)百萬(wàn)級(jí)用戶簽到情況下,傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)和判斷會(huì)遇到瓶頸,使用Redis的二進(jìn)制數(shù)據(jù)類型可實(shí)現(xiàn)高效的簽到功能,示例代碼展示了如何調(diào)用這些功能,包括當(dāng)天簽到、補(bǔ)簽以及查詢簽到記錄,PHP結(jié)合Redis二進(jìn)制數(shù)據(jù)類型可有效處理大數(shù)據(jù)量下的簽到問(wèn)題2024-10-10
Redis中五種數(shù)據(jù)類型簡(jiǎn)單操作
這篇文章主要介紹了Redis中五種數(shù)據(jù)類型簡(jiǎn)單操作的相關(guān)資料,需要的朋友可以參考下2017-04-04
redis中redisson實(shí)現(xiàn)鎖自動(dòng)延時(shí)
redisson作為分布式鎖能夠解決分布式的加鎖解鎖問(wèn)題,還能夠?qū)崿F(xiàn)鎖的設(shè)置存活時(shí)間以及自動(dòng)續(xù)期,本文主要介紹了redis中redisson實(shí)現(xiàn)鎖自動(dòng)延時(shí),感興趣的可以了解一下2024-02-02
深入理解Redis內(nèi)存回收和內(nèi)存淘汰機(jī)制
Redis使用多種過(guò)期策略和內(nèi)存淘汰機(jī)制來(lái)管理內(nèi)存,本文主要介紹了深入理解Redis內(nèi)存回收和內(nèi)存淘汰機(jī)制, 具有一定的參考價(jià)值,感興趣的可以了解一下2024-06-06
在項(xiàng)目使用Redis過(guò)程中,當(dāng)數(shù)據(jù)更新時(shí),我們要保證緩存和數(shù)據(jù)庫(kù)的一致性,否則會(huì)導(dǎo)致很多臟數(shù)據(jù)出現(xiàn),此時(shí)我們就要思考如何去進(jìn)行數(shù)據(jù)更新,本文就給大家講講關(guān)于redis的讀寫一致問(wèn)題,需要的朋友可以參考下2023-08-08
Redis緩存異常問(wèn)題分別是緩存雪崩,緩存預(yù)熱,緩存穿透,緩存降級(jí),緩存擊穿,本文主要介紹了Redis緩存異常常用解決方案總結(jié),具有一定的參考價(jià)值,感興趣的可以了解一下2023-12-12
Redis中的數(shù)據(jù)結(jié)構(gòu)跳表詳解
跳表是一種基于并聯(lián)的鏈表結(jié)構(gòu),用于在有序元素序列中快速查找元素的數(shù)據(jù)結(jié)構(gòu),本文給大家介紹Redis中的數(shù)據(jù)結(jié)構(gòu)跳表,感興趣的朋友跟隨小編一起看看吧2024-06-06
Redisson分布式限流器RRateLimiter的使用及原理小結(jié)
本文主要介紹了Redisson分布式限流器RRateLimiter的使用及原理小結(jié),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-06-06