欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Skywalking改成適配阿里云等帶Http?Basic的Elasticsearch服務(wù)

 更新時(shí)間:2022年02月28日 11:50:03   作者:kl  
這篇文章主要介紹了改造Skywalking支持阿里云等帶Http?Basic的Elasticsearch服務(wù)

前言

最近公司skywalking服務(wù)經(jīng)常出現(xiàn)大盤空白的情況,經(jīng)查明,是由于ES的寫入瓶頸造成線程阻塞,數(shù)據(jù)沒(méi)有落地到ES造成。后綜合運(yùn)維成本等方面考慮,準(zhǔn)備使用阿里云提供的Elasticsearch服務(wù),阿里云的ES無(wú)論內(nèi)外網(wǎng)都加上了Http Basic認(rèn)證,但是skywalking6.x提供的RestHighLevelClient客戶端并沒(méi)有適配帶Http Basic基礎(chǔ)認(rèn)證的ES服務(wù),所以需要稍加改動(dòng)下skywalking源碼。

skywalking項(xiàng)目結(jié)構(gòu)

項(xiàng)目從github拉下來(lái)后,先了解下項(xiàng)目結(jié)構(gòu)。在skywalking2.x的版本時(shí),我曾研究過(guò)skywalking的插件機(jī)制,到現(xiàn)在的6.x版本,在項(xiàng)目結(jié)構(gòu)和設(shè)計(jì)上都有了很大的變化。6.x的項(xiàng)目結(jié)構(gòu)如下,我們主要關(guān)注箭頭所指的模塊,es存儲(chǔ)插件的實(shí)現(xiàn)

定位代碼改動(dòng)

1.定位StorageModuleElasticsearchConfig.java,新增Http Basicr認(rèn)證所需的用戶和密碼

@Setter @Getter private String nameSpace;
    @Setter @Getter private String clusterNodes;
    private int indexShardsNumber;
    private int indexReplicasNumber;
    private boolean highPerformanceMode;
    private int traceDataTTL = 90;
    private int minuteMetricDataTTL = 90;
    private int hourMetricDataTTL = 36;
    private int dayMetricDataTTL = 45;
    private int monthMetricDataTTL = 18;
    private int bulkActions = 2000;
    private int bulkSize = 20;
    private int flushInterval = 10;
    private int concurrentRequests = 2;
    private String user;
    private String password;

2.定位ElasticSearchClient.java,新增用戶和密碼屬性,改動(dòng)構(gòu)造方法,將用戶和密碼傳入進(jìn)來(lái),在創(chuàng)建connect時(shí)判斷用戶是否配置了認(rèn)證信息,如果配置就走帶認(rèn)證的連接,如果沒(méi)有,就走默認(rèn)的不帶認(rèn)證連接,具體改動(dòng)如下:

private static final String TYPE = "type";
    private final String clusterNodes;
    private final String namespace;
    private final String user;
    private final String password;
    private RestHighLevelClient client;
    public ElasticSearchClient(String clusterNodes, String namespace, String user, String password) {
        this.clusterNodes = clusterNodes;
        this.namespace = namespace;
        this.user = user;
        this.password = password;
    }
    @Override
    public void connect() {
        ListpairsList = parseClusterNodes(clusterNodes);
        RestClientBuilder builder;
        if (StringUtils.isNotBlank(user) && StringUtils.isNotBlank(password)) {
            final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
            credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(user, password));
            builder = RestClient.builder(pairsList.toArray(new HttpHost[0]))
                    .setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
                        @Override
                        public HttpAsyncClientBuilder customizeHttpClient(
                                HttpAsyncClientBuilder httpClientBuilder) {
                            return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
                        }
                    });
        } else {
            builder = RestClient.builder(pairsList.toArray(new HttpHost[0]));
        }
        client = new RestHighLevelClient(builder);
    }

Elasticsearch的basic_authentication連接官方文檔說(shuō)明:https://www.elastic.co/guide/en/elasticsearch/client/doc

3.定位StorageModuleElasticsearchProvider.java和ElasticSearchClientTestCase.java 修改構(gòu)造方法入?yún)?。基本上就是如上的改?dòng),就可以讓skywalking支持帶basic_authentication認(rèn)證的Elasticsearch服務(wù)了。在配置時(shí)添加user和password,如:

storage:
  elasticsearch:
    nameSpace: ${SW_NAMESPACE:""}
    clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:localhost:9200}
    user: ${SW_ES_USER:""}
    password: ${SW_ES_PASSWORD:""}
    indexShardsNumber: ${SW_STORAGE_ES_INDEX_SHARDS_NUMBER:2}
    indexReplicasNumber: ${SW_STORAGE_ES_INDEX_REPLICAS_NUMBER:0}
    # Batch process setting, refer to https://www.elastic.co/guide/en/elasticsearch/client/java-api/5.5/java-docs-bulk-processor.html
    bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:2000} # Execute the bulk every 2000 requests
    bulkSize: ${SW_STORAGE_ES_BULK_SIZE:20} # flush the bulk every 20mb
    flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:10} # flush the bulk every 10 seconds whatever the number of requests
    concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:2} # the number of concurrent requests

注意事項(xiàng)

  • skywalking項(xiàng)目從個(gè)人開源走到國(guó)際化開源項(xiàng)目,和其代碼質(zhì)量和項(xiàng)目管理密不可分。skywalking項(xiàng)目里有嚴(yán)格的代碼編譯檢查,比如逗號(hào)前面不能有空格,逗號(hào)后面一定要有空格等。
  • 還有別忘記修改assembly\application.yml文件,添加上user和password,不然打出來(lái)的包默認(rèn)不帶這兩個(gè)配置屬性
  • 編譯的話,因?yàn)樯婕暗紾PRC部分的依賴,和前端子項(xiàng)目的結(jié)構(gòu),需要做些處理。
  • 因?yàn)橄到y(tǒng)字符集的問(wèn)題,Windows系統(tǒng)下打出來(lái)的包,bin目錄下的shell腳步可能運(yùn)行不了,這個(gè)是因?yàn)閃indows字符集的問(wèn)題導(dǎo)致的,不過(guò)沒(méi)關(guān)系,可以拷貝官方包中的腳步替換

改完編譯成功后,會(huì)在項(xiàng)目的根目錄下生產(chǎn)一個(gè)dist目錄,目錄下包含兩個(gè)壓縮包,分別對(duì)應(yīng)linux系統(tǒng)tar,和Windows下的zip包。

結(jié)語(yǔ)

其實(shí)解決這個(gè)問(wèn)題的方式除了改造skywalking外,還可以通過(guò)Nginx做一下轉(zhuǎn)發(fā),Http Basic認(rèn)證的動(dòng)作在Nginx側(cè)給做了。之所以想到改動(dòng)skywalking,是因?yàn)镋lasticsearch的RestHighLevelClient 官方文檔有這種Http Basic認(rèn)證支持說(shuō)明。所以覺(jué)得是一個(gè)比較常規(guī)的操作,而不是多依賴一個(gè)外部組件來(lái)解決。

目前關(guān)于改動(dòng)Elasticsearch Client支持Http Basic的代碼已給官方提交pr,在是否需要合并此pr,和skywalking作者們溝通交流很多個(gè)來(lái)回。截止發(fā)文這個(gè)pr還沒(méi)正式合并到官方倉(cāng)庫(kù)。如果你看到這了,希望能發(fā)表下你對(duì)這個(gè)pr合并的意見和看法。不過(guò),最后還是希望這個(gè)pr能夠合并進(jìn)去,能用官方發(fā)布的版本解決Http Basic認(rèn)證的問(wèn)題最好了。

以上就是Skywalking改成適配阿里云等帶Http Basic的Elasticsearch服務(wù)的詳細(xì)內(nèi)容,更多關(guān)于Skywalking改造成支持阿里云等帶服務(wù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • 談?wù)凧ava中對(duì)象,類和this,super,static關(guān)鍵字的使用

    談?wù)凧ava中對(duì)象,類和this,super,static關(guān)鍵字的使用

    對(duì)象:對(duì)象是類的一個(gè)實(shí)例,有狀態(tài)和行為。類:類是一個(gè)模板,它描述一類對(duì)象的行為和狀態(tài)。本文就來(lái)和大家聊聊Java中對(duì)象,類和關(guān)鍵字的使用,需要的可以參考一下
    2022-08-08
  • 詳解JNA中的回調(diào)方法

    詳解JNA中的回調(diào)方法

    這篇文章主要介紹了JNA中的回調(diào)方法,主要包括JNA 中的 Callback,callback 的應(yīng)用,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下
    2022-05-05
  • SpringBoot啟動(dòng)時(shí)自動(dòng)執(zhí)行代碼的幾種實(shí)現(xiàn)方式

    SpringBoot啟動(dòng)時(shí)自動(dòng)執(zhí)行代碼的幾種實(shí)現(xiàn)方式

    這篇文章主要給大家介紹了關(guān)于SpringBoot啟動(dòng)時(shí)自動(dòng)執(zhí)行代碼的幾種實(shí)現(xiàn)方式,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2022-02-02
  • 解決使用this.getClass().getResource()獲取文件時(shí)遇到的坑

    解決使用this.getClass().getResource()獲取文件時(shí)遇到的坑

    這篇文章主要介紹了解決使用this.getClass().getResource()獲取文件時(shí)遇到的坑問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-12-12
  • java 與testng利用XML做數(shù)據(jù)源的數(shù)據(jù)驅(qū)動(dòng)示例詳解

    java 與testng利用XML做數(shù)據(jù)源的數(shù)據(jù)驅(qū)動(dòng)示例詳解

    這篇文章主要介紹了java 與testng利用XML做數(shù)據(jù)源的數(shù)據(jù)驅(qū)動(dòng)示例詳解的相關(guān)資料,需要的朋友可以參考下
    2017-01-01
  • mybatis項(xiàng)目實(shí)現(xiàn)動(dòng)態(tài)表名的三種方法

    mybatis項(xiàng)目實(shí)現(xiàn)動(dòng)態(tài)表名的三種方法

    有時(shí)在開發(fā)過(guò)程中java代碼中的表名和數(shù)據(jù)庫(kù)的表名并不是一致的,此時(shí)我們就需要?jiǎng)討B(tài)的設(shè)置表名,本文主要介紹了mybatis項(xiàng)目實(shí)現(xiàn)動(dòng)態(tài)表名的三種方法,具有一定的參考價(jià)值,感興趣的可以了解一下
    2024-01-01
  • Java集合Map的clear與new Map區(qū)別詳解

    Java集合Map的clear與new Map區(qū)別詳解

    這篇文章主要介紹了Java集合Map的clear與new Map區(qū)別詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-04-04
  • Java面試基礎(chǔ)之TCP連接以及其優(yōu)化

    Java面試基礎(chǔ)之TCP連接以及其優(yōu)化

    這篇文章主要給大家介紹了關(guān)于Java面試基礎(chǔ)之TCP連接以及其優(yōu)化的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Java具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-09-09
  • 關(guān)于注解FeignClient的使用規(guī)范

    關(guān)于注解FeignClient的使用規(guī)范

    這篇文章主要介紹了關(guān)于注解FeignClient的使用規(guī)范,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-03-03
  • Java springboot 整合 Nacos的實(shí)例代碼

    Java springboot 整合 Nacos的實(shí)例代碼

    這篇文章主要介紹了Java springboot 整合 Nacos的實(shí)例,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-04-04

最新評(píng)論