快捷導(dǎo)航

Skywalking改成適配阿里云等帶Http?Basic的Elasticsearch服務(wù)

更新時間：2022年02月28日 11:50:03 作者：kl

這篇文章主要介紹了改造Skywalking支持阿里云等帶Http?Basic的Elasticsearch服務(wù)

前言

最近公司skywalking服務(wù)經(jīng)常出現(xiàn)大盤空白的情況，經(jīng)查明，是由于ES的寫入瓶頸造成線程阻塞，數(shù)據(jù)沒有落地到ES造成。后綜合運維成本等方面考慮，準(zhǔn)備使用阿里云提供的Elasticsearch服務(wù)，阿里云的ES無論內(nèi)外網(wǎng)都加上了Http Basic認(rèn)證，但是skywalking6.x提供的RestHighLevelClient客戶端并沒有適配帶Http Basic基礎(chǔ)認(rèn)證的ES服務(wù)，所以需要稍加改動下skywalking源碼。

skywalking項目結(jié)構(gòu)

項目從github拉下來后，先了解下項目結(jié)構(gòu)。在skywalking2.x的版本時，我曾研究過skywalking的插件機(jī)制，到現(xiàn)在的6.x版本，在項目結(jié)構(gòu)和設(shè)計上都有了很大的變化。6.x的項目結(jié)構(gòu)如下，我們主要關(guān)注箭頭所指的模塊，es存儲插件的實現(xiàn)

定位代碼改動

1.定位StorageModuleElasticsearchConfig.java,新增Http Basicr認(rèn)證所需的用戶和密碼

@Setter @Getter private String nameSpace;
    @Setter @Getter private String clusterNodes;
    private int indexShardsNumber;
    private int indexReplicasNumber;
    private boolean highPerformanceMode;
    private int traceDataTTL = 90;
    private int minuteMetricDataTTL = 90;
    private int hourMetricDataTTL = 36;
    private int dayMetricDataTTL = 45;
    private int monthMetricDataTTL = 18;
    private int bulkActions = 2000;
    private int bulkSize = 20;
    private int flushInterval = 10;
    private int concurrentRequests = 2;
    private String user;
    private String password;

2.定位ElasticSearchClient.java，新增用戶和密碼屬性，改動構(gòu)造方法，將用戶和密碼傳入進(jìn)來，在創(chuàng)建connect時判斷用戶是否配置了認(rèn)證信息，如果配置就走帶認(rèn)證的連接，如果沒有，就走默認(rèn)的不帶認(rèn)證連接，具體改動如下：

private static final String TYPE = "type";
    private final String clusterNodes;
    private final String namespace;
    private final String user;
    private final String password;
    private RestHighLevelClient client;
    public ElasticSearchClient(String clusterNodes, String namespace, String user, String password) {
        this.clusterNodes = clusterNodes;
        this.namespace = namespace;
        this.user = user;
        this.password = password;
    }
    @Override
    public void connect() {
        ListpairsList = parseClusterNodes(clusterNodes);
        RestClientBuilder builder;
        if (StringUtils.isNotBlank(user) && StringUtils.isNotBlank(password)) {
            final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
            credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(user, password));
            builder = RestClient.builder(pairsList.toArray(new HttpHost[0]))
                    .setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
                        @Override
                        public HttpAsyncClientBuilder customizeHttpClient(
                                HttpAsyncClientBuilder httpClientBuilder) {
                            return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
                        }
                    });
        } else {
            builder = RestClient.builder(pairsList.toArray(new HttpHost[0]));
        }
        client = new RestHighLevelClient(builder);
    }

Elasticsearch的basic_authentication連接官方文檔說明：https://www.elastic.co/guide/en/elasticsearch/client/doc

3.定位StorageModuleElasticsearchProvider.java和ElasticSearchClientTestCase.java 修改構(gòu)造方法入?yún)??；旧暇褪侨缟系母膭樱涂梢宰宻kywalking支持帶basic_authentication認(rèn)證的Elasticsearch服務(wù)了。在配置時添加user和password，如：

storage:
  elasticsearch:
    nameSpace: ${SW_NAMESPACE:""}
    clusterNodes: ${SW_STORAGE_ES_CLUSTER_NODES:localhost:9200}
    user: ${SW_ES_USER:""}
    password: ${SW_ES_PASSWORD:""}
    indexShardsNumber: ${SW_STORAGE_ES_INDEX_SHARDS_NUMBER:2}
    indexReplicasNumber: ${SW_STORAGE_ES_INDEX_REPLICAS_NUMBER:0}
    # Batch process setting, refer to https://www.elastic.co/guide/en/elasticsearch/client/java-api/5.5/java-docs-bulk-processor.html
    bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:2000} # Execute the bulk every 2000 requests
    bulkSize: ${SW_STORAGE_ES_BULK_SIZE:20} # flush the bulk every 20mb
    flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:10} # flush the bulk every 10 seconds whatever the number of requests
    concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:2} # the number of concurrent requests

注意事項

skywalking項目從個人開源走到國際化開源項目，和其代碼質(zhì)量和項目管理密不可分。skywalking項目里有嚴(yán)格的代碼編譯檢查，比如逗號前面不能有空格，逗號后面一定要有空格等。
還有別忘記修改assembly\application.yml文件，添加上user和password，不然打出來的包默認(rèn)不帶這兩個配置屬性
編譯的話，因為涉及到GPRC部分的依賴，和前端子項目的結(jié)構(gòu)，需要做些處理。
因為系統(tǒng)字符集的問題，Windows系統(tǒng)下打出來的包，bin目錄下的shell腳步可能運行不了，這個是因為Windows字符集的問題導(dǎo)致的，不過沒關(guān)系，可以拷貝官方包中的腳步替換

改完編譯成功后，會在項目的根目錄下生產(chǎn)一個dist目錄，目錄下包含兩個壓縮包，分別對應(yīng)linux系統(tǒng)tar，和Windows下的zip包。

結(jié)語

其實解決這個問題的方式除了改造skywalking外，還可以通過Nginx做一下轉(zhuǎn)發(fā)，Http Basic認(rèn)證的動作在Nginx側(cè)給做了。之所以想到改動skywalking，是因為Elasticsearch的RestHighLevelClient 官方文檔有這種Http Basic認(rèn)證支持說明。所以覺得是一個比較常規(guī)的操作，而不是多依賴一個外部組件來解決。

目前關(guān)于改動Elasticsearch Client支持Http Basic的代碼已給官方提交pr，在是否需要合并此pr，和skywalking作者們溝通交流很多個來回。截止發(fā)文這個pr還沒正式合并到官方倉庫。如果你看到這了，希望能發(fā)表下你對這個pr合并的意見和看法。不過，最后還是希望這個pr能夠合并進(jìn)去，能用官方發(fā)布的版本解決Http Basic認(rèn)證的問題最好了。

以上就是Skywalking改成適配阿里云等帶Http Basic的Elasticsearch服務(wù)的詳細(xì)內(nèi)容，更多關(guān)于Skywalking改造成支持阿里云等帶服務(wù)的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: