Java實現(xiàn)權(quán)重隨機算法詳解

更新時間：2021年07月15日 16:09:02 作者：殷天文

平時，經(jīng)常會遇到權(quán)重隨機算法，從不同權(quán)重的N個元素中隨機選擇一個，并使得總體選擇結(jié)果是按照權(quán)重分布的。本文就詳細來介紹如何實現(xiàn)，感興趣的可以了解一下

應(yīng)用場景

客戶端負載均衡，例如 Nacos 提供的客戶端負載均衡就是使用了該算法
游戲抽獎（普通道具的權(quán)重很高，稀有道具的權(quán)重很低）

本文目標

Java 實現(xiàn)權(quán)重隨機算法

算法詳解

比如我們現(xiàn)在有三臺 Server，權(quán)重分別為1，3，2。現(xiàn)在想對三臺 Server 做負載均衡

Server1     Server2     Server3

 weight      weight      weight
   1           3          2

權(quán)重比例

我們算出每臺 Server 的權(quán)重比例，權(quán)重比例 = 自己的權(quán)重 / 總權(quán)重

server1     server2     server3

 weight      weight      weight
   1           3          2

 radio       radio       radio
  1/6         3/6         2/6

根據(jù)權(quán)重比例計算覆蓋區(qū)域

      server1               server2                  server3
         ^                     ^                        ^
    |---------||---------|---------|---------||---------|---------||
    0         1/6                            4/6                  6/6
               ^                              ^                    ^
          0.16666667                      0.66666667              1.0

根據(jù)權(quán)重負載均衡

如步驟2所示，每個 server 都有自己的范圍，把每一個格子作為單位來看的話

server1 (0,1]
server2 (1,4]
server3 (4,6]

使用隨機數(shù)函數(shù)，取 (0,6] 之間的隨機數(shù)，根據(jù)隨機數(shù)落在哪個范圍決定如何選擇。例如隨機數(shù)為 2，處于 (1,4] 范圍，那么就選擇 server2。

思路大概就是這樣，落實到代碼上，用一個數(shù)組 [0.16666667, 0.66666667, 1] 來表示這三個 server 的覆蓋范圍，使用 ThreadLocalRandom 或者 Random 獲取 [0,1) 內(nèi)的隨機數(shù)。然后使用二分查找法快速定位隨機數(shù)處于哪個區(qū)間

Java 實現(xiàn)

代碼基本上與 com.alibaba.nacos.client.naming.utils.Chooser 一致，在可讀性方面做了下優(yōu)化。

import java.util.*;
import java.util.concurrent.ThreadLocalRandom;
import java.util.concurrent.atomic.AtomicInteger;

public class WeightRandom<T> {

    private final List<T> items = new ArrayList<>();
    private double[] weights;

    public WeightRandom(List<ItemWithWeight<T>> itemsWithWeight) {
        this.calWeights(itemsWithWeight);
    }

    /**
     * 計算權(quán)重，初始化或者重新定義權(quán)重時使用
     * 
     */
    public void calWeights(List<ItemWithWeight<T>> itemsWithWeight) {
        items.clear();

        // 計算權(quán)重總和
        double originWeightSum = 0;
        for (ItemWithWeight<T> itemWithWeight : itemsWithWeight) {
            double weight = itemWithWeight.getWeight();
            if (weight <= 0) {
                continue;
            }

            items.add(itemWithWeight.getItem());
            if (Double.isInfinite(weight)) {
                weight = 10000.0D;
            }
            if (Double.isNaN(weight)) {
                weight = 1.0D;
            }
            originWeightSum += weight;
        }

        // 計算每個item的實際權(quán)重比例
        double[] actualWeightRatios = new double[items.size()];
        int index = 0;
        for (ItemWithWeight<T> itemWithWeight : itemsWithWeight) {
            double weight = itemWithWeight.getWeight();
            if (weight <= 0) {
                continue;
            }
            actualWeightRatios[index++] = weight / originWeightSum;
        }

        // 計算每個item的權(quán)重范圍
        // 權(quán)重范圍起始位置
        weights = new double[items.size()];
        double weightRangeStartPos = 0;
        for (int i = 0; i < index; i++) {
            weights[i] = weightRangeStartPos + actualWeightRatios[i];
            weightRangeStartPos += actualWeightRatios[i];
        }
    }

    /**
     * 基于權(quán)重隨機算法選擇
     * 
     */
    public T choose() {
        double random = ThreadLocalRandom.current().nextDouble();
        int index = Arrays.binarySearch(weights, random);
        if (index < 0) {
            index = -index - 1;
        } else {
            return items.get(index);
        }

        if (index < weights.length && random < weights[index]) {
            return items.get(index);
        }

        // 通常不會走到這里，為了保證能得到正確的返回，這里隨便返回一個
        return items.get(0);
    }

    public static class ItemWithWeight<T> {
        T item;
        double weight;

        public ItemWithWeight() {
        }

        public ItemWithWeight(T item, double weight) {
            this.item = item;
            this.weight = weight;
        }

        public T getItem() {
            return item;
        }

        public void setItem(T item) {
            this.item = item;
        }

        public double getWeight() {
            return weight;
        }

        public void setWeight(double weight) {
            this.weight = weight;
        }
    }

    public static void main(String[] args) {
        // for test
        int sampleCount = 1_000_000;

        ItemWithWeight<String> server1 = new ItemWithWeight<>("server1", 1.0);
        ItemWithWeight<String> server2 = new ItemWithWeight<>("server2", 3.0);
        ItemWithWeight<String> server3 = new ItemWithWeight<>("server3", 2.0);

        WeightRandom<String> weightRandom = new WeightRandom<>(Arrays.asList(server1, server2, server3));

        // 統(tǒng)計 (這里用 AtomicInteger 僅僅是因為寫起來比較方便，這是一個單線程測試)
        Map<String, AtomicInteger> statistics = new HashMap<>();

        for (int i = 0; i < sampleCount; i++) {
            statistics
                    .computeIfAbsent(weightRandom.choose(), (k) -> new AtomicInteger())
                    .incrementAndGet();
        }

        statistics.forEach((k, v) -> {
            double hit = (double) v.get() / sampleCount;
            System.out.println(k + ", hit:" + hit);
        });
    }
}

這里重點說一下 Arrays.binarySearch(weights, random)，這個 API 我之前沒有用過導致我在讀 Nacos 源碼時，對這塊的操作十分費解

來看一下 java API 文檔對該方法返回值的解釋

Returns:
index of the search key, if it is contained in the array; otherwise, (-(insertion point) - 1). The insertion point is defined as the point at which the key would be inserted into the array: the index of the first element greater than the key, or a.length if all elements in the array are less than the specified key. Note that this guarantees that the return value will be >= 0 if and only if the key is found.

解釋下，首先該方法的作用是通過指定的 key 搜索數(shù)組。（前提條件是要保證數(shù)組的順序是從小到大排序過的）

如果數(shù)組中包含該 key，則返回對應(yīng)的索引
如果不包含該 key，則返回該 key 的 (-(insertion point)-1)

insertion point（插入點）：該 key 應(yīng)該在數(shù)組的哪個位置。舉個例子，數(shù)組 [1,3,5]，我的搜索 key 為 2，按照順序排的話 2 應(yīng)該在數(shù)組的 index = 1 的位置，所以此時 insertion point = 1。

（這里 jdk 將能查到 key 和查不到 key 兩種情況做了區(qū)分。為了將未找到的情況全部返回負數(shù)，所以做了 (-(insertion point)-1) 這樣的操作）

看到這，我們就懂了，insertion point 就是我們需要的，現(xiàn)在我們用小學數(shù)學來推導一下如何計算 insertion point

// 小學數(shù)學推導一下 insertion point 如何計算
returnValue = (- (insertionPoint) - 1)
insertionPoint = (- (returnValue + 1) )

// 所以就有了上邊代碼中的
if (index < 0) {
 index = -index - 1;
}