欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

使用Redis實現(xiàn)UA池的方案

 更新時間:2019年11月14日 09:09:43   作者:middleware  
這篇文章主要介紹了使用Redis實現(xiàn)UA池的方案,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下

最近忙于業(yè)務(wù)開發(fā)、交接和游戲,加上碰上了不定時出現(xiàn)的猶豫期和困惑期,荒廢學(xué)業(yè)了一段時間。天冷了,要重新拾起開始下階段的學(xué)習(xí)了。之前接觸到的一些數(shù)據(jù)搜索項目,涉及到請求模擬,基于反爬需要使用隨機的 User Agent ,于是使用 Redis 實現(xiàn)了一個十分簡易的 UA 池。

背景

最近的一個需求,有模擬請求的邏輯,要求每次請求的請求頭中的 User Agent 要滿足下面幾點:

  • 每次獲取的 User Agent 是隨機的。
  • 每次獲取的 User Agent (短時間內(nèi))不能重復(fù)。
  • 每次獲取的 User Agent 必須帶有主流的操作系統(tǒng)信息(可以是 Uinux 、 WindowsIOS 和安卓等等)。

這里三點都可以從 UA 數(shù)據(jù)的來源解決,實際上我們應(yīng)該關(guān)注具體的實現(xiàn)方案。簡單分析一下,流程如下:

在設(shè)計 UA 池的時候,它的數(shù)據(jù)結(jié)構(gòu)和環(huán)形隊列十分類似:

上圖中,假設(shè)不同顏色的 UA 是完全不同的 UA ,它們通過洗牌算法打散放進(jìn)去環(huán)形隊列中,實際上每次取出一個 UA 之后,只需要把游標(biāo) cursor 前進(jìn)或者后退一格即可(甚至可以把游標(biāo)設(shè)置到隊列中的任意元素)。最終的實現(xiàn)就是:需要通過中間件實現(xiàn)分布式隊列(只是隊列,不是消息隊列)。

具體實現(xiàn)方案

毫無疑問需要一個分布式數(shù)據(jù)庫類型的中間件才能存放已經(jīng)準(zhǔn)備好的 UA ,第一印象就感覺 Redis 會比較合適。接下來需要選用 Redis 的數(shù)據(jù)類型,主要考慮幾個方面:

UA

支持這幾個方面的 Redis 數(shù)據(jù)類型就是 List ,不過注意 List 本身不能去重,去重的工作可以用代碼邏輯實現(xiàn)。然后可以想象客戶端獲取 UA 的流程大致如下:

結(jié)合前面的分析,編碼過程有如下幾步:

準(zhǔn)備好需要導(dǎo)入的 UA 數(shù)據(jù),可以從數(shù)據(jù)源讀取,也可以直接文件讀取。

  •  因為需要導(dǎo)入的 UA 數(shù)據(jù)集合一般不會太大,考慮先把這個集合的數(shù)據(jù)隨機打散,如果使用 Java 開發(fā)可以直接使用 Collections#shuffle() 洗牌算法,當(dāng)然也可以自行實現(xiàn)這個數(shù)據(jù)隨機分布的算法, 這一步對于一些被模擬方會嚴(yán)格檢驗 UA 合法性的場景是必須的 。
  • 導(dǎo)入 UA 數(shù)據(jù)到 Redis 列表中。
  • 編寫 RPOP + LPUSHLua 腳本,實現(xiàn)分布式循環(huán)隊列。

編碼和測試示例

引入 Redis 的高級客戶端 Lettuce 依賴:

<dependency>
  <groupId>io.lettuce</groupId>
  <artifactId>lettuce-core</artifactId>
  <version>5.2.1.RELEASE</version>
</dependency>

編寫 RPOP + LPUSHLua 腳本, Lua 腳本名字暫稱為 L_RPOP_LPUSH.lua ,放在 resources/scripts/lua 目錄下:

local key = KEYS[1]
local value = redis.call('RPOP', key)
redis.call('LPUSH', key, value)
return value

這個腳本十分簡單,但是已經(jīng)實現(xiàn)了循環(huán)隊列的功能。剩下來的測試代碼如下:

public class UaPoolTest {

  private static RedisCommands<String, String> COMMANDS;

  private static AtomicReference<String> LUA_SHA = new AtomicReference<>();
  private static final String KEY = "UA_POOL";

  @BeforeClass
  public static void beforeClass() throws Exception {
    // 初始化Redis客戶端
    RedisURI uri = RedisURI.builder().withHost("localhost").withPort(6379).build();
    RedisClient redisClient = RedisClient.create(uri);
    StatefulRedisConnection<String, String> connect = redisClient.connect();
    COMMANDS = connect.sync();
    // 模擬構(gòu)建UA池的原始數(shù)據(jù),假設(shè)有10個UA,分別是UA-0 ... UA-9
    List<String> uaList = Lists.newArrayList();
    IntStream.range(0, 10).forEach(e -> uaList.add(String.format("UA-%d", e)));
    // 洗牌
    Collections.shuffle(uaList);
    // 加載Lua腳本
    ClassPathResource resource = new ClassPathResource("/scripts/lua/L_RPOP_LPUSH.lua");
    String content = StreamUtils.copyToString(resource.getInputStream(), StandardCharsets.UTF_8);
    String sha = COMMANDS.scriptLoad(content);
    LUA_SHA.compareAndSet(null, sha);
    // Redis隊列中寫入UA數(shù)據(jù),數(shù)據(jù)量多的時候可以考慮分批寫入防止長時間阻塞Redis服務(wù)
    COMMANDS.lpush(KEY, uaList.toArray(new String[0]));
  }

  @AfterClass
  public static void afterClass() throws Exception {
    COMMANDS.del(KEY);
  }

  @Test
  public void testUaPool() {
    IntStream.range(1, 21).forEach(e -> {
      String result = COMMANDS.evalsha(LUA_SHA.get(), ScriptOutputType.VALUE, KEY);
      System.out.println(String.format("第%d次獲取到的UA是:%s", e, result));
    });
  }
}

某次運行結(jié)果如下:

第1次獲取到的UA是:UA-0
第2次獲取到的UA是:UA-8
第3次獲取到的UA是:UA-2
第4次獲取到的UA是:UA-4
第5次獲取到的UA是:UA-7
第6次獲取到的UA是:UA-5
第7次獲取到的UA是:UA-1
第8次獲取到的UA是:UA-3
第9次獲取到的UA是:UA-6
第10次獲取到的UA是:UA-9
第11次獲取到的UA是:UA-0
第12次獲取到的UA是:UA-8
第13次獲取到的UA是:UA-2
第14次獲取到的UA是:UA-4
第15次獲取到的UA是:UA-7
第16次獲取到的UA是:UA-5
第17次獲取到的UA是:UA-1
第18次獲取到的UA是:UA-3
第19次獲取到的UA是:UA-6
第20次獲取到的UA是:UA-9

可見洗牌算法的效果不差,數(shù)據(jù)相對分散。

小結(jié)

其實 UA 池的設(shè)計難度并不大,需要注意幾個要點:

  • 一般主流的移動設(shè)備或者桌面設(shè)備的系統(tǒng)版本不會太多,所以來源 UA 數(shù)據(jù)不會太多,最簡單的實現(xiàn)可以使用文件存放,一次讀取直接寫入 Redis 中。
  • 注意需要隨機打散 UA 數(shù)據(jù),避免同一個設(shè)備系統(tǒng)類型的 UA 數(shù)據(jù)過于密集,這樣可以避免觸發(fā)模擬某些請求時候的風(fēng)控規(guī)則。
  • 需要熟悉 Lua 的語法,畢竟 Redis 的原子指令一定離不開 Lua 腳本。

總結(jié)

以上所述是小編給大家介紹的使用Redis實現(xiàn)UA池的方案,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
如果你覺得本文對你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!

相關(guān)文章

  • Redis持久化方式之RDB和AOF的原理及優(yōu)缺點

    Redis持久化方式之RDB和AOF的原理及優(yōu)缺點

    在Redis中,數(shù)據(jù)可以分為兩類,即內(nèi)存數(shù)據(jù)和磁盤數(shù)據(jù),Redis?提供了兩種不同的持久化方式,其中?RDB?是快照備份機制,AOF?則是追加寫操作機制,本文將詳細(xì)給大家介紹Redis?持久化方式RDB和AOF的原理及優(yōu)缺點,感興趣的同學(xué)可以跟著小編一起來學(xué)習(xí)
    2023-06-06
  • Redis中緩存預(yù)熱與緩存穿透解決方案

    Redis中緩存預(yù)熱與緩存穿透解決方案

    Redis緩存預(yù)熱與緩存穿透是Redis緩存使用中的兩個重要概念,文章首先介紹了Redis緩存預(yù)熱和緩存穿透的基本概念,然后詳細(xì)闡述了它們的產(chǎn)生原因和解決方案,感興趣的可以了解一下
    2023-12-12
  • 手動實現(xiàn)Redis的LRU緩存機制示例詳解

    手動實現(xiàn)Redis的LRU緩存機制示例詳解

    這篇文章主要介紹了手動實現(xiàn)Redis的LRU緩存機制示例詳解,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-03-03
  • Redis憑啥可以這么快

    Redis憑啥可以這么快

    本文詳細(xì)的介紹了為啥使用Redis的時候,可以做到非常快的讀取速度,對于大家學(xué)習(xí)Redis非常有幫助,希望大家喜歡
    2021-02-02
  • redis?protocol通信協(xié)議及使用詳解

    redis?protocol通信協(xié)議及使用詳解

    這篇文章主要為大家介紹了redis?protocol通信協(xié)議及使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-07-07
  • 基于?Redis?實現(xiàn)接口限流的方式

    基于?Redis?實現(xiàn)接口限流的方式

    今天想和小伙伴們聊聊用?Redis?處理接口限流,這也是最近的?TienChin?項目涉及到這個知識點了,我就拎出來和大家聊聊這個話題
    2022-05-05
  • 在Centos?8.0中安裝Redis服務(wù)器的教程詳解

    在Centos?8.0中安裝Redis服務(wù)器的教程詳解

    由于考慮到linux服務(wù)器的性能,所以經(jīng)常需要把一些中間件安裝在linux服務(wù)上,今天通過本文給大家介紹下在Centos?8.0中安裝Redis服務(wù)器的詳細(xì)過程,感興趣的朋友一起看看吧
    2022-03-03
  • Redis key命令key的儲存方式

    Redis key命令key的儲存方式

    這篇文章主要介紹了Redis key命令key的儲存方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-04-04
  • Redis分布式限流的幾種實現(xiàn)

    Redis分布式限流的幾種實現(xiàn)

    分布式限流是指通過將限流策略嵌入到分布式系統(tǒng)中,以控制流量或保護服務(wù),本文就來介紹一下Redis分布式限流的幾種實現(xiàn),感興趣的可以了解一下
    2023-12-12
  • redis?zset實現(xiàn)滑動窗口限流的代碼

    redis?zset實現(xiàn)滑動窗口限流的代碼

    這篇文章主要介紹了redis?zset實現(xiàn)滑動窗口限流,滑動窗口算法思想就是記錄一個滑動的時間窗口內(nèi)的操作次數(shù),操作次數(shù)超過閾值則進(jìn)行限流,本文通過實例代碼給大家詳細(xì)介紹,需要的朋友參考下吧
    2022-03-03

最新評論