Android性能優(yōu)化之線程監(jiān)控與線程統(tǒng)一詳解
背景
在我們日常開發(fā)中,多線程管理一直是非常頭疼的問題之一,尤其在歷史性長,結構復雜的app中,線程數會達到好幾百個甚至更多,然而過多的線程不僅僅帶來了內存上的消耗同時也降低了cpu調度的效率,過多的cpu調度帶來的消耗的壞處甚至超過了多線程帶來的好處。
在我們日常開發(fā)中,通常會遇到以下幾個問題
- 某個場景會創(chuàng)造過多的線程,最終導致oom
- 線程池過多問題,比如三方庫有一套線程池,自己項目也有一套線程池,隨著三方/二方業(yè)務接入,導致了不相兼容的線程池數越多,降低了全體線程池數的調度效率,比如多個okhttp的調用
- 歷史原因導致,new Thread橫行,又或者是各種線程使用不規(guī)范,導致工程混亂
- 即使是空閑時候,依舊有線程在不斷Waiting
- 各種線程死鎖問題
最終種種原因導致,我們的項目在上線過程中,會遇到各種線程不明的情況,對排查問題或者解決問題帶來極大的考驗。
常規(guī)解決方案
對于上述問題的解決,許多團隊通過codeview去限制代碼準入,比如定制Thread的規(guī)范,又或者是定義項目統(tǒng)一的線程池,在項目中去使用。這個方案優(yōu)點就是可操作性強,便于團隊去實施,但是這比較依靠review(或者其他代碼掃描插件),對于歷史項目來說比較容易出現疏漏,而且后期也依舊需要維護,對于大型團隊來說,需要兼顧所有人代碼,且三方庫無法處理。同時Thread的衍生物也有很多,比如Android中的HandlerThread等等,也是線程。
現在比較流行的方案是通過字節(jié)碼插樁的方式,統(tǒng)一做線程監(jiān)控亦或進行線程統(tǒng)一,比如監(jiān)控處理的matrix,還有優(yōu)化相關的booster等。線程統(tǒng)一這個依靠項目的情況,會有全統(tǒng)一線程池的情況(所以共用一個線程池),也有統(tǒng)一某單一業(yè)務的線程池的情況(比如只收口項目okhttp的線程池)下面我們圍繞這兩個主題,分別進行探討
線程監(jiān)控
當前線程統(tǒng)計
對線程的監(jiān)控,首先我們要統(tǒng)計當前的信息對不對,可以直接通過
Thread.getAllStackTraces()
獲取到當前所有thread的信息與堆棧情況,其返回值是一個map對象,
Map<Thread, StackTraceElement[]>
獲取結果例子如下
[Thread[Binder:30506_2,5,main], Thread[FinalizerWatchdogDaemon,5,system], Thread[Binder:30506_3,5,main], Thread[Jit thread pool worker thread 0,5,system], Thread[ReferenceQueueDaemon,5,system], Thread[Profile Saver,5,system], Thread[main,5,main], Thread[Binder:30506_1,5,main], Thread[RenderThread,7,main], Thread[pika_thread,5,main], Thread[vivo.PerfThread,5,main], Thread[Signal Catcher,10,system], Thread[FinalizerDaemon,5,system], Thread[HeapTaskDaemon,5,system]]
我們可以看到key是一個thread對象,如果我們要設計一個自己的apm的話可以通過遍歷key拿到一個Thread對象,然后再通過該Thread對象拿到自身的信息即可,比如獲取thread的名稱
Thread.getAllStackTraces().keys.map { it.name }
線程信息具體化
通過上述,我們可以拿到了當前所有的線程信息,但是很遺憾的是,其中有一些線程信息幾乎是“不可用”的,比如我們用new Thread構建出來的線程,如果不給它指定的名字的話,默認就會出現類似這種情,比如Thread-1,這種名稱的線程對我們來說幾乎是沒有任何意義的,我們暫且把它稱為“匿名線程”,解決匿名線程的手段有很多,之前在學完ASM Tree api,再也不怕hook了這篇我們可以看到,我們可以用asm對調用thread進行插樁,通過改變指令調用函數,把普通的空參數Thread()方法變成帶有name的構造方法Thread(String)進行hook處理,把調用者名稱的信息放到前置的ldc指令,從而到達一個轉化的效果。
轉化前Thread構造函數 | 轉化后Thread構造函數 |
---|---|
Thread() | Thread(String) |
Thread(Runnable) | Thread(Runnable, String) |
Thread(ThreadGroup, Runnable) | Thread(ThreadGroup, Runnable, String) |
... | ... |
asm 代碼實例如下
method.instructions.insertBefore( node, new LdcInsnNode(klass.name) ) def r = node.desc.lastIndexOf(')') 把構造函數描述變成了帶有string name的構造函數描述 def desc = "${node.desc.substring(0, r)}Ljava/lang/String;${node.desc.substring(r)}" println(" * ${node.owner}.${node.name}${node.desc} => ${node.owner}.${node.name}$desc: ${klass.name}.${method.name}${method.desc}") node.desc = desc
當然,Thread還有很多構造函數,我們就不一一舉例子去適配,相關的操作也是類似的,涉及到Executors等其他創(chuàng)建線程的方式,我們也可以通過這種指令替換的方式去進行Thread的命名操作。這里就不再贅述,可以參考booster 的做法
線程統(tǒng)一
線程的統(tǒng)一可以依靠項目統(tǒng)一的線程池,但是這個約束不到第三方,我們可以利用ASM等工具進行線程的統(tǒng)一,線程統(tǒng)一包括全模塊統(tǒng)一跟單模塊統(tǒng)一(特定模塊),由于單模塊統(tǒng)一涉及具體業(yè)務,比如對okhttpclient的調度線程統(tǒng)一,由于不具備通用性,需要根據模塊具體實現去統(tǒng)一,我們這里就不討論了,單模塊統(tǒng)一有個好處就是風險低,只影響單一模塊的線程調度。我們討論一下全模塊的統(tǒng)一。
在項目中,我們有各種各樣的線程調度api,直接new Thread,Executors,ThreadPoolExecutor等等,它們公共點就是都用到了Thread,最終都是靠著Thread去運行,但是想要把它們統(tǒng)一起來,我們要兼顧更上一層的api,那么適配工作量可是不少?。∧敲次覀冇袥]有一種黑科技,能夠簡單點就把線程統(tǒng)一到一個特定的線程池,作為收口呢?(注意這里討論的是把全項目的線程統(tǒng)一,包括三方庫),為了找到突破點,我們先看一下最基本的Thread是怎么創(chuàng)建出來的
Thread創(chuàng)建
最常用的Thread創(chuàng)建肯定是最簡單的,我們舉個例子
var thread = Thread{ Log.i("hello","this is my thread ${Thread.currentThread().name}") }
那么這段代碼它做了什么呢?我們要從字節(jié)碼的角度去分析,才能找到突破點
NEW java/lang/Thread DUP INVOKEDYNAMIC run()Ljava/lang/Runnable; [ // handle kind 0x6 : INVOKESTATIC java/lang/invoke/LambdaMetafactory.metafactory(Ljava/lang/invoke/MethodHandles$Lookup;Ljava/lang/String;Ljava/lang/invoke/MethodType;Ljava/lang/invoke/MethodType;Ljava/lang/invoke/MethodHandle;Ljava/lang/invoke/MethodType;)Ljava/lang/invoke/CallSite; // arguments: ()V, // handle kind 0x6 : INVOKESTATIC com/example/spider/MainActivity.onCreate$lambda-0()V, ()V ] INVOKESPECIAL java/lang/Thread.<init> (Ljava/lang/Runnable;)V ASTORE 2
我們來一一說明下調用的指令:
- NEW 創(chuàng)建一個java/lang/Thread對象,此時只是引用被創(chuàng)建,所引用的對象還沒有創(chuàng)建,并加入操作數棧頂部
2. DUP 將操作數棧頂部的參數復制一份,并加入操作數棧
3.INVOKEDYNAMIC lambad用到的函數調用指令,運行時綁定信息,()Ljava/lang/Runnable,由于入參為null,所以不消耗操作數棧的參數,返回值是Runnable,所以會在操作數棧上新加入一個Runnable對象
4.INVOKESPECIAL 構造函數能調用到的特殊指令,即創(chuàng)建一個對象,(Ljava/lang/Runnable;)V,我們看到入參只有一個Runnable對象,但是實際上調用INVOKESPECIAL的構造函數隱藏了一個條件,就是需要一個被創(chuàng)建對象對應的引用對象,這就是dup存在的原因,因為需要消耗一個Thread引用對象!這點需要注意
5.ASTORE 2,就是把操作數棧頂部的變量放到了局部變量表index為2的地方,這里為什么是2呢,是由當前運行環(huán)境決定的,靜態(tài)方法中index為0的就是參數1,而普通方法index為0的地方卻是this指針,這點是需要注意的,除了index = 0 的地方有這個約定,其他index下標其實就是函數環(huán)境的決定的。(這也側面說明,存在AStore,ALoad這些指令的時候,我們很難去做通用性插樁,因為這里依賴了局部變量表的具體實現)
看到這里,我們就能夠明白了一個Thread創(chuàng)建的字節(jié)碼是怎么樣的了
那么我們想想看,怎么達到我們統(tǒng)一線程池的目的??吹絋hread的創(chuàng)建過程我們就知道,Thread會依賴局部變量表(第5條),所以我們如果直接對Thread進行操作的話,是不行的,因為局部變量表的存儲index是依靠當前環(huán)境的!其實我們統(tǒng)一線程池,想要統(tǒng)一的也不一定是要統(tǒng)一Thread,而是統(tǒng)一Runnable執(zhí)行的線程環(huán)境對吧!突破點就來了,我們對Runnable進行操作,把其原本依賴執(zhí)行的Thread變成我們自己線程池的Thread是不是就可以了!
目標明確了,但是我們也需要為此做一些特定的處理,因為這種自定義指令集的處理,用其他ASM工具也是無法生成的,所以我們才具體解釋相關的指令集。最終這邊的方案就是,進行Thread調用替換,即把new Thread這個指令,替換為我們自己的MyThread的指令進行定制化處理。步驟如下
- 替換原本的INVOKESPECIAL指令調用為我們自己的MyThread調用,這里給出MyThread實現
class MyThread(private val runnable: Runnable) : Thread(runnable) { // 調用到自己的start override fun start() { Log.i("hello", "MyThread") // runnable 在定義的統(tǒng)一線程池執(zhí)行 ThreadHelper.runInCustomPool(runnable) } }
- 原本指令返回的是Thread,由于我們替換為了MyThread,那么原本跟Thread強綁定的NEW指令,DUP指令就也需要變更跟MyThread類型相關的指令,我們這里就不采用替換,采取新加的方式(替換也可以,這里選擇方便處理,因為操作數只對棧頂元素生效)
3.到了這一步,還不行,因為我們原本要返回的是Thread對象,現在變成了MyThread對象,所以我們需要一個轉化指令CHECKCAST
我們給出具體的ASM代碼
class MyThreadHookUtils { static THREAD = "java/lang/Thread" static void transform(ClassNode klass) { // 我們自定義的MyThread類不需要參加轉化 if (klass.name.equals("com/example/spider/MyThread")) { return } klass.methods?.forEach { methodNode -> methodNode.instructions.each { if (it.opcode == Opcodes.INVOKESPECIAL) { transformInvokeSpecial((MethodInsnNode) it, klass, methodNode) } } } } private static void transformInvokeSpecial(MethodInsnNode node, ClassNode klass, MethodNode method) { // 如果不是構造函數,就直接退出 if (node.owner != THREAD) { return } println("transformInvokeSpecial") transformThreadInvokeSpecial(node, klass, method) } private static void transformThreadInvokeSpecial( MethodInsnNode node, ClassNode klass, MethodNode method ) { println("init ===> " + node.desc + " " + node.owner) if (node.desc.equals("(Ljava/lang/Runnable;)V")) { int index = method.instructions.indexOf(node) def dyc = method.instructions[index - 1] InsnList insertNodes1 = new InsnList() TypeInsnNode newInsnNode = new TypeInsnNode(Opcodes.NEW, "com/example/spider/MyThread") InsnNode dupNode = new InsnNode(Opcodes.DUP) insertNodes1.add(newInsnNode) insertNodes1.add(dupNode) method.instructions.insertBefore(dyc, insertNodes1) MethodInsnNode methodHookNode = new MethodInsnNode(Opcodes.INVOKESPECIAL, "com/example/spider/MyThread", "<init>", "(Ljava/lang/Runnable;)V", false) TypeInsnNode typeInsnNode = new TypeInsnNode(Opcodes.CHECKCAST, "java/lang/Thread") InsnList insertNodes = new InsnList() insertNodes.add(methodHookNode) insertNodes.add(typeInsnNode) method.instructions.insertBefore(node, insertNodes) method.instructions.remove(node) println("hook ===> " + node.name + " " + node.owner + " " + method.instructions.indexOf(node)) } } }
這個時候,任何Thread的start方法或者其他方法,都會調用到我們自定義的MyThread類的方法里面,在這里做線程池統(tǒng)一的處理,就非常方便了,因為我們有Runnable對象!同時所以方法我們都可以隨意去玩了!
注意
注意的是,這種全局Thread插樁是有風險的,在實際項目中,我們會通過白名單的方式,選擇性的去統(tǒng)一部分Thread,因為全局統(tǒng)一容易導致不可預期的問題。同時還有一個非常注意的點,我們可以看到上面關于指令的代碼全部是基于index的去定位各種指令集的,NEW -> DUP ->INVOKEDYNAMIC ->INVOKESPECIAL 然而在真實項目中,這個指令集順序不一定可靠,因為可能會被插入其他指令或者無關指令,所以我們還有一步就是指令順序的校驗,必須是滿足NEW -> DUP ->INVOKEDYNAMIC ->INVOKESPECIAL這幾個順序的函數指令集才進行插樁,這部分內容比較簡單,就不列舉了,比較INSN指令的OpCode即可,校驗規(guī)則按照項目實際需要。
總結
看到這里,我們對Thread應該有了足夠的了解,同時本篇也介紹了ASM相關黑科技操作在Thread類的使用!更多關于Android線程監(jiān)控線程統(tǒng)一的資料請關注腳本之家其它相關文章!
相關文章
Android 實現密碼輸入框動態(tài)明文/密文切換顯示效果
在項目中遇到需要提供給用戶一個密碼輸入框明文/密文切換顯示的需求,今天小編借腳本之家平臺給大家分享下Android 實現密碼輸入框動態(tài)明文/密文切換顯示效果,需要的朋友參考下2017-01-01SimpleCommand框架ImageLoader API詳解(三)
這篇文章主要為大家詳細介紹了SimpleCommand框架ImageLoader API,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-10-10