從JSP說(shuō)起

對(duì)于大多數(shù)Java程序員來(lái)說(shuō)，早期的時(shí)候，都會(huì)接觸到一個(gè)叫做JSP（Java Server Pages）的技術(shù)。雖然這種技術(shù)，在前后端代碼分離、前后端邏輯分離、前后端組織架構(gòu)分離的今天來(lái)看，已經(jīng)過(guò)時(shí)了，但是其中還是有一些有意思的東西，值得拿出來(lái)說(shuō)一說(shuō)。

當(dāng)時(shí)剛剛處于Java入門(mén)時(shí)期的我們，大多數(shù)精力似乎都放在了JSP的頁(yè)面展示效果上了：

“這個(gè)表格顯示的行數(shù)不對(duì)”

“原來(lái)是for循環(huán)寫(xiě)的有問(wèn)題，改一下，刷新頁(yè)面再試一遍”

“嗯，好了，表格顯示沒(méi)問(wèn)題了，但是，登錄人的姓名沒(méi)取到啊，是不是Sesstion獲取有問(wèn)題？”

“有可能，我再改一下，一會(huì)兒再刷新試試”

……

在一遍一遍修改代碼刷新瀏覽器頁(yè)面重試的時(shí)候，我們自己也許并沒(méi)有注意到一件很酷的事情：我們修改完代碼，居然只是簡(jiǎn)單地刷新一遍瀏覽器頁(yè)面，修改就生效了，整個(gè)過(guò)程并沒(méi)有重啟JVM。按照我們的常識(shí)，Java程序一般都是在啟動(dòng)時(shí)加載類(lèi)文件，如果都像JSP這樣修改完代碼，不用重啟就生效的話，那文章開(kāi)頭的問(wèn)題就可以解決了?。篔ava文件中加一段日志打印的代碼，不重啟就生效，既不破壞現(xiàn)場(chǎng)，又可以定位問(wèn)題。忍不住試一試：修改、編譯、替換class文件。額，不行，新改的代碼并沒(méi)有生效。那為什么偏偏JSP可以呢？讓我們先來(lái)看看JSP的運(yùn)行原理。

當(dāng)我們打開(kāi)瀏覽器，請(qǐng)求訪問(wèn)一個(gè)JSP文件的時(shí)候，整個(gè)過(guò)程是這樣的:

[圖片上傳失敗...(image-ad91d8-1560497185049)]

JSP文件處理過(guò)程

JSP文件修改過(guò)后，之所以能及時(shí)生效，是因?yàn)閃eb容器（Tomcat）會(huì)檢查請(qǐng)求的JSP文件是否被更改過(guò)。如果發(fā)生過(guò)更改，那么就將JSP文件重新解析翻譯成一個(gè)新的Sevlet類(lèi)，并加載到JVM中。之后的請(qǐng)求，都會(huì)由這個(gè)新的Servet來(lái)處理。這里有個(gè)問(wèn)題，根據(jù)Java的類(lèi)加載機(jī)制，在同一個(gè)ClassLoader中，類(lèi)是不允許重復(fù)的。為了繞開(kāi)這個(gè)限制，Web容器每次都會(huì)創(chuàng)建一個(gè)新的ClassLoader實(shí)例，來(lái)加載新編譯的Servlet類(lèi)。之后的請(qǐng)求都會(huì)由這個(gè)新的Servlet來(lái)處理，這樣就實(shí)現(xiàn)了新舊JSP的切換。

HTTP服務(wù)是無(wú)狀態(tài)的，所以JSP的場(chǎng)景基本上都是一次性消費(fèi)，這種通過(guò)創(chuàng)建新的ClassLoader來(lái)“替換”class的做法行得通，但是對(duì)于其他應(yīng)用，比如Spring框架，即便這樣做了，對(duì)象多數(shù)是單例，對(duì)于內(nèi)存中已經(jīng)創(chuàng)建好的對(duì)象，我們無(wú)法通過(guò)這種創(chuàng)建新的ClassLoader實(shí)例的方法來(lái)修改對(duì)象行為。
我就是想不重啟應(yīng)用加個(gè)日志打印，就這么難嗎？

Java對(duì)象行為

既然JSP的辦法行不通，那我們來(lái)看看還有沒(méi)有其他的辦法。仔細(xì)想想，我們會(huì)發(fā)現(xiàn)，文章開(kāi)頭的問(wèn)題本質(zhì)上是動(dòng)態(tài)改變內(nèi)存中已存在對(duì)象的行為的問(wèn)題。所以，我們得先弄清楚JVM中和對(duì)象行為有關(guān)的地方在哪里，有沒(méi)有更改的可能性。
我們都知道，對(duì)象使用兩種東西來(lái)描述事物：行為和屬性。舉個(gè)例子：

public class Person{
private int age;
private String name;
public void speak(String str) {
System.out.println(str);
}
public Person(int age, String name) {
this.age = age;
this.name = name;
}
}

上面Person類(lèi)中age和name是屬性，speak是行為。對(duì)象是類(lèi)的事例，每個(gè)對(duì)象的屬性都屬于對(duì)象本身，但是每個(gè)對(duì)象的行為卻是公共的。舉個(gè)例子，比如我們現(xiàn)在基于Person類(lèi)創(chuàng)建了兩個(gè)對(duì)象，personA和personB：

Person personA = new Person(43, "lixunhuan");
personA.speak("我是李尋歡");
Person personB = new Person(23, "afei");
personB.speak("我是阿飛");

personA和personB有各自的姓名和年齡，但是有共同的行為：speak。想象一下，如果我們是Java語(yǔ)言的設(shè)計(jì)者，我們會(huì)怎么存儲(chǔ)對(duì)象的行為和屬性呢？

“很簡(jiǎn)單，屬性跟著對(duì)象走，每個(gè)對(duì)象都存一份。行為是公共的東西，抽離出來(lái)，單獨(dú)放到一個(gè)地方?！?br />

“咦？抽離出公共的部分，跟代碼復(fù)用好像啊?！?br />

“大道至簡(jiǎn)，很多東西本來(lái)都是殊途同歸?！?br />

也就是說(shuō)，第一步我們首先得找到存儲(chǔ)對(duì)象行為的這個(gè)公共的地方。一番搜索之后，我們發(fā)現(xiàn)這樣一段描述：

Method area is created on virtual machine startup, shared among all Java virtual machine threads and it is logically part of heap area. It stores per-class structures such as the run-time constant pool, field and method data, and the code for methods and constructors.

Java的對(duì)象行為（方法、函數(shù)）是存儲(chǔ)在方法區(qū)的。

“方法區(qū)中的數(shù)據(jù)從哪來(lái)？”

“方法區(qū)中的數(shù)據(jù)是類(lèi)加載時(shí)從class文件中提取出來(lái)的?！?br />

“class文件從哪來(lái)？”

“從Java或者其他符合JVM規(guī)范的源代碼中編譯而來(lái)?！?br />

“源代碼從哪來(lái)？”

“廢話，當(dāng)然是手寫(xiě)！”

“倒著推，手寫(xiě)沒(méi)問(wèn)題，編譯沒(méi)問(wèn)題，至于加載……有沒(méi)有辦法加載一個(gè)已經(jīng)加載過(guò)的類(lèi)呢？如果有的話，我們就能修改字節(jié)碼中目標(biāo)方法所在的區(qū)域，然后重新加載這個(gè)類(lèi)，這樣方法區(qū)中的對(duì)象行為（方法）就被改變了，而且不改變對(duì)象的屬性，也不影響已經(jīng)存在對(duì)象的狀態(tài)，那么就可以搞定這個(gè)問(wèn)題了?？墒?，這豈不是違背了JVM的類(lèi)加載原理？畢竟我們不想改變ClassLoader。”

“少年，可以去看看java.lang.instrument.Instrumentation?！?br /> java.lang.instrument.Instrumentation

看完文檔之后，我們發(fā)現(xiàn)這么兩個(gè)接口：redefineClasses和retransformClasses。一個(gè)是重新定義class，一個(gè)是修改class。這兩個(gè)大同小異，看reDefineClasses的說(shuō)明：

This method is used to replace the definition of a class without reference to the existing class file bytes, as one might do when recompiling from source for fix-and-continue debugging. Where the existing class file bytes are to be transformed (for example in bytecode instrumentation) retransformClasses should be used.

都是替換已經(jīng)存在的class文件，redefineClasses是自己提供字節(jié)碼文件替換掉已存在的class文件，retransformClasses是在已存在的字節(jié)碼文件上修改后再替換之。

當(dāng)然，運(yùn)行時(shí)直接替換類(lèi)很不安全。比如新的class文件引用了一個(gè)不存在的類(lèi)，或者把某個(gè)類(lèi)的一個(gè)field給刪除了等等，這些情況都會(huì)引發(fā)異常。所以如文檔中所言，instrument存在諸多的限制：

The redefinition may change method bodies, the constant pool and attributes. The redefinition must not add, remove or rename fields or methods, change the signatures of methods, or change inheritance. These restrictions maybe be lifted in future versions. The class file bytes are not checked, verified and installed until after the transformations have been applied, if the resultant bytes are in error this method will throw an exception.

我們能做的基本上也就是簡(jiǎn)單修改方法內(nèi)的一些行為，這對(duì)于我們開(kāi)頭的問(wèn)題，打印一段日志來(lái)說(shuō)，已經(jīng)足夠了。當(dāng)然，我們除了通過(guò)reTransform來(lái)打印日志，還能做很多其他非常有用的事情，這個(gè)下文會(huì)進(jìn)行介紹。

那怎么得到我們需要的class文件呢？一個(gè)最簡(jiǎn)單的方法，是把修改后的Java文件重新編譯一遍得到class文件，然后調(diào)用redefineClasses替換。但是對(duì)于沒(méi)有（或者拿不到，或者不方便修改）源碼的文件我們應(yīng)該怎么辦呢？其實(shí)對(duì)于JVM來(lái)說(shuō)，不管是Java也好，Scala也好，任何一種符合JVM規(guī)范的語(yǔ)言的源代碼，都可以編譯成class文件。JVM的操作對(duì)象是class文件，而不是源碼。所以，從這種意義上來(lái)講，我們可以說(shuō)“JVM跟語(yǔ)言無(wú)關(guān)”。既然如此，不管有沒(méi)有源碼，其實(shí)我們只需要修改class文件就行了。

直接操作字節(jié)碼

Java是軟件開(kāi)發(fā)人員能讀懂的語(yǔ)言，class字節(jié)碼是JVM能讀懂的語(yǔ)言，class字節(jié)碼最終會(huì)被JVM解釋成機(jī)器能讀懂的語(yǔ)言。無(wú)論哪種語(yǔ)言，都是人創(chuàng)造的。所以，理論上（實(shí)際上也確實(shí)如此）人能讀懂上述任何一種語(yǔ)言，既然能讀懂，自然能修改。只要我們?cè)敢?，我們完全可以跳過(guò)Java編譯器，直接寫(xiě)字節(jié)碼文件，只不過(guò)這并不符合時(shí)代的發(fā)展罷了，畢竟高級(jí)語(yǔ)言設(shè)計(jì)之始就是為我們?nèi)祟?lèi)所服務(wù)，其開(kāi)發(fā)效率也比機(jī)器語(yǔ)言高很多。

對(duì)于人類(lèi)來(lái)說(shuō)，字節(jié)碼文件的可讀性遠(yuǎn)遠(yuǎn)沒(méi)有Java代碼高。盡管如此，還是有一些杰出的程序員們創(chuàng)造出了可以用來(lái)直接編輯字節(jié)碼的框架，提供接口可以讓我們方便地操作字節(jié)碼文件，進(jìn)行注入修改類(lèi)的方法，動(dòng)態(tài)創(chuàng)造一個(gè)新的類(lèi)等等操作。其中最著名的框架應(yīng)該就是ASM了，cglib、Spring等框架中對(duì)于字節(jié)碼的操作就建立在ASM之上。

我們都知道，Spring的AOP是基于動(dòng)態(tài)代理實(shí)現(xiàn)的，Spring會(huì)在運(yùn)行時(shí)動(dòng)態(tài)創(chuàng)建代理類(lèi)，代理類(lèi)中引用被代理類(lèi)，在被代理的方法執(zhí)行前后進(jìn)行一些神秘的操作。那么，Spring是怎么在運(yùn)行時(shí)創(chuàng)建代理類(lèi)的呢？動(dòng)態(tài)代理的美妙之處，就在于我們不必手動(dòng)為每個(gè)需要被代理的類(lèi)寫(xiě)代理類(lèi)代碼，Spring在運(yùn)行時(shí)會(huì)根據(jù)需要?jiǎng)討B(tài)地創(chuàng)造出一個(gè)類(lèi)，這里創(chuàng)造的過(guò)程并非通過(guò)字符串寫(xiě)Java文件，然后編譯成class文件，然后加載。Spring會(huì)直接“創(chuàng)造”一個(gè)class文件，然后加載，創(chuàng)造class文件的工具，就是ASM了。

到這里，我們知道了用ASM框架直接操作class文件，在類(lèi)中加一段打印日志的代碼，然后調(diào)用retransformClasses就可以了。

BTrace

截止到目前，我們都是停留在理論描述的層面。那么如何進(jìn)行實(shí)現(xiàn)呢？先來(lái)看幾個(gè)問(wèn)題：

1.在我們的工程中，誰(shuí)來(lái)做這個(gè)尋找字節(jié)碼，修改字節(jié)碼，然后reTransform的動(dòng)作呢？我們并非先知，不可能知道未來(lái)有沒(méi)有可能遇到文章開(kāi)頭的這種問(wèn)題。考慮到性?xún)r(jià)比，我們也不可能在每個(gè)工程中都開(kāi)發(fā)一段專(zhuān)門(mén)做這些修改字節(jié)碼、重新加載字節(jié)碼的代碼。

2.如果JVM不在本地，在遠(yuǎn)程呢？

3.如果連ASM都不會(huì)用呢？能不能更通用一些，更“傻瓜”一些。

幸運(yùn)的是，因?yàn)橛蠦Trace的存在，我們不必自己寫(xiě)一套這樣的工具了。什么是BTrace呢？BTrace已經(jīng)開(kāi)源，項(xiàng)目描述極其簡(jiǎn)短：

A safe, dynamic tracing tool for the Java platform.

BTrace是基于Java語(yǔ)言的一個(gè)安全的、可提供動(dòng)態(tài)追蹤服務(wù)的工具。BTrace基于ASM、Java Attach Api、Instruments開(kāi)發(fā)，為用戶(hù)提供了很多注解。依靠這些注解，我們可以編寫(xiě)B(tài)Trace腳本（簡(jiǎn)單的Java代碼）達(dá)到我們想要的效果，而不必深陷于ASM對(duì)字節(jié)碼的操作中不可自拔。

看BTrace官方提供的一個(gè)簡(jiǎn)單例子：攔截所有java.io包中所有類(lèi)中以read開(kāi)頭的方法，打印類(lèi)名、方法名和參數(shù)名。當(dāng)程序IO負(fù)載比較高的時(shí)候，就可以從輸出的信息中看到是哪些類(lèi)所引起，是不是很方便？

package com.sun.btrace.samples;
import com.sun.btrace.annotations.*;
import com.sun.btrace.AnyType;
import static com.sun.btrace.BTraceUtils.*;
/**
* This sample demonstrates regular expression
* probe matching and getting input arguments
* as an array - so that any overload variant
* can be traced in "one place". This example
* traces any "readXX" method on any class in
* java.io package. Probed class, method and arg
* array is printed in the action.
*/
@BTrace public class ArgArray {
@OnMethod(
clazz="/java\\.io\\..*/",
method="/read.*/"
)
public static void anyRead(@ProbeClassName String pcn, @ProbeMethodName String pmn, AnyType[] args) {
println(pcn);
println(pmn);
printArray(args);
}
}

再來(lái)看另一個(gè)例子：每隔2秒打印截止到當(dāng)前創(chuàng)建過(guò)的線程數(shù)。

package com.sun.btrace.samples;
import com.sun.btrace.annotations.*;
import static com.sun.btrace.BTraceUtils.*;
import com.sun.btrace.annotations.Export;
/**
* This sample creates a jvmstat counter and
* increments it everytime Thread.start() is
* called. This thread count may be accessed
* from outside the process. The @Export annotated
* fields are mapped to jvmstat counters. The counter
* name is "btrace." + <className> + "." + <fieldName>
*/ 
@BTrace public class ThreadCounter {
// create a jvmstat counter using @Export
@Export private static long count;
@OnMethod(
clazz="java.lang.Thread",
method="start"
) 
public static void onnewThread(@Self Thread t) {
// updating counter is easy. Just assign to
// the static field!
count++;
}
@OnTimer(2000) 
public static void ontimer() {
// we can access counter as "count" as well
// as from jvmstat counter directly.
println(count);
// or equivalently ...
println(Counters.perfLong("btrace.com.sun.btrace.samples.ThreadCounter.count"));
}
}

看了上面的用法是不是有所啟發(fā)？忍不住冒出來(lái)許多想法。比如查看HashMap什么時(shí)候會(huì)觸發(fā)rehash，以及此時(shí)容器中有多少元素等等。

有了BTrace，文章開(kāi)頭的問(wèn)題可以得到完美的解決。至于BTrace具體有哪些功能，腳本怎么寫(xiě)，這些Git上BTrace工程中有大量的說(shuō)明和舉例，網(wǎng)上介紹BTrace用法的文章更是恒河沙數(shù)，這里就不再贅述了。

我們明白了原理，又有好用的工具支持，剩下的就是發(fā)揮我們的創(chuàng)造力了，只需在合適的場(chǎng)景下合理地進(jìn)行使用即可。

既然BTrace能解決上面我們提到的所有問(wèn)題，那么BTrace的架構(gòu)是怎樣的呢？

BTrace主要有下面幾個(gè)模塊：

1.BTrace腳本：利用BTrace定義的注解，我們可以很方便地根據(jù)需要進(jìn)行腳本的開(kāi)發(fā)。

2.Compiler：將BTrace腳本編譯成BTrace class文件。

3.Client：將class文件發(fā)送到Agent。

4.Agent：基于Java的Attach Api，Agent可以動(dòng)態(tài)附著到一個(gè)運(yùn)行的JVM上，然后開(kāi)啟一個(gè)BTrace Server，接收client發(fā)過(guò)來(lái)的BTrace腳本；解析腳本，然后根據(jù)腳本中的規(guī)則找到要修改的類(lèi)；修改字節(jié)碼后，調(diào)用Java Instrument的reTransform接口，完成對(duì)對(duì)象行為的修改并使之生效。

整個(gè)BTrace的架構(gòu)大致如下：

[圖片上傳失敗...(image-5cb505-1560497185048)]

BTrace工作流程

BTrace最終借Instruments實(shí)現(xiàn)class的替換。如上文所說(shuō)，出于安全考慮，Instruments在使用上存在諸多的限制，BTrace也不例外。BTrace對(duì)JVM來(lái)說(shuō)是“只讀的”，因此BTrace腳本的限制如下：

• 不允許創(chuàng)建對(duì)象
• 不允許創(chuàng)建數(shù)組
• 不允許拋異常
• 不允許catch異常
• 不允許隨意調(diào)用其他對(duì)象或者類(lèi)的方法，只允許調(diào)用com.sun.btrace.BTraceUtils中提供的靜態(tài)方法（一些數(shù)據(jù)處理和信息輸出工具）
• 不允許改變類(lèi)的屬性
• 不允許有成員變量和方法，只允許存在static public void方法
• 不允許有內(nèi)部類(lèi)、嵌套類(lèi)
• 不允許有同步方法和同步塊
• 不允許有循環(huán)
• 不允許隨意繼承其他類(lèi)（當(dāng)然，java.lang.Object除外）
• 不允許實(shí)現(xiàn)接口
• 不允許使用assert
• 不允許使用Class對(duì)象

如此多的限制，其實(shí)可以理解。BTrace要做的是，雖然修改了字節(jié)碼，但是除了輸出需要的信息外，對(duì)整個(gè)程序的正常運(yùn)行并沒(méi)有影響。

Arthas

BTrace腳本在使用上有一定的學(xué)習(xí)成本，如果能把一些常用的功能封裝起來(lái)，對(duì)外直接提供簡(jiǎn)單的命令即可操作的話，那就再好不過(guò)了。阿里的工程師們?cè)缫严氲竭@一點(diǎn)，就在去年（2018年9月份），阿里巴巴開(kāi)源了自己的Java診斷工具——Arthas。Arthas提供簡(jiǎn)單的命令行操作，功能強(qiáng)大。究其背后的技術(shù)原理，和本文中提到的大致無(wú)二。

本文旨在說(shuō)明Java動(dòng)態(tài)追蹤技術(shù)的來(lái)龍去脈，掌握技術(shù)背后的原理之后，只要愿意，各位讀者也可以開(kāi)發(fā)出自己的“冰封王座”出來(lái)。

尾聲

現(xiàn)在，讓我們?cè)囍驹诟叩牡胤健案╊边@些問(wèn)題。

Java的Instruments給運(yùn)行時(shí)的動(dòng)態(tài)追蹤留下了希望，Attach API則給運(yùn)行時(shí)動(dòng)態(tài)追蹤提供了“出入口”，ASM則大大方便了“人類(lèi)”操作Java字節(jié)碼的操作。

基于Instruments和Attach API前輩們創(chuàng)造出了諸如JProfiler、Jvisualvm、BTrace、Arthas這樣的工具。以ASM為基礎(chǔ)發(fā)展出了cglib、動(dòng)態(tài)代理，繼而是應(yīng)用廣泛的Spring AOP。

Java是靜態(tài)語(yǔ)言，運(yùn)行時(shí)不允許改變數(shù)據(jù)結(jié)構(gòu)。然而，Java 5引入Instruments，Java 6引入Attach API之后，事情開(kāi)始變得不一樣了。雖然存在諸多限制，然而，在前輩們的努力下，僅僅是利用預(yù)留的近似于“只讀”的這一點(diǎn)點(diǎn)狹小的空間，仍然創(chuàng)造出了各種大放異彩的技術(shù)，極大地提高了軟件開(kāi)發(fā)人員定位問(wèn)題的效率。

計(jì)算機(jī)應(yīng)該是人類(lèi)有史以來(lái)最偉大的發(fā)明之一，從電磁感應(yīng)磁生電，到高低電壓模擬0和1的比特，再到二進(jìn)制表示出幾種基本類(lèi)型，再到基本類(lèi)型表示出無(wú)窮的對(duì)象，最后無(wú)窮的對(duì)象組合交互模擬現(xiàn)實(shí)生活乃至整個(gè)宇宙。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論