前言

關于skywalking請看我上一篇博文，skywalking分布式服務調用鏈路追蹤APM應用監(jiān)控 其使用javaAgent技術，使得應用接入監(jiān)控0耦合。今天在分析skywaking過程中，對javaAgent技術有了更深入的了解。skywalking使用的javaAgent工具ByteBuddy是一個比ASM更上層的針對java字節(jié)碼操作的封裝，基于ByteBuddy，我們可以快速方便的對java字節(jié)碼進行增強處理，更高效的開發(fā)javaAgent應用。

Byte Buddy官網：https://bytebuddy.net/#/

github項目地址：https://github.com/raphw/byte-buddy

本文共分三個部分，分別為skywalking的agent模塊源碼分析，javaAgent技術應用，ByteBuddy工具應用

Agent模塊源碼分析

agent的入口方法premain在apm-sniffer模塊的SkyWalkingAgent類中，整個agent邏輯如下：

第一步，加載配置信息：

加載Agentjar包所在錄入的/config/agent.config文件，參數加載的優(yōu)先級分別為：系統(tǒng)環(huán)境變量 > VM參數（-D） > /config/agent.config中的配置。所以Agent安裝包的目錄別輕易改動，相關的讀取配置在代碼里寫死了的

第二步，加載需要被Agent的插件：

插件代碼在apm-sck-plugin模塊下，目前共有24個插件支持，包含主流Rpc如（dubbo，motan，grpc）等，下面以dubbo的Agent插件列，看skywalking如何開發(fā)相關套件的。

分兩步：

• 實現(xiàn)InstanceMethodsAroundInterceptor接口，實現(xiàn)beforeMethod和afterMethod方法，環(huán)繞增強目標方法，如rpc和http的請求等
• 定義需要攔截的類和增強的方法，繼承ClassInstanceMethodsEnhancePluginDefine，dubbo插件增強的是監(jiān)控的MonitorFilter類中的invoke方法，所以如果你的應用沒有開啟數據監(jiān)控服務，skywalking是收集不到dubbo的調用數據的。選擇增強monitorfilter可能也是為了考量加入agent的性能問題。代碼如下：

public class DubboInstrumentation extends ClassInstanceMethodsEnhancePluginDefine {
    private static final String ENHANCE_CLASS = "com.alibaba.dubbo.monitor.support.MonitorFilter";
    private static final String INTERCEPT_CLASS = "org.skywalking.apm.plugin.dubbo.DubboInterceptor";
    @Override
    protected ClassMatch enhanceClass() {
        return byName(ENHANCE_CLASS);
    }
    @Override
    protected ConstructorInterceptPoint[] getConstructorsInterceptPoints() {
        return null;
    }
    @Override
    protected InstanceMethodsInterceptPoint[] getInstanceMethodsInterceptPoints() {
        return new InstanceMethodsInterceptPoint[] {
            new InstanceMethodsInterceptPoint() {
                @Override
                public ElementMatchergetMethodsMatcher() {
                    return named("invoke");
                }
                @Override
                public String getMethodsInterceptor() {
                    return INTERCEPT_CLASS;
                }
                @Override
                public boolean isOverrideArgs() {
                    return false;
                }
            }
        };
    }
}

第三步，加載Agent端所需要的服務：

通過java的spi機制ServiceLoader.load(BootService.class)加載agen端的所需服務，Agent端共有七個基礎service服務，分別如下

• AppAndServiceRegisterClient：服務注冊客戶端服務
• CollectorDiscoveryService：連接通訊發(fā)現(xiàn)服務
• ContextManager：trace等上下文管理服務，在業(yè)務應用代碼中，可在此服務中獲取到當前的traceId等信息
• GRPCChannelManager：grpc通訊連接通道管理服務
• JVMService：jvm監(jiān)控信息收集服務，主要收集cpu，內存等信息
• SamplingService：數據取樣服務，可配置，默認為-1，將所有數據發(fā)送到收集器。skywalking考慮到序列化/反序列化的CPU成本和網絡帶寬可以設置為不將所有采樣數據發(fā)送到收集器。
• TraceSegmentServiceClient：trace和span信息組裝客戶端服務

第四步，使用ByteBuddy增強插件定義的所有class：

代碼如下

new AgentBuilder.Default().type(pluginFinder.buildMatch()).transform(new AgentBuilder.Transformer() {
            @Override
            public DynamicType.Builder transform(DynamicType.Builder builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module) {
                ListpluginDefines = pluginFinder.find(typeDescription, classLoader);
                if (pluginDefines.size() > 0) {
                    DynamicType.Builder newBuilder = builder;
                    EnhanceContext context = new EnhanceContext();
                    for (AbstractClassEnhancePluginDefine define : pluginDefines) {
                        DynamicType.Builder possibleNewBuilder = define.define(typeDescription.getTypeName(), newBuilder, classLoader, context);
                        if (possibleNewBuilder != null) {
                            newBuilder = possibleNewBuilder;
                        }
                    }
                    if (context.isEnhanced()) {
                        logger.debug("Finish the prepare stage for {}.", typeDescription.getName());
                    }
                    return newBuilder;
                }
                logger.debug("Matched class {}, but ignore by finding mechanism.", typeDescription.getTypeName());
                return builder;
            }
        }).with(new AgentBuilder.Listener() {
            @Override
            public void onDiscovery(String typeName, ClassLoader classLoader, JavaModule module, boolean loaded) {
            }
            @Override
            public void onTransformation(TypeDescription typeDescription, ClassLoader classLoader, JavaModule module,
                boolean loaded, DynamicType dynamicType) {
                if (logger.isDebugEnable()) {
                    logger.debug("On Transformation class {}.", typeDescription.getName());
                }
            }
            @Override
            public void onIgnored(TypeDescription typeDescription, ClassLoader classLoader, JavaModule module,
                boolean loaded) {
            }
            @Override public void onError(String typeName, ClassLoader classLoader, JavaModule module, boolean loaded,
                Throwable throwable) {
                logger.error("Failed to enhance class " + typeName, throwable);
            }
            @Override
            public void onComplete(String typeName, ClassLoader classLoader, JavaModule module, boolean loaded) {
            }
        }).installOn(instrumentation);

使用ByteBuddy代碼字節(jié)碼增強特別簡單，開發(fā)agent應用不用再操作instrumentation的相關接口了

javaAgent的應用

Java agent是在另外一個Java應用（“目標”應用）啟動之前要執(zhí)行的Java程序，這樣agent就有機會修改目標應用或者應用所運行的環(huán)境。在本文中，我們將會從基礎內容開始，逐漸增強其功能，借助字節(jié)碼操作工具Byte Buddy，使其成為高級的agent實現(xiàn)。

在最基本的用例中，Java agent會用來設置應用屬性或者配置特定的環(huán)境狀態(tài)，agent能夠作為可重用和可插入的組件。如下的樣例描述了這樣的一個agent，它設置了一個系統(tǒng)屬性，在實際的程序中就可以使用該屬性了：

public class Agent {
  public static void premain(String arg) {
    System.setProperty("my-property", “foo”);
  }
}

如上面的代碼所述，Java agent的定義與其他的Java程序類似，只不過它使用premain方法替代main方法作為入口點。顧名思義，這個方法能夠在目標應用的main方法之前執(zhí)行。相對于其他的Java程序，編寫agent并沒有特定的規(guī)則。有一個很小的區(qū)別在于，Java agent接受一個可選的參數，而不是包含零個或更多參數的數組。

如果要使用這個agent，必須要將agent類和資源打包到jar中，并且在jar的manifest中要將Agent-Class屬性設置為包含premain方法的agent類。（agent必須要打包到jar文件中，它不能通過拆解的格式進行指定。）接下來，我們需要啟動應用程序，并且在命令行中通過javaagent參數來引用jar文件的位置：

java -javaagent:myAgent.jar -jar myProgram.jar

通過重復使用javaagent命令，能夠添加多個agent。

但是，Java agent的功能并不局限于修改應用程序環(huán)境的狀態(tài)，Java agent能夠訪問Java instrumentation API，這樣的話，agent就能修改目標應用程序的代碼。Java虛擬機中這個鮮為人知的特性提供了一個強大的工具，有助于實現(xiàn)面向切面的編程。

如果要對Java程序進行這種修改，我們需要在agent的premain方法上添加類型為Instrumentation的第二個參數。Instrumentation參數可以用來執(zhí)行一系列的任務，比如確定對象以字節(jié)為單位的精確大小以及通過注冊ClassFileTransformers實際修改類的實現(xiàn)。ClassFileTransformers注冊之后，當類加載器（class loader）加載類的時候都會調用它。當它被調用時，在類文件所代表的類加載之前，類文件transformer有機會改變或完全替換這個類文件。按照這種方式，在類使用之前，我們能夠增強或修改類的行為，如下面的樣例所示：

public class Agent {
 public static void premain(String argument, Instrumentation inst) {
   inst.addTransformer(new ClassFileTransformer() {
     @Override
     public byte[] transform(
       ClassLoader loader,
       String className,
       Class classBeingRedefined, // 如果類之前沒有加載的話，值為null
       ProtectionDomain protectionDomain,
       byte[] classFileBuffer) {
       // 返回改變后的類文件。
     }
   });
 }
}

通過使用Instrumentation實例注冊上述的ClassFileTransformer之后，每個類加載的時候，都會調用這個transformer。為了實現(xiàn)這一點，transformer會接受一個二進制和類加載器的引用，分別代表了類文件以及試圖加載類的類加載器。

Java agent也可以在Java應用的運行期注冊，如果是在這種場景下，instrumentation API允許重新定義已加載的類，這個特性被稱之為“HotSwap”。不過，重新定義類僅限于替換方法體。在重新定義類的時候，不能新增或移除類成員，并且類型和簽名也不能進行修改。當類第一次加載的時候，并沒有這種限制，如果是在這樣的場景下，那classBeingRedefined會被設置為null。

BYTE BUDDY應用

Byte Buddy的目的并不僅僅是為了生成Java agent。它提供了一個API用于生成任意的Java類，基于這個生成類的API，Byte Buddy提供了額外的API來生成Java agent。

作為Byte Buddy的簡介，如下的樣例展現(xiàn)了如何生成一個簡單的類，這個類是Object的子類，并且重寫了toString方法，用來返回“Hello World!”。與原始的ASM類似，“intercept”會告訴Byte Buddy為攔截到的指令提供方法實現(xiàn)：

Class dynamicType = new ByteBuddy()
  .subclass(Object.class)
  .method(ElementMatchers.named("toString"))
  .intercept(FixedValue.value("Hello World!"))
  .make()
  .load(getClass().getClassLoader(),          
        ClassLoadingStrategy.Default.WRAPPER)
  .getLoaded();

從上面的代碼中，我們可以看到Byte Buddy要實現(xiàn)一個方法分為兩步。首先，編程人員需要指定一個ElementMatcher，它負責識別一個或多個需要實現(xiàn)的方法。Byte Buddy提供了功能豐富的預定義攔截器（interceptor），它們暴露在ElementMatchers類中。在上述的例子中，toString方法完全精確匹配了名稱，但是，我們也可以匹配更為復雜的代碼結構，如類型或注解。

當Byte Buddy生成類的時候，它會分析所生成類型的類層級結構。在上述的例子中，Byte Buddy能夠確定所生成的類要繼承其超類Object的名為toString的方法，指定的匹配器會要求Byte Buddy重寫該方法，這是通過隨后的 Implementation 實例實現(xiàn)的，在我們的樣例中，這個實例也就是FixedValue。

當創(chuàng)建子類的時候，Byte Buddy始終會攔截（intercept）一個匹配的方法，在生成的類中重寫該方法。但是，我們在本文稍后將會看到Byte Buddy還能夠重新定義已有的類，而不必通過子類的方式來實現(xiàn)。在這種情況下，Byte Buddy會將已有的代碼替換為生成的代碼，而將原有的代碼復制到另外一個合成的（synthetic）方法中。

在我們上面的代碼樣例中，匹配的方法進行了重寫，在實現(xiàn)里面，返回了固定的值“Hello World!”。intercept方法接受Implementation類型的參數，Byte Buddy自帶了多個預先定義的實現(xiàn)，如上文所使用的FixedValue類。但是，如果需要的話，可以使用前文所述的ASM API將某個方法實現(xiàn)為自定義的字節(jié)碼，Byte Buddy本身也是基于ASM API實現(xiàn)的。

定義完類的屬性之后，就能通過make方法來進行生成。在樣例應用中，因為用戶沒有指定類名，所以生成的類會給定一個任意的名稱。最終，生成的類將會使用ClassLoadingStrategy來進行加載。通過使用上述的默認 WRAPPER策略，類將會使用一個新的類加載器進行加載，這個類加載器會使用環(huán)境類加載器作為父加載器。

類加載之后，使用Java反射API就可以訪問它了。如果沒有指定其他構造器的話，Byte Buddy將會生成類似于父類的構造器，因此生成的類可以使用默認的構造器。這樣，我們就可以檢驗生成的類重寫了 toString方法，如下面的代碼所示：

assertThat(dynamicType.newInstance().toString(), 
           is("Hello World!"));

當然，這個生成的類并沒有太大的用處。對于實際的應用來講，大多數方法的返回值是在運行時計算的，這個計算過程要依賴于方法的參數和對象的狀態(tài)。

通過委托實現(xiàn)Instrumentation

要實現(xiàn)某個方法，有一種更為靈活的方式，那就是使用Byte Buddy的MethodDelegation。通過使用方法委托，在生成重寫的實現(xiàn)時，我們就有可能調用給定類和實例的其他方法。按照這種方式，我們可以使用如下的委托器（delegator）重新編寫上述的樣例：

class ToStringInterceptor {
  static String intercept() {
    return “Hello World!”;
  }
}

借助上面的POJO攔截器，我們就可以將之前的FixedValue實現(xiàn)替換為MethodDelegation.to(ToStringInterceptor.class)：

Class dynamicType = new ByteBuddy()
  .subclass(Object.class)
  .method(ElementMatchers.named("toString"))
  .intercept(MethodDelegation.to(ToStringInterceptor.class))
  .make()
  .load(getClass().getClassLoader(),          
        ClassLoadingStrategy.Default.WRAPPER)
  .getLoaded();

使用上述的委托器，Byte Buddy會在to方法所給定的攔截目標中，確定最優(yōu)的調用方法。就ToStringInterceptor.class來講，選擇過程只是非常簡單地解析這個類型的唯一靜態(tài)方法而已。在本例中，只會考慮一個靜態(tài)方法，因為委托的目標中指定的是一個類。與之不同的是，我們還可以將其委托給某個類的實例，如果是這樣的話，Byte Buddy將會考慮所有的虛方法（virtual method）。如果類或實例上有多個這樣的方法，那么Byte Buddy首先會排除掉所有與指定instrumentation不兼容的方法。在剩余的方法中，庫將會選擇最佳的匹配者，通常來講這會是參數最多的方法。我們還可以顯式地指定目標方法，這需要縮小合法方法的范圍，將ElementMatcher傳遞到MethodDelegation中，就會進行方法的過濾。例如，通過添加如下的filter，Byte Buddy只會將名為“intercept”的方法視為委托目標：

MethodDelegation.to(ToStringInterceptor.class)
                .filter(ElementMatchers.named(“intercept”))

執(zhí)行上面的攔截之后，被攔截到的方法依然會打印出“Hello World!”，但是這次的結果是動態(tài)計算的，這樣的話，我們就可以在攔截器方法上設置斷點，所生成的類每次調用toString時，都會觸發(fā)攔截器的方法。

當我們?yōu)閿r截器方法設置參數時，就能釋放出MethodDelegation的全部威力。這里的參數通常是帶有注解的，用來要求Byte Buddy在調用攔截器方法時，注入某個特定的值。例如，通過使用@Origin注解，Byte Buddy提供了添加instrument功能的方法的實例，將其作為Java反射API中類的實例：

class ContextualToStringInterceptor {
  static String intercept(@Origin Method m) {
    return “Hello World from ” + m.getName() + “!”;
  }
}

當攔截toString方法時，對instrument方法的調用將會返回“Hello world from toString!”。

除了@Origin注解以外，Byte Buddy提供了一組功能豐富的注解。例如，通過在類型為Callable的參數上使用@Super注解，Byte Buddy會創(chuàng)建并注入一個代理實例，它能夠調用被instrument方法的原始代碼。如果對于特定的用戶場景，所提供的注解不能滿足需求或者不太適合的話，我們甚至能夠注冊自定義的注解，讓這些注解注入用戶特定的值。

實現(xiàn)方法級別的安全性

可以看到，我們在運行時可以借助簡單的Java代碼，使用MethodDelegation來動態(tài)重寫某個方法。這只是一個簡單的樣例，但是這項技術可以用到更加實際的應用之中。在本文剩余的內容中，我們將會開發(fā)一個樣例，它會使用代碼生成技術實現(xiàn)一個注解驅動的庫，用來限制方法級別的安全性。在我們的第一個迭代中，這個庫會通過生成子類的方式來限制安全性。然后，我們將會采取相同的方式來實現(xiàn)Java agent，完成相同的功能。

樣例庫會使用如下的注解，允許用戶指定某個方法需要考慮安全因素：

@interface Secured {
  String user();
}

例如，假設應用需要使用如下的Service類來執(zhí)行敏感操作，并且只有用戶被認證為管理員才能執(zhí)行該方法。這是通過為執(zhí)行這個操作的方法聲明Secured注解來指定的：

class Service {
  @Secured(user = “ADMIN”)
  void doSensitiveAction() {
    // 運行敏感代碼...
  }
}

我們當然可以將安全檢查直接編寫到方法中。在實際中，硬編碼橫切關注點往往會導致復制-粘貼的邏輯，使其難以維護。另外，一旦應用需要涉及額外的需求時，如日志、收集調用指標或結果緩存，直接添加這樣的代碼擴展性不會很好。通過將這樣的功能抽取到agent中，方法就能很純粹地關注其業(yè)務邏輯，使得代碼庫能夠更易于閱讀、測試和維護。

為了讓我們規(guī)劃的庫保持盡可能得簡單，按照注解的協(xié)議聲明，如果當前用戶不具備注解的用戶屬性時，將會拋出IllegalStateException異常。通過使用Byte Buddy，這種行為可以用一個簡單的攔截器來實現(xiàn)，如下面樣例中的SecurityInterceptor所示，它會通過其靜態(tài)的user域，跟蹤當前用戶已經進行了登錄：

class SecurityInterceptor {
  static String user = “ANONYMOUS”
  static void intercept(@Origin Method method) {
    if (!method.getAnnotation(Secured.class).user().equals(user)) {
      throw new IllegalStateException(“Wrong user”);
    }
  }
}

通過上面的代碼，我們可以看到，即便給定用戶授予了訪問權限，攔截器也沒有調用原始的方法。為了解決這個問題，Byte Buddy有很多預定義的方法可以實現(xiàn)功能的鏈接。借助MethodDelegation類的andThen方法，上述的安全檢查可以放到原始方法的調用之前，如下面的代碼所示。如果用戶沒有進行認證的話，安全檢查將會拋出異常并阻止后續(xù)的執(zhí)行，因此原始方法將不會執(zhí)行。

將這些功能集合在一起，我們就能生成Service的一個子類，所有帶有注解方法的都能恰當地進行安全保護。因為所生成的類是Service的子類，所以它能夠替代所有類型為Service的變量，并不需要任何的類型轉換，如果沒有恰當認證的話，調用doSensitiveAction方法就會拋出異常：

new ByteBuddy()
  .subclass(Service.class)
  .method(ElementMatchers.isAnnotatedBy(Secured.class))
  .intercept(MethodDelegation.to(SecurityInterceptor.class)
                             .andThen(SuperMethodCall.INSTANCE)))
  .make()
  .load(getClass().getClassLoader(),   
        ClassLoadingStrategy.Default.WRAPPER)
  .getLoaded()
  .newInstance()
  .doSensitiveAction();

不過壞消息是，因為實現(xiàn)instrumentation功能的子類是在運行時創(chuàng)建的，所以除了使用Java反射以外，沒有其他辦法創(chuàng)建這樣的實例。因此，所有instrumentation類的實例都應該通過一個工廠來創(chuàng)建，這個工廠會封裝創(chuàng)建instrumentation子類的復雜性。這樣造成的結果就是，子類instrumentation通常會用于框架之中，這些框架本身就需要通過工廠來創(chuàng)建實例，例如，像依賴管理的框架Spring或對象-關系映射的框架Hibernate，而對于其他類型的應用來講，子類instrumentation實現(xiàn)起來通常過于復雜。

實現(xiàn)安全功能的JAVA AGENT

通過使用Java agent，上述安全框架的一個替代實現(xiàn)將會修改Service類的原始字節(jié)碼，而不是重寫它。這樣做的話，我們就沒有必要創(chuàng)建托管的實例了，只需簡單地調用

new Service().doSensitiveAction()

即可，如果對應的用戶沒有進行認證的話，就會拋出異常。為了支持這種方式，Byte Buddy提供一種稱之為rebase某個類的理念。當rebase某個類的時候，不會創(chuàng)建子類，所采用的策略是實現(xiàn)instrumentation功能的代碼將會合并到被instrument的類中，從而改變其行為。在添加instrumentation功能之后，在被instrument的類中，其所有方法的原始代碼均可進行訪問，因此像SuperMethodCall這樣的instrumentation，工作方式與創(chuàng)建子類是完全一樣的。

創(chuàng)建子類與rebase的行為是非常類似的，所以兩種操作的API執(zhí)行方式是一致的，都會使用相同的DynamicType.Builder接口來描述某個類型。兩種形式的instrumentation都可以通過ByteBuddy類來進行訪問。為了使Java agent的定義更加便利，Byte Buddy還提供了 AgentBuilder類，它希望能夠以一種簡潔的方式應對一些通用的用戶場景。為了定義Java agent實現(xiàn)方法級別的安全性，將如下的類定義為agent的入口點就足以完成該功能了：

class SecurityAgent {
  public static void premain(String arg, Instrumentation inst) {
    new AgentBuilder.Default()
    .type(ElementMatchers.any())
    .transform((builder, type) -> builder
    .method(ElementMatchers.isAnnotatedBy(Secured.class)
    .intercept(MethodDelegation.to(SecurityInterceptor.class)
               .andThen(SuperMethodCall.INSTANCE))))
    .installOn(inst);
  }
}

如果將這個agent打包為jar文件并在命令行中進行指定，那么所有帶有Secured注解的方法將會進行“轉換”或重定義，從而實現(xiàn)安全保護。如果不激活這個Java agent的話，應用在運行時就不包含額外的安全檢查。當然，這意味著如果對帶有注解的代碼進行單元測試的話，這些方法的調用并不需要特殊的搭建過程來模擬安全上下文。Java運行時會忽略掉無法在classpath中找到的注解類型，因此在運行帶有注解的方法時，我們甚至完全可以在應用中移除掉安全庫。

另外一項優(yōu)勢在于，Java agent能夠很容易地進行疊加。如果在命令行中指定多個Java agent的話，每個agent都有機會對類進行修改，其順序就是在命令行中所指定的順序。例如，我們可以采取這種方式將安全、日志以及監(jiān)控框架聯(lián)合在一起，而不需要在這些應用間增添任何形式的集成層。因此，使用Java agent實現(xiàn)橫切的關注點提供了一種更為模塊化的代碼編寫方式，而不必針對某個管理實例的中心框架來集成所有的代碼。

特別說明：ByteBuddy部分節(jié)選Rafael Winterhalter的《Easily Create Java Agents with Byte Buddy》

譯文地址：http://www.dbjr.com.cn/article/239718.htm

以上就是skywalking源碼解析javaAgent工具ByteBuddy應用的詳細內容，更多關于skywalking源碼解析javaAgent ByteBuddy的資料請關注腳本之家其它相關文章！

最新評論