簡介

構(gòu)建在大語言模型基礎(chǔ)上的應(yīng)用通常有兩種，第一種叫做text completion,也就是一問一答的模式，輸入是text，輸出也是text。這種模型下應(yīng)用并不會記憶之前的問題內(nèi)容，每一個問題都是最新的。通常用來做知識庫。

還有一種是類似聊天機(jī)器人這種會話模式，也叫Chat models。這種模式下輸入是一個Chat Messages的列表。從而可以保存上下文信息，讓模型的回復(fù)更加真實(shí)。

實(shí)際上Chat models的底層還是LLMs,只不過在調(diào)用方式上有些變化。

簡單使用LLMs

什么是LLMs呢？LLMs是Large Language Models的簡稱，也就是我們常說的大語言模型。

對于langchain來說，它本身并不提供大語言模型，它只是一個中間的粘合層，提供了統(tǒng)一的接口，方便我們對接底層的各種LLMs模型。

langchain除了可以對接OpenAI之外，還可以對接Cohere, Hugging Face等其他的大語言模型。

比如下面是openAI的使用：

from langchain.llms import OpenAI
llm = OpenAI(openai_api_key="...")

接下來就可以調(diào)用llm的方法來進(jìn)行text completion了。

一般來說有兩種方式。第一種方式就是直接輸出：

llm("給我寫首詩")

還有一種方式調(diào)用他的generate方法：

llm_result = llm.generate(["給我唱首歌", "給我寫首詩"])

這種方式可以傳入一個數(shù)組，用來生成比較復(fù)雜的結(jié)果。

langchain支持的LLM

現(xiàn)在大語言模型可謂是蓬勃發(fā)展，一不留神就可能出一個新的大語言模型。

就目前而言，基本的國外主流模型langchain都是支持的。

比如：openai,azure openai,AmazonAPI,Hugging Face Hub等等。數(shù)目繁多，功能齊全,你想要的他全都有，你沒想到的他也有。

那么有小伙伴可能要問題了，langchain支不支持國產(chǎn)的大語言模型呢？

答案是肯定的，但并不是直接的。

如果你發(fā)現(xiàn)langchain并沒有你想要的llm，那么你可以嘗試進(jìn)行自定義。

langchain為我們提供了一個類叫做LLM，我們只需要繼承這個LLM即可：

class LLM(BaseLLM):
    @abstractmethod
    def _call(
        self,
        prompt: str,
        stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,
    ) -> str:
        """Run the LLM on the given prompt and input."""

其中，唯一一個必須要實(shí)現(xiàn)的方法就是_call,這個方法傳入一個字符串和一些可選的stop word，然后返回LLM的輸出即可。

另外還可以實(shí)現(xiàn)一個_identifying_params方法，用來輸出自定義LLM的一些參數(shù)信息。

大家可以自行嘗試和接入不同的LLM模型。

一些特殊的LLM

很多時候調(diào)用LLM是需要收費(fèi)的，如果我們在開發(fā)的過程中也要不斷的消耗token肯定是得不償失。

所以langchain為了給我們省錢，提供了一個FakeLLM來使用。

顧名思義，F(xiàn)akeLLM就是可以手動來mock一些LLM的回答，方便測試。

from langchain.llms.fake import FakeListLLM
responses = ["窗前明月光\n低頭鞋兩雙"]
llm = FakeListLLM(responses=responses)
print(llm("給我寫首詩"))

上面的輸出結(jié)果如下：

窗前明月光
低頭鞋兩雙

langchain中還有一個和FakeLLM類似的叫做HumanInputLLM。

這個LLM可以打印出給用戶的prompt，并且將用戶的輸入作為輸出返回給用戶，大家可以自行體驗(yàn)。

LLM的高級用法

除了正常的LLM調(diào)用之外，langchain還提供了一些LLM的高級用法。

異步調(diào)用

比如異步調(diào)用LLM。當(dāng)然目前只支持OpenAI, PromptLayerOpenAI, ChatOpenAI 和 Anthropic這幾個LLM。其他的對LLM的支持貌似正在開發(fā)中。

異步方法也很簡單，主要是調(diào)用llm的agenerate方法,比如下面這樣：

async def async_generate(llm):
    resp = await llm.agenerate(["Hello, how are you?"])
    print(resp.generations[0][0].text)

緩存功能

另外，對于一些重復(fù)的請求來說，langchain還提供了緩存功能，這樣可以重復(fù)的請求就不需要再發(fā)送到LLM去了，給我們節(jié)約了時間和金錢，非常好用。

langchain提供的cache也有很多種，比如InMemoryCache,FullLLMCache,SQLAlchemyCache,SQLiteCache和RedisCache等等。

我們以InMemoryCache為例，看看是怎么使用的：

from langchain.cache import InMemoryCache
langchain.llm_cache = InMemoryCache()
# 第一次沒有使用緩存
llm.predict("Tell me a joke")
# 第二次使用了緩存
llm.predict("Tell me a joke")

使用起來很簡單，只需要添加一行l(wèi)lm_cache即可。

如果你使用其他的cache，除了構(gòu)造函數(shù)不同之外，其他的都是類似的。

保存LLM配置

有時候我們配置好了LLM之外，還可以把LLM相關(guān)的參數(shù)以文本的形式存儲起來。

保存llm到文件：

llm.save("llm.json")

加載llm：

llm = load_llm("llm.json")

流式處理

LLM的速度是一個硬傷，由于返回整個響應(yīng)的速度太慢了，所以推出了流式響應(yīng)。只要有response返回，就傳輸給用戶。并不需要等待所有內(nèi)容都獲得之后再處理。這樣對用戶的體驗(yàn)是最好的。

目前l(fā)angchain只支持OpenAI,ChatOpenAI和ChatAnthropic。

要實(shí)現(xiàn)這個流式處理， langchain提供了BaseCallbackHandler，我們只需要繼承這個類，實(shí)現(xiàn)on_llm_new_token這個方法即可。

當(dāng)然langchain已經(jīng)給我們提供了一個實(shí)現(xiàn)好的類叫做：StreamingStdOutCallbackHandler。下面是他的實(shí)現(xiàn)：

def on_llm_new_token(self, token: str, **kwargs: Any) -> None:
        sys.stdout.write(token)
        sys.stdout.flush()

使用的時候，只需要在構(gòu)建llm的是傳入對應(yīng)的callback即可：

from langchain.llms import OpenAI
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler
llm = OpenAI(streaming=True, callbacks=[StreamingStdOutCallbackHandler()], temperature=0)
resp = llm("給我寫首詩")

統(tǒng)計(jì)token數(shù)目

這個統(tǒng)計(jì)token使用數(shù)目的功能目前只能在openai使用。

from langchain.llms import OpenAI
from langchain.callbacks import get_openai_callback
llm = OpenAI(model_name="text-davinci-002", n=2, best_of=2)
with get_openai_callback() as cb:
    result = llm("T給我寫首詩")
    print(cb)

總結(jié)

LLM是大語言模型最基礎(chǔ)的模式，chat模式的底層就是基于LLM實(shí)現(xiàn)的。后續(xù)我們會詳細(xì)介紹chat模式，盡請期待。

更多關(guān)于langchain LLM模型的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論