為了構建生成式AI應用，需要完成兩個部分：

• AI大模型服務：有兩種方式實現(xiàn)，可以使用大廠的API，也可以自己部署，本文將采用ollama來構建
• 應用構建：調用AI大模型的能力實現(xiàn)業(yè)務邏輯，本文將采用Spring Boot + Spring AI來實現(xiàn)Ollama安裝與使用

進入官網(wǎng)：https://ollama.com/ ，下載、安裝、啟動 ollama

參考資料：

具體步驟可以參考這篇文章：手把手教你本地運行Meta最新大模型：Llama3.1

構建 Spring 應用

通過spring initializr創(chuàng)建Spring Boot應用

注意右側選擇Spring Web和Spring AI對Ollama的支持依賴

點擊“generate”按鈕獲取工程

使用IDEA或者任何你喜歡的工具打開該工程，工程結構如下；

寫個單元測試，嘗試在Spring Boot應用里調用本地的ollama服務

@SpringBootTest(classes = DemoApplication.class)
class DemoApplicationTests {
    @Autowired
    private OllamaChatModel chatModel;
    @Test
    void ollamaChat() {
        ChatResponse response = chatModel.call(
                new Prompt(
                        "Spring Boot適合做什么？",
                        OllamaOptions.builder()
                                .withModel(OllamaModel.LLAMA3_1)
                                .withTemperature(0.4)
                                .build()
                ));
        System.out.println(response);
    }
}

運行得到如下輸出：

ChatResponse [metadata={ id: , usage: { promptTokens: 17, generationTokens: 275, totalTokens: 292 }, rateLimit: org.springframework.ai.chat.metadata.EmptyRateLimit@7b3feb26 }, generations=[Generation[assistantMessage=AssistantMessage [messageType=ASSISTANT, toolCalls=[], textContent=Spring Boot是一個基于Java的快速開發(fā)框架，主要用于創(chuàng)建獨立的、生產級別的應用程序。它提供了一個簡化的配置過程，使得開發(fā)者能夠快速構建和部署Web應用程序。

Spring Boot適合做以下幾件事情：

1. **快速開發(fā)**: Spring Boot提供了一系列的自動配置功能，可以幫助開發(fā)者快速創(chuàng)建基本的應用程序，減少手動編寫配置代碼的時間。
2. **獨立運行**: Spring Boot可以作為一個獨立的應用程序運行，不需要額外的容器或服務器支持。
3. **生產級別的應用程序**: Spring Boot提供了許多生產級別的特性，例如安全、監(jiān)控和部署等功能，可以幫助開發(fā)者創(chuàng)建高性能、可靠的應用程序。
4. **Web 應用程序**: Spring Boot可以用于創(chuàng)建Web應用程序，包括RESTful API、WebSockets和其他類型的Web應用程序。
5. **微服務架構**: Spring Boot支持微服務架構，允許開發(fā)者將一個大型應用程序分解成多個小型服務，每個服務都可以獨立運行和部署。

總之，Spring Boot是一個強大的框架，可以幫助開發(fā)者快速創(chuàng)建、測試和部署生產級別的應用程序。, metadata={messageType=ASSISTANT}], chatGenerationMetadata=ChatGenerationMetadata{finishReason=stop,contentFilterMetadata=null}]]]

上述樣例工程打包放公眾號了，如果需要的話，關注"程序猿DD"，發(fā)送關鍵詞spring+ollama獲得下載鏈接。

小結

通過本文的介紹，我們就已經(jīng)完成了Spring Boot應用與Ollama運行的AI模型之間的對接。剩下的就是與業(yè)務邏輯的結合實現(xiàn)，這里讀者根據(jù)自己的需要去實現(xiàn)即可。

可能存在的一些疑問

如何使用其他AI模型

通過ollama的 Models 頁面，可以找到各種其他模型：

選擇你要使用的模型來啟動即可。

如何植入現(xiàn)有應用？

打開上面工程的pom.xml，可以看到主要就下面兩個依賴：

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

所以，如果要在現(xiàn)有工程引入的話只要引入spring-ai-ollama-spring-boot-starter依賴就可以了。

好了，今天的分享就到這里。最近較忙，分享較少，感謝持續(xù)的關注與支持 _

到此這篇關于如何用 Spring AI + Ollama 構建生成式 AI 應用的文章就介紹到這了,更多相關Spring AI  Ollama 構建生成式 AI 應用內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論