Spring Boot集成ElasticSearch實現搜索引擎的示例

更新時間：2017年11月02日 10:04:35 作者：牛麥康納

這篇文章主要介紹了Spring Boot集成ElasticSearch實現搜索引擎的示例，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

Elastic Search是一個開源的，分布式，實時搜索和分析引擎。Spring Boot為Elasticsearch及Spring Data Elasticsearch提供的基于它的抽象提供了基本的配置。Spring Boot提供了一個用于聚集依賴的spring-boot-starter-data-elasticsearch 'StarterPOM'。

ElasticSearch作為搜索引擎，我們需要解決2大問題：

1，如何將被搜索的數據在ES上創(chuàng)建反向索引
2， Java代碼如何與ES交互

其中第一個大問題又分為兩個小問題

1.1，如何初始化已有的數據
1.2，如何同步增量數據

第二個大問題也有兩種集成方式

2.1 Spring Data 9300端口集成
2.2 Restful API 9200端口集成

本篇先解決第二大問題。

第一種方式，利用RestAPI方式，也叫Jest方式：

示例代碼：https://github.com/yejingtao/forblog/tree/master/demo-jest-elasticsearch

Pom.xml：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
 <modelVersion>4.0.0</modelVersion> 
 
 <groupId>yejingtao.demo.springcloud</groupId> 
 <artifactId>demo-jest-elasticsearch</artifactId> 
 <version>0.0.1-SNAPSHOT</version> 
 <packaging>jar</packaging> 
 
 <name>demo-jest-elasticsearch</name> 
 <url>http://maven.apache.org</url> 
 
 <properties> 
  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> 
 </properties> 
  
 <parent> 
    <groupId>org.springframework.boot</groupId> 
    <artifactId>spring-boot-starter-parent</artifactId> 
    <version>1.5.6.RELEASE</version> 
  </parent> 
   
  <dependencies> 
    <dependency> 
      <groupId>org.springframework.boot</groupId> 
      <artifactId>spring-boot-starter-web</artifactId> 
    </dependency> 
    <dependency> 
      <groupId>org.springframework.boot</groupId> 
      <artifactId>spring-boot-starter-data-elasticsearch</artifactId> 
    </dependency> 
    <dependency> 
      <groupId>io.searchbox</groupId> 
      <artifactId>jest</artifactId> 
    </dependency> 
    <dependency> 
      <groupId>net.java.dev.jna</groupId> 
      <artifactId>jna</artifactId> 
    </dependency> 
  </dependencies> 
</project>

Application.yml:

server: 
 port: 7081 
 
spring: 
 elasticsearch: 
  jest: 
   uris: 
   - http://192.168.226.133:9200 
   read-timeout: 5000

注意這里是9200端口

主程序：最簡單的Spring boot啟動程序：

@SpringBootApplication 
public class ESApplication { 
 
  public static void main(String[] args) { 
    SpringApplication.run(ESApplication.class); 
  } 
}

定義好ES中的實體類和對ES操作的接口：

public class Entity implements Serializable{ 
 
  private static final long serialVersionUID = -763638353551774166L; 
   
  public static final String INDEX_NAME = "index_entity"; 
   
  public static final String TYPE = "tstype"; 
 
  private Long id; 
   
  private String name; 
   
  public Entity() { 
    super(); 
  } 
   
  public Entity(Long id, String name) { 
    this.id = id; 
    this.name = name; 
  } 
 
  public Long getId() { 
    return id; 
  } 
 
  public void setId(Long id) { 
    this.id = id; 
  } 
 
  public String getName() { 
    return name; 
  } 
 
  public void setName(String name) { 
    this.name = name; 
  } 
   
   
}

public interface CityESService { 
   
  void saveEntity(Entity entity); 
   
  void saveEntity(List<Entity> entityList); 
   
  List<Entity> searchEntity(String searchContent); 
}

接口實現：

@Service 
public class CityESServiceImpl implements CityESService{ 
   
  private static final Logger LOGGER = LoggerFactory.getLogger(CityESServiceImpl.class); 
   
  @Autowired 
  private JestClient jestClient; 
   
  @Override 
  public void saveEntity(Entity entity) { 
    Index index = new Index.Builder(entity).index(Entity.INDEX_NAME).type(Entity.TYPE).build(); 
    try { 
      jestClient.execute(index); 
      LOGGER.info("ES 插入完成"); 
    } catch (IOException e) { 
      e.printStackTrace(); 
      LOGGER.error(e.getMessage()); 
    } 
  } 
   
   
  /** 
   * 批量保存內容到ES 
   */ 
  @Override 
  public void saveEntity(List<Entity> entityList) { 
    Bulk.Builder bulk = new Bulk.Builder(); 
    for(Entity entity : entityList) { 
      Index index = new Index.Builder(entity).index(Entity.INDEX_NAME).type(Entity.TYPE).build(); 
      bulk.addAction(index); 
    }     
    try { 
      jestClient.execute(bulk.build()); 
      LOGGER.info("ES 插入完成"); 
    } catch (IOException e) { 
      e.printStackTrace(); 
      LOGGER.error(e.getMessage()); 
    } 
  } 
   
  /** 
   * 在ES中搜索內容 
   */ 
  @Override 
  public List<Entity> searchEntity(String searchContent){ 
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); 
    //searchSourceBuilder.query(QueryBuilders.queryStringQuery(searchContent)); 
    //searchSourceBuilder.field("name"); 
    searchSourceBuilder.query(QueryBuilders.matchQuery("name",searchContent)); 
    Search search = new Search.Builder(searchSourceBuilder.toString()) 
        .addIndex(Entity.INDEX_NAME).addType(Entity.TYPE).build(); 
    try { 
      JestResult result = jestClient.execute(search); 
      return result.getSourceAsObjectList(Entity.class); 
    } catch (IOException e) { 
      LOGGER.error(e.getMessage()); 
      e.printStackTrace(); 
    } 
    return null;     
  } 
}

這里插入數據的方式給了兩種，一種是單次API直接插入，一種是利用ES的bulk批量插入。

做一個controller方面我們測試：

啟動后在瀏覽器中請求http://localhost:7081/entityController/search?name=%E4%BA%BA%E6%89%8B%E4%BA%95

得到結果：

這里只返回了9條記錄，而理論上ES默認的size是10，應該不是分頁的問題，而是只能檢索出9條匹配記錄，用Kibana連上相同的搜索確認下：

這里用的是standard分詞方式，將每個中文都作為了一個term，凡是包含“人”“手”“井”的都被搜索了出來，只是評分不同，如果想支持只能中文索引需要依賴ik插件

OK，RestFul方式對ElasticSearch的檢索已經搞定了，更多的擴展可以慢慢研究下QueryBuilders里的源碼和批注。

第二種方式，利用Spring Data客戶端方式：

事先說明此方式有個弊端，讓我掉了坑里好久才爬上來，Spring Data ElasticSearch必須與ElasticSearch版本相匹配，否則在對接時ES端會報版本不匹配錯誤，例如我ES是5.6.1版本，Spring boot是1.5.6版本，錯誤如下：

為解決這個問題我查找了一些資料，Spring Data與elasticsearch版本對應關系如下：

spring data elasticsearch	elasticsearch
3.0.0.RC2	5.5.0
3.0.0.M4	5.4.0
2.0.4.RELEASE	2.4.0
2.0.0.RELEASE	2.2.0
1.4.0.M1	1.7.3
1.3.0.RELEASE	1.5.2
1.2.0.RELEASE	1.4.4
1.1.0.RELEASE	1.3.2
1.0.0.RELEASE	1.1.1

而我用的Spring Boot 1.5.6版本對應的Spring Data ElasticSearch是2.1.6版本，不支持5.X的ES，所以報錯。到本博文撰寫為止，Spring Boot的RELEASE版本最新的是1.5.8，對應的Spring Data ElasticSearch是2.1.8，仍不支持5.X的ES，所以如果一定要使用Java客戶端方式集成ES只能放棄Spring Boot直接使用Spring Data和Spring MVC，或者降低ES的版本使之與Spring boot匹配。

示例代碼：https://github.com/yejingtao/forblog/tree/master/demo-data-elasticsearch

pom.xml依賴：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
 <modelVersion>4.0.0</modelVersion> 
 
 <groupId>yejingtao.demo.springcloud</groupId> 
 <artifactId>demo-data-elasticsearch</artifactId> 
 <version>0.0.1-SNAPSHOT</version> 
 <packaging>jar</packaging> 
 
 <name>demo-data-elasticsearch</name> 
 <url>http://maven.apache.org</url> 
 
 <properties> 
  <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> 
 </properties> 
  
 <parent> 
    <groupId>org.springframework.boot</groupId> 
    <artifactId>spring-boot-starter-parent</artifactId> 
    <version>1.5.8.RELEASE</version> 
  </parent> 
   
  <dependencies> 
    <dependency> 
      <groupId>org.springframework.boot</groupId> 
      <artifactId>spring-boot-starter-web</artifactId> 
    </dependency> 
    <dependency> 
      <groupId>org.springframework.boot</groupId> 
      <artifactId>spring-boot-starter-data-elasticsearch</artifactId> 
    </dependency> 
  </dependencies> 
</project>

不再引用Jest。

application.yml:

server: 
 port: 7081 
 
spring: 
 data: 
  elasticsearch: 
   cluster-nodes: 192.168.226.133:9300 
   cluster-name: my-es 
   repositories: 
    enabled: true

注意這里是9300端口

Controller、主程序、Service接口同Jest項目不變，不再羅列

實體類稍作變化，指定ES中的index和type：

@Document(indexName="index_entity", type="tstype")

多一個Repository接口，無需實現類，spring data標準用法：

/** 
 * Entity ES操作類 
 * @author yejingtao 
 * 
 */ 
public interface EntityRepository extends ElasticsearchRepository<Entity,Long>{ 
 
}

Service實現類與Jest的天壤之別了，從語法上可以看出更像是對數據庫層的操作：

@Service 
public class CityESServiceImpl implements CityESService{ 
   
  private static final Logger LOGGER = LoggerFactory.getLogger(CityESServiceImpl.class); 
   
  int PAGE_SIZE = 15; //默認分頁大小 
   
  int PAGE_NUMBER = 0; //默認當前分頁 
   
  String SCORE_MODE_SUM = "sum"; //權重分求和模式 
   
  Float MIN_SCORE = 10.0F; //由于無相關性的分值默認為1， 設置權重分最小值為10 
   
  @Autowired 
  EntityRepository entityRepository; 
   
  /** 
   * 保存內容到ES 
   */ 
  @Override 
  public Long saveEntity(Entity entity) { 
    Entity entityResult = entityRepository.save(entity); 
    return entityResult.getId(); 
  } 
   
  /** 
   * 在ES中搜索內容 
   */ 
  @Override 
  public List<Entity> searchEntity(int pageNumber, int pageSize, String searchContent){ 
    if(pageSize==0) { 
      pageSize = PAGE_SIZE; 
    } 
    if(pageNumber<0) { 
      pageNumber = PAGE_NUMBER; 
    } 
     
    SearchQuery searchQuery = getEntitySearchQuery(pageNumber,pageSize,searchContent); 
     
    LOGGER.info("\n searchCity: searchContent [" + searchContent + "] \n DSL = \n "  
        + searchQuery.getQuery().toString()); 
 
     
    Page<Entity> cityPage = entityRepository.search(searchQuery); 
    return cityPage.getContent(); 
  } 
   
  /** 
   * 組裝搜索Query對象 
   * @param pageNumber 
   * @param pageSize 
   * @param searchContent 
   * @return 
   */ 
  private SearchQuery getEntitySearchQuery(int pageNumber, int pageSize, String searchContent) { 
    FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery() 
        .add(QueryBuilders.matchPhraseQuery("name", searchContent), 
            ScoreFunctionBuilders.weightFactorFunction(1000)) 
        //.add(QueryBuilders.matchPhraseQuery("other", searchContent), 
            //ScoreFunctionBuilders.weightFactorFunction(1000)) 
        .scoreMode(SCORE_MODE_SUM).setMinScore(MIN_SCORE); 
    //設置分頁，否則只能按照ES默認的分頁給 
    Pageable pageable = new PageRequest(pageNumber, pageSize); 
    return new NativeSearchQueryBuilder().withPageable(pageable).withQuery(functionScoreQueryBuilder).build(); 
  } 
   
}

測試方式同Jest。

這兩種方式，從設計上來講屬于兩種思路，Spring Data的思路就是將ElasticSearch當自家的數據倉庫來管理，直接通過Java客戶端代碼操作ES；Jest的思路是將ElasticSearch當為獨立的服務端，自己作為客戶端用兼容性最強的RestFul格式來與之交互。
個人比較傾向于Jest方式，第一兼容性好，不需要考慮版本的問題。第二，從ElasticSearch本身的設計上來分析，9200是對外服務端口，9300是內部管理和集群通信端口，請求9200獲取搜索服務更符合ES的設計初衷，不會影響集群內部的通信。
以上比較分析僅代表個人觀點，歡迎大神么交流批評。希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

SpringMVC數據響應詳細介紹
Spring MVC 是 Spring 提供的一個基于 MVC 設計模式的輕量級 Web 開發(fā)框架，本質上相當于 Servlet，Spring MVC 角色劃分清晰，分工明細，本章來講解SpringMVC數據響應
2023-02-02
SpringBoot讀取Resource目錄下文件的四種方式總結
在Spring?Boot項目中,經常需要獲取resources目錄下的文件,這些文件可以包括配置文件、模板文件、靜態(tài)資源等,本文將介紹四種常用的方法來獲取resources目錄下的文件,需要的朋友可以參考下
2023-08-08
Java中WeakHashMap的使用詳解
這篇文章主要介紹了Java中WeakHashMap的使用詳解,WeakHashMap是一種弱引用的Map,底層數據結構為數組鏈表,與HashMap相比,WeakHashMap的區(qū)別在于它的key存儲為弱引用,在垃圾回收時,如果key沒有被強引用所引用,那么key會被回收掉,需要的朋友可以參考下
2023-09-09
使用Java編寫GUI對話框的教程
這篇文章主要介紹了使用Java編寫GUI對話框的教程,是Java圖形化編程中的基礎知識,需要的朋友可以參考下
2015-10-10
java實現省市區(qū)轉換成樹形結構
這篇文章主要為大家詳細介紹了java實現省市區(qū)轉換成樹形結構，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-08-08
如何利用Java?AWT?創(chuàng)建一個簡易計算器
這篇文章主要介紹了如何利用Java?AWT?創(chuàng)建一個簡易計算器，AWT?是一個有助于構建?GUI?的?API?基于?java?應用程序，下面關于其相關資料實現計算器的內容詳細,需要的朋友可以參考一下
2022-03-03
Springboot整合thymleaf模板引擎過程解析
這篇文章主要介紹了Springboot整合thymleaf模板引擎過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-11-11
Java不定參數使用及一些注意情況
不定參數是一種特殊的參數類型,它允許方法接受可變數量的參數,本文主要介紹了Java不定參數使用及一些注意情況,具有一定的參考價值,感興趣的可以了解一下
2024-03-03
Java Semaphore信號量使用分析講解
Semaphore實際上是一種共享鎖，因為它允許多個線程并發(fā)獲取共享的資源，在Semaphore對象創(chuàng)建時必須設置可用令牌的初始數量permits，用于控制并發(fā)時同時獲取資源權限的線程數量，這篇文章主要介紹了Java中的Semaphore如何使用,需要的朋友可以參考下
2022-12-12
java實現oracle插入當前時間的方法
這篇文章主要介紹了java實現oracle插入當前時間的方法,以實例形式對比分析了java使用Oracle操作時間的技巧,具有一定參考借鑒價值,需要的朋友可以參考下
2015-03-03