欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python整合Milvus向量數(shù)據(jù)庫(kù)的實(shí)戰(zhàn)指南

 更新時(shí)間:2025年05月28日 09:16:17   作者:敲鍵盤的小夜貓  
在向量數(shù)據(jù)庫(kù)技術(shù)快速發(fā)展的今天,Milvus作為開(kāi)源領(lǐng)域的領(lǐng)軍產(chǎn)品,正成為AI應(yīng)用開(kāi)發(fā)的重要基礎(chǔ)設(shè)施,本章將深入講解Python與Milvus向量數(shù)據(jù)庫(kù)的整合實(shí)踐,感興趣的小伙伴可以了解下

導(dǎo)讀

在向量數(shù)據(jù)庫(kù)技術(shù)快速發(fā)展的今天,Milvus作為開(kāi)源領(lǐng)域的領(lǐng)軍產(chǎn)品,正成為AI應(yīng)用開(kāi)發(fā)的重要基礎(chǔ)設(shè)施。然而,許多開(kāi)發(fā)者在初次接觸Milvus時(shí),往往被其復(fù)雜的概念體系和豐富的API接口所困擾,難以快速上手并構(gòu)建穩(wěn)定的生產(chǎn)環(huán)境。

本文將通過(guò)系統(tǒng)性的實(shí)戰(zhàn)案例,深入解析Python與Milvus向量數(shù)據(jù)庫(kù)的完整整合流程。從PyMilvus SDK的正確安裝和版本匹配策略開(kāi)始,逐步覆蓋數(shù)據(jù)庫(kù)連接管理、Collection創(chuàng)建與Schema設(shè)計(jì)等核心操作。文章特別關(guān)注實(shí)際開(kāi)發(fā)中的關(guān)鍵細(xì)節(jié),包括分片參數(shù)的合理配置、動(dòng)態(tài)字段功能的應(yīng)用場(chǎng)景,以及不同Schema類型的選擇策略。

值得關(guān)注的是,Milvus 2.3版本引入的動(dòng)態(tài)字段功能為數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)帶來(lái)了革命性變化。這一特性如何在保持查詢性能的同時(shí)提供更大的靈活性?靜態(tài)Schema與動(dòng)態(tài)Schema在實(shí)際業(yè)務(wù)場(chǎng)景中的權(quán)衡考量又是什么?

通過(guò)閱讀本文,開(kāi)發(fā)者將獲得從零開(kāi)始構(gòu)建向量數(shù)據(jù)庫(kù)應(yīng)用的完整知識(shí)體系,并掌握在生產(chǎn)環(huán)境中優(yōu)化系統(tǒng)性能的實(shí)用技巧。

Python整合Milvus向量數(shù)據(jù)庫(kù)案例實(shí)戰(zhàn)

概述

本章將深入講解Python與Milvus向量數(shù)據(jù)庫(kù)的整合實(shí)踐,通過(guò)詳細(xì)的代碼示例和實(shí)戰(zhàn)案例,幫助開(kāi)發(fā)者掌握Milvus的核心操作和最佳實(shí)踐。

1. 環(huán)境準(zhǔn)備與SDK安裝

1.1 安裝Milvus Python SDK

Milvus提供多種編程語(yǔ)言的SDK支持,包括Python、Node.js、Go和Java。建議安裝與Milvus服務(wù)器版本相匹配的PyMilvus版本,以確保API兼容性和功能完整性。

pip install pymilvus==2.5.5

1.2 驗(yàn)證安裝

安裝完成后,可以通過(guò)以下命令驗(yàn)證PyMilvus是否正確安裝。如果安裝成功,該命令將正常執(zhí)行而不會(huì)拋出異常:

python -c "from pymilvus import Collection"

1.3 接口分類

Milvus Python SDK的接口按功能可以分為以下幾個(gè)主要類別:

DDL(數(shù)據(jù)定義語(yǔ)言)/DCL(數(shù)據(jù)控制語(yǔ)言):createCollection、createPartition、dropCollection、dropPartition、hasCollection、hasPartition等操作

DML(數(shù)據(jù)操作語(yǔ)言)/Producer(生產(chǎn)者):插入、刪除、更新等數(shù)據(jù)操作

DQL(數(shù)據(jù)查詢語(yǔ)言):搜索和查詢等數(shù)據(jù)檢索操作

2. 數(shù)據(jù)庫(kù)連接與管理

2.1 建立連接

使用connect()方法連接到Milvus服務(wù)器,進(jìn)行后續(xù)的數(shù)據(jù)庫(kù)操作:

from pymilvus import connections, db

# 方式一:使用connections連接
conn = connections.connect(host="192.168.11.160", port=19530)

# 方式二:使用MilvusClient(替代方案)
# from pymilvus import MilvusClient
# client = MilvusClient("http://192.168.11.160:19530")

2.2 數(shù)據(jù)庫(kù)操作

創(chuàng)建數(shù)據(jù)庫(kù)

# 創(chuàng)建新數(shù)據(jù)庫(kù)
db.create_database("my_database")

使用指定數(shù)據(jù)庫(kù)

# 切換到指定數(shù)據(jù)庫(kù)
db.using_database("my_database")

列出所有數(shù)據(jù)庫(kù)

# 獲取數(shù)據(jù)庫(kù)列表
dbs = db.list_database()
print(dbs)
# 輸出示例:['default', 'my_database']

刪除數(shù)據(jù)庫(kù)

# 刪除指定數(shù)據(jù)庫(kù)
db.drop_database("my_database")

3. Collection與Schema的創(chuàng)建和管理

3.1 核心概念

Collection在Milvus中相當(dāng)于關(guān)系數(shù)據(jù)庫(kù)中的表,它是一個(gè)二維結(jié)構(gòu),具有固定的列(字段)和變化的行(實(shí)體)。每列代表一個(gè)字段,每行代表一個(gè)實(shí)體記錄。

為了實(shí)現(xiàn)這種結(jié)構(gòu)化數(shù)據(jù)管理,需要通過(guò)Schema來(lái)定義Collection的表結(jié)構(gòu)。每個(gè)Schema由多個(gè)FieldSchema組成,定義了數(shù)據(jù)的結(jié)構(gòu)和約束。

3.2 字段定義

基本字段定義示例

from pymilvus import FieldSchema, DataType

# 定義字段結(jié)構(gòu)
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="vector", dtype=DataType.FLOAT_VECTOR, dim=128),
    FieldSchema(name="category", dtype=DataType.VARCHAR, max_length=50)
]

支持的數(shù)據(jù)類型詳解

數(shù)據(jù)類型說(shuō)明示例用法
INT8/16/32/64不同精度的整型DataType.INT64
FLOAT單精度浮點(diǎn)數(shù)DataType.FLOAT
DOUBLE雙精度浮點(diǎn)數(shù)DataType.DOUBLE
VARCHAR變長(zhǎng)字符串max_length=255
FLOAT_VECTOR浮點(diǎn)向量dim=768

3.3 創(chuàng)建Collection完整實(shí)戰(zhàn)

from pymilvus import connections
from pymilvus import FieldSchema, DataType
from pymilvus import CollectionSchema, Collection

# 建立連接
conn = connections.connect(host="192.168.11.160", port=19530)

# 步驟1:定義字段結(jié)構(gòu)
fields = [
    FieldSchema("id", DataType.INT64, is_primary=True),
    FieldSchema("vector", DataType.FLOAT_VECTOR, dim=128),
    FieldSchema("tag", DataType.VARCHAR, max_length=50)
]

# 步驟2:創(chuàng)建Schema
schema = CollectionSchema(fields, description="示例集合")

# 步驟3:實(shí)例化Collection
collection = Collection(
    name="demo_collection",
    schema=schema,
    shards_num=2  # 分片數(shù)量,對(duì)分布式擴(kuò)展至關(guān)重要
)

關(guān)鍵參數(shù)解析

參數(shù)說(shuō)明推薦配置
shards_num分片數(shù)量(創(chuàng)建后不可修改)集群節(jié)點(diǎn)數(shù)×2
description集合描述信息建議填寫(xiě)具體業(yè)務(wù)用途

3.4 動(dòng)態(tài)字段Schema

從Milvus 2.3版本開(kāi)始,支持動(dòng)態(tài)字段功能。啟用動(dòng)態(tài)字段后,所有未在Schema中預(yù)先定義的字段及其值都將作為鍵值對(duì)存儲(chǔ)在動(dòng)態(tài)字段中,提供了更大的數(shù)據(jù)結(jié)構(gòu)靈活性。

# 啟用動(dòng)態(tài)字段功能(需要Milvus 2.3+版本)
schema = CollectionSchema(
    fields,
    enable_dynamic_field=True
)

動(dòng)態(tài)字段應(yīng)用案例

假設(shè)Collection的Schema只定義了兩個(gè)字段:id和vector,但啟用了動(dòng)態(tài)字段功能。在向Collection中插入以下數(shù)據(jù)時(shí):

[
    {
        "id": 0, 
        "vector": [0.3580376395471989, -0.6023495712049978, 0.18414012509913835, -0.26286205330961354, 0.9029438446296592], 
        "color": "pink_8682"
    },
    {
        "id": 7, 
        "vector": [-0.33445148015177995, -0.2567135004164067, 0.8987539745369246, 0.9402995886420709, 0.5378064981413052], 
        "color": "grey_8510"
    },
    {
        "id": 8, 
        "vector": [0.39524717779832685, 0.4000257286739164, -0.5890507376891594, -0.8650502298996872, -0.61403607085406336], 
        "color": "white_9381"
    },
    {
        "id": 9, 
        "vector": [0.5718280481994965, 0.24070317428066512, -0.3737913482606834, -0.06726932177492717, -0.6980531615588608], 
        "color": "purple_4976"
    }
]

由于Collection啟用了動(dòng)態(tài)字段功能,雖然Schema中沒(méi)有定義color字段,但該字段將自動(dòng)作為鍵值對(duì)存儲(chǔ)在動(dòng)態(tài)字段中,無(wú)需修改Schema結(jié)構(gòu)。

Schema類型選擇指南

類型特點(diǎn)適用場(chǎng)景
靜態(tài)Schema嚴(yán)格的字段定義,數(shù)據(jù)結(jié)構(gòu)固定用戶畫(huà)像、商品信息等結(jié)構(gòu)穩(wěn)定的業(yè)務(wù)場(chǎng)景
動(dòng)態(tài)Schema允許靈活的字段擴(kuò)展(需Milvus 2.3+)日志分析、多源數(shù)據(jù)整合等數(shù)據(jù)結(jié)構(gòu)多變的場(chǎng)景

總結(jié)

本章詳細(xì)介紹了Python與Milvus向量數(shù)據(jù)庫(kù)的整合方法,涵蓋了從環(huán)境搭建、連接管理到Collection創(chuàng)建的完整流程。通過(guò)掌握這些基礎(chǔ)操作,開(kāi)發(fā)者可以構(gòu)建穩(wěn)定可靠的向量數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)。在實(shí)際項(xiàng)目中,建議根據(jù)業(yè)務(wù)需求選擇合適的Schema類型,并合理配置分片參數(shù)以優(yōu)化系統(tǒng)性能。

以上就是Python整合Milvus向量數(shù)據(jù)庫(kù)的實(shí)戰(zhàn)指南的詳細(xì)內(nèi)容,更多關(guān)于Python整合Milvus向量數(shù)據(jù)庫(kù)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Python數(shù)組條件過(guò)濾filter函數(shù)使用示例

    Python數(shù)組條件過(guò)濾filter函數(shù)使用示例

    數(shù)組條件過(guò)濾簡(jiǎn)潔實(shí)現(xiàn)方式,使用filter函數(shù),實(shí)現(xiàn)一個(gè)條件判斷函數(shù)即可,示例代碼如下
    2014-07-07
  • Python?pomegranate庫(kù)實(shí)現(xiàn)基于貝葉斯網(wǎng)絡(luò)拼寫(xiě)檢查器

    Python?pomegranate庫(kù)實(shí)現(xiàn)基于貝葉斯網(wǎng)絡(luò)拼寫(xiě)檢查器

    這篇文章主要為大家介紹了Python?pomegranate庫(kù)實(shí)現(xiàn)基于貝葉斯網(wǎng)絡(luò)拼寫(xiě)檢查器示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪<BR>
    2023-04-04
  • python中yield的用法詳解

    python中yield的用法詳解

    這篇文章主要介紹了python中yield的用法詳解,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-01-01
  • python正則表達(dá)式爬取貓眼電影top100

    python正則表達(dá)式爬取貓眼電影top100

    這篇文章主要為大家詳細(xì)介紹了python正則表達(dá)式爬取貓眼電影top100,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-02-02
  • python中sets模塊的用法實(shí)例

    python中sets模塊的用法實(shí)例

    這篇文章主要介紹了python中sets模塊的用法實(shí)例,該模塊用來(lái)處理集合類型的數(shù)據(jù),在這個(gè)模塊中提供了兩個(gè)集合類:Set(可變集合)和ImmurableSet(不可變集合),本文實(shí)例主要分析了Set(可變集合)的用法,需要的朋友可以參考下
    2014-09-09
  • JAVA及PYTHON質(zhì)數(shù)計(jì)算代碼對(duì)比解析

    JAVA及PYTHON質(zhì)數(shù)計(jì)算代碼對(duì)比解析

    這篇文章主要介紹了JAVA及PYTHON質(zhì)數(shù)計(jì)算代碼對(duì)比,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-06-06
  • Python讀取指定目錄下指定后綴文件并保存為docx

    Python讀取指定目錄下指定后綴文件并保存為docx

    這篇文章主要介紹了Python讀取指定目錄下指定后綴文件并保存為docx,需要的朋友可以參考下
    2017-04-04
  • Python文件處理

    Python文件處理

    這篇文章主要介紹了Python文件處理的相關(guān)資料,需要的朋友可以參考下
    2016-02-02
  • django inspectdb 操作已有數(shù)據(jù)庫(kù)數(shù)據(jù)的使用步驟

    django inspectdb 操作已有數(shù)據(jù)庫(kù)數(shù)據(jù)的使用步驟

    這篇文章主要介紹了django inspectdb 操作已有數(shù)據(jù)庫(kù)數(shù)據(jù)的使用步驟,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-02-02
  • baselines示例程序train_cartpole.py的ImportError

    baselines示例程序train_cartpole.py的ImportError

    這篇文章主要為大家介紹了baselines示例程序train_cartpole.py的ImportError引入錯(cuò)誤詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-05-05

最新評(píng)論