快捷導航

Python中CLIP多模態(tài)模型的庫的實現(xiàn)

更新時間：2025年04月28日 10:52:45 作者：彬彬俠

CLIP模型是OpenAI開發(fā)的一種語言和圖像多模態(tài)表示方法,本文主要介紹了Python中CLIP多模態(tài)模型的庫的實現(xiàn),具有一定的參考價值,感興趣的可以了解一下

1. 安裝 OpenAI 官方 CLIP

pip install git+https://github.com/openai/CLIP.git

依賴：torch、numpy, PIL

2. 快速使用示例

import clip
import torch
from PIL import Image

# 加載模型和預(yù)處理方法
device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

# 加載圖像并預(yù)處理
image = preprocess(Image.open("cat.jpg")).unsqueeze(0).to(device)

# 編寫文本描述
text = clip.tokenize(["a photo of a cat", "a photo of a dog"]).to(device)

# 提取特征并計算相似度
with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probabilities:", probs)

3. 模型選項

支持的模型有：

"ViT-B/32"：最快，最常用
"ViT-B/16"：更大更準
"RN50"、"RN101"：基于 ResNet

4. 文本編碼

text = ["a photo of a banana", "a dog", "a car"]
tokens = clip.tokenize(text).to(device)

with torch.no_grad():
    text_features = model.encode_text(tokens)

5. 圖像編碼

from PIL import Image

image = Image.open("example.jpg")
image_input = preprocess(image).unsqueeze(0).to(device)

with torch.no_grad():
    image_features = model.encode_image(image_input)

6. 相似度比較

import torch.nn.functional as F

# 余弦相似度
similarity = F.cosine_similarity(image_features, text_features)
print(similarity)

7. 零樣本圖像分類

labels = ["a dog", "a cat", "a car"]
text_inputs = clip.tokenize([f"a photo of {label}" for label in labels]).to(device)

with torch.no_grad():
    text_features = model.encode_text(text_inputs)
    image_features = model.encode_image(image)

# 歸一化
image_features /= image_features.norm(dim=-1, keepdim=True)
text_features /= text_features.norm(dim=-1, keepdim=True)

# 相似度得分
logits = (image_features @ text_features.T)
pred = logits.argmax().item()

print(f"Predicted label: {labels[pred]}")

8. 與其他庫對比

特性	CLIP	BLIP / Flamingo	BERT / GPT
圖文對齊	是	是	否
多模態(tài)能力	強（圖像 + 文本）	更強（支持生成）	弱
零樣本能力	強	強	無
適合任務(wù)	圖文檢索、匹配、分類	生成描述、問答、VQA	語言任務(wù)

9. 更強大：open_clip

open_clip 是社區(qū)支持的更強版本，支持更多預(yù)訓練模型（如 LAION 提供的）：

pip install open_clip_torch

import open_clip

model, preprocess, tokenizer = open_clip.create_model_and_transforms('ViT-B-32', pretrained='laion2b_s34b_b79k')

10. 總結(jié)

功能	方法
加載模型	`clip.load()`
文本編碼	`model.encode_text()`
圖像編碼	`model.encode_image()`
圖文相似度	`model(image, text)` 或余弦相似度
圖像分類（零樣本）	文本描述嵌入后選最大相似度
支持模型	`"ViT-B/32"`, `"ViT-B/16"` 等