欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Docker安裝分布式vLLM的實現(xiàn)步驟

 更新時間:2025年03月10日 11:40:34   作者:MasonYyp  
本文主要介紹了Docker使用vLLM庫進行分布式推理和服務(wù)部署,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

1 介紹

vLLM是一個快速且易于使用的LLM推理和服務(wù)庫,適合用于生產(chǎn)環(huán)境。單主機部署會遇到顯存不足的問題,因此需要分布式部署。

分布式安裝方法

https://docs.vllm.ai/en/latest/serving/distributed_serving.html

2 安裝方法

?? 注意:前期一定要把docker環(huán)境、運行時和GPU安裝好。

CUDA Version: 12.4

vllm:v0.7.2

2.1 下載鏡像

# 下載鏡像,鏡像比較大
docker pull vllm/vllm-openai:v0.7.2

下載分布式部署的腳本

https://github.com/vllm-project/vllm/blob/main/examples/online_serving/run_cluster.sh

run_cluster.sh文件

#!/bin/bash

# Check for minimum number of required arguments
if [ $# -lt 4 ]; then
    echo "Usage: $0 docker_image head_node_address --head|--worker path_to_hf_home [additional_args...]"
    exit 1
fi

# Assign the first three arguments and shift them away
DOCKER_IMAGE="$1"
HEAD_NODE_ADDRESS="$2"
NODE_TYPE="$3"  # Should be --head or --worker
PATH_TO_HF_HOME="$4"
shift 4

# Additional arguments are passed directly to the Docker command
ADDITIONAL_ARGS=("$@")

# Validate node type
if [ "${NODE_TYPE}" != "--head" ] && [ "${NODE_TYPE}" != "--worker" ]; then
    echo "Error: Node type must be --head or --worker"
    exit 1
fi

# Define a function to cleanup on EXIT signal
cleanup() {
    docker stop node
    docker rm node
}
trap cleanup EXIT

# Command setup for head or worker node
RAY_START_CMD="ray start --block"
if [ "${NODE_TYPE}" == "--head" ]; then
    RAY_START_CMD+=" --head --port=6379"
else
    RAY_START_CMD+=" --address=${HEAD_NODE_ADDRESS}:6379"
fi

# Run the docker command with the user specified parameters and additional arguments
docker run \
    --entrypoint /bin/bash \
    --network host \
    --name node \
    --shm-size 10.24g \
    --gpus all \
    -v "${PATH_TO_HF_HOME}:/root/.cache/huggingface" \
    "${ADDITIONAL_ARGS[@]}" \
    "${DOCKER_IMAGE}" -c "${RAY_START_CMD}"

2.2 創(chuàng)建容器

兩臺主機的IP如下,主節(jié)點宿主機IP:192.168.108.100,工作節(jié)點宿主機IP:192.168.108.101。

主節(jié)點(head節(jié)點)運行分布式vLLM腳本

官網(wǎng)的說明

# ip_of_head_node:主節(jié)點容器所在宿主機的IP地址
# /path/to/the/huggingface/home/in/this/node: 映射到到容器中的路徑
# ip_of_this_node:當(dāng)前節(jié)點所在宿主機的IP地址
# --head:表示主節(jié)點
bash run_cluster.sh \
                vllm/vllm-openai \
                ip_of_head_node \
                --head \
                /path/to/the/huggingface/home/in/this/node \
                -e VLLM_HOST_IP=ip_of_this_node

本機執(zhí)行

bash run_cluster.sh \
    vllm/vllm-openai:v0.7.2 \
    192.168.108.100 \
    --head \
    /home/vllm \
    -e VLLM_HOST_IP=192.168.108.100 \
    > nohup.log 2>&1 &

工作節(jié)點(worker節(jié)點)運行分布式vLLM腳本

官網(wǎng)的說明

# ip_of_head_node:主節(jié)點容器所在宿主機的IP地址
# /path/to/the/huggingface/home/in/this/node: 映射到到容器中的路徑
# ip_of_this_node:當(dāng)前節(jié)點所在宿主機的IP地址
# --worker:表示工作節(jié)點
bash run_cluster.sh \
                vllm/vllm-openai \
                ip_of_head_node \
                --worker \
                /path/to/the/huggingface/home/in/this/node \
                -e VLLM_HOST_IP=ip_of_this_node

本機執(zhí)行

bash run_cluster.sh \
    vllm/vllm-openai:v0.7.2 \
    192.168.108.100 \
    --worker \
    /home/vllm \
    -e VLLM_HOST_IP192.168.108.101 \
    > nohup.log 2>&1 &

查看集群的信息

# 進入容器
docker exec -it node /bin/bash

# 查看集群信息
ray status
# 返回值中有GPU數(shù)量、CPU配置和內(nèi)存大小等
======== Autoscaler status: 2025-02-13 20:18:13.886242 ========
Node status
---------------------------------------------------------------
Active:
 1 node_89c804d654976b3c606850c461e8dc5c6366de5e0ccdb360fcaa1b1c
 1 node_4b794efd101bc393da41f0a45bd72eeb3fb78e8e507d72b5fdfb4c1b
Pending:
 (no pending nodes)
Recent failures:
 (no failures)

Resources
---------------------------------------------------------------
Usage:
 0.0/128.0 CPU
 0.0/4.0 GPU
 0B/20 GiB memory
 0B/19.46GiB object_store_memory

Demands:
 (no resource demands)

3 安裝模型

?? 本地有4張GPU卡。

官網(wǎng)說明

# 啟動模型服務(wù),可根據(jù)情況設(shè)置模型參數(shù)
# /path/to/the/model/in/the/container:模型路徑
# tensor-parallel-size:張量并行數(shù)量,模型層內(nèi)拆分后并行計算;
# pipeline-parallel-size:管道并行數(shù)量,模型不同層拆分后并行計算,在單個顯存不夠時可以設(shè)置此參數(shù)
vllm serve /path/to/the/model/in/the/container \
     --tensor-parallel-size 8 \
     --pipeline-parallel-size 2

本機執(zhí)行

將下載好的Qwen2.5-7B-Instruct模型,放在“/home/vllm”目錄下

# 進入節(jié)點,主節(jié)點和工作節(jié)點都可以
docker exec -it node /bin/bash

# 執(zhí)行命令參數(shù)
nohup vllm serve /root/.cache/huggingface/Qwen2.5-7B-Instruct \
    --served-model-name qwen2.5-7b \
    --tensor-parallel-size 2 \
    --pipeline-parallel-size 2 \
    > nohup.log 2>&1 &

在宿主機上調(diào)用參數(shù)

curl http://localhost:8000/v1/chat/completions \
-X POST \
-H "Content-Type: application/json" \
-d '{
    "model": "qwen2.5-7b",
    "messages": [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "介紹一下中國,不少于10000字"}
    ],
    "stream": true
}'

 到此這篇關(guān)于Docker安裝分布式vLLM的實現(xiàn)步驟的文章就介紹到這了,更多相關(guān)Docker安裝分布式vLLM內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 分享Ubuntu19無法安裝docker源問題

    分享Ubuntu19無法安裝docker源問題

    這篇文章主要介紹了Ubuntu19無法安裝docker源問題,本文通過實例代碼給大家講解的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-11-11
  • docker容器連接宿主機redis與mysql的配置方法

    docker容器連接宿主機redis與mysql的配置方法

    最近有朋友在工作時遇到一個問題,docker容器無法訪問宿主機的redis,所以這里給大家總結(jié)下,這篇文章主要給大家介紹了關(guān)于docker容器連接宿主機redis與mysql的配置方法,需要的朋友可以參考下
    2023-06-06
  • windows下安裝docker的教程詳解

    windows下安裝docker的教程詳解

    這篇文章主要介紹了windows安裝docker的教程,本文圖文并茂給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下
    2019-11-11
  • docker常用命令匯總

    docker常用命令匯總

    這篇文章主要介紹了docker常用命令匯總,都是一些常用的基本命令,有需要的同學(xué)可以嘗試學(xué)習(xí)下
    2020-12-12
  • 如何用docker部署kafka

    如何用docker部署kafka

    本文詳細(xì)介紹了使用Docker快速搭建Kafka集群的步驟,包括選用wurstmeister/kafka鏡像、配置文件修改、集群啟動與管理,適合需要在Docker環(huán)境中部署Kafka的開發(fā)者參考
    2024-09-09
  • Docker部署web項目的實現(xiàn)

    Docker部署web項目的實現(xiàn)

    這篇文章主要介紹了Docker部署web項目的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-10-10
  • Docker容器進行健康檢查的三種方式

    Docker容器進行健康檢查的三種方式

    這篇文章主要介紹了如何對Docker容器進行健康檢查,本文通過實例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-06-06
  • kali安裝docker和portainer的配置方法

    kali安裝docker和portainer的配置方法

    docker的出現(xiàn)給很多服務(wù)提供了方便,許多arm結(jié)構(gòu)的硬件也能運行x86服務(wù),今天給大家介紹kali安裝docker和portainer的配置方法,感興趣的朋友一起看看吧
    2021-06-06
  • AntDesign?Docker部署詳細(xì)流程

    AntDesign?Docker部署詳細(xì)流程

    這篇文章主要為大家介紹了AntDesign?Docker部署流程詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2023-11-11
  • docker容器中切換用戶,提示權(quán)限不足的解決

    docker容器中切換用戶,提示權(quán)限不足的解決

    這篇文章主要介紹了docker容器中切換用戶,提示權(quán)限不足的解決,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-11-11

最新評論