欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Docker安裝分布式vLLM的實(shí)現(xiàn)步驟

 更新時(shí)間:2025年03月10日 11:40:34   作者:MasonYyp  
本文主要介紹了Docker使用vLLM庫(kù)進(jìn)行分布式推理和服務(wù)部署,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

1 介紹

vLLM是一個(gè)快速且易于使用的LLM推理和服務(wù)庫(kù),適合用于生產(chǎn)環(huán)境。單主機(jī)部署會(huì)遇到顯存不足的問(wèn)題,因此需要分布式部署。

分布式安裝方法

https://docs.vllm.ai/en/latest/serving/distributed_serving.html

2 安裝方法

?? 注意:前期一定要把docker環(huán)境、運(yùn)行時(shí)和GPU安裝好。

CUDA Version: 12.4

vllm:v0.7.2

2.1 下載鏡像

# 下載鏡像,鏡像比較大
docker pull vllm/vllm-openai:v0.7.2

下載分布式部署的腳本

https://github.com/vllm-project/vllm/blob/main/examples/online_serving/run_cluster.sh

run_cluster.sh文件

#!/bin/bash

# Check for minimum number of required arguments
if [ $# -lt 4 ]; then
    echo "Usage: $0 docker_image head_node_address --head|--worker path_to_hf_home [additional_args...]"
    exit 1
fi

# Assign the first three arguments and shift them away
DOCKER_IMAGE="$1"
HEAD_NODE_ADDRESS="$2"
NODE_TYPE="$3"  # Should be --head or --worker
PATH_TO_HF_HOME="$4"
shift 4

# Additional arguments are passed directly to the Docker command
ADDITIONAL_ARGS=("$@")

# Validate node type
if [ "${NODE_TYPE}" != "--head" ] && [ "${NODE_TYPE}" != "--worker" ]; then
    echo "Error: Node type must be --head or --worker"
    exit 1
fi

# Define a function to cleanup on EXIT signal
cleanup() {
    docker stop node
    docker rm node
}
trap cleanup EXIT

# Command setup for head or worker node
RAY_START_CMD="ray start --block"
if [ "${NODE_TYPE}" == "--head" ]; then
    RAY_START_CMD+=" --head --port=6379"
else
    RAY_START_CMD+=" --address=${HEAD_NODE_ADDRESS}:6379"
fi

# Run the docker command with the user specified parameters and additional arguments
docker run \
    --entrypoint /bin/bash \
    --network host \
    --name node \
    --shm-size 10.24g \
    --gpus all \
    -v "${PATH_TO_HF_HOME}:/root/.cache/huggingface" \
    "${ADDITIONAL_ARGS[@]}" \
    "${DOCKER_IMAGE}" -c "${RAY_START_CMD}"

2.2 創(chuàng)建容器

兩臺(tái)主機(jī)的IP如下,主節(jié)點(diǎn)宿主機(jī)IP:192.168.108.100,工作節(jié)點(diǎn)宿主機(jī)IP:192.168.108.101。

主節(jié)點(diǎn)(head節(jié)點(diǎn))運(yùn)行分布式vLLM腳本

官網(wǎng)的說(shuō)明

# ip_of_head_node:主節(jié)點(diǎn)容器所在宿主機(jī)的IP地址
# /path/to/the/huggingface/home/in/this/node: 映射到到容器中的路徑
# ip_of_this_node:當(dāng)前節(jié)點(diǎn)所在宿主機(jī)的IP地址
# --head:表示主節(jié)點(diǎn)
bash run_cluster.sh \
                vllm/vllm-openai \
                ip_of_head_node \
                --head \
                /path/to/the/huggingface/home/in/this/node \
                -e VLLM_HOST_IP=ip_of_this_node

本機(jī)執(zhí)行

bash run_cluster.sh \
    vllm/vllm-openai:v0.7.2 \
    192.168.108.100 \
    --head \
    /home/vllm \
    -e VLLM_HOST_IP=192.168.108.100 \
    > nohup.log 2>&1 &

工作節(jié)點(diǎn)(worker節(jié)點(diǎn))運(yùn)行分布式vLLM腳本

官網(wǎng)的說(shuō)明

# ip_of_head_node:主節(jié)點(diǎn)容器所在宿主機(jī)的IP地址
# /path/to/the/huggingface/home/in/this/node: 映射到到容器中的路徑
# ip_of_this_node:當(dāng)前節(jié)點(diǎn)所在宿主機(jī)的IP地址
# --worker:表示工作節(jié)點(diǎn)
bash run_cluster.sh \
                vllm/vllm-openai \
                ip_of_head_node \
                --worker \
                /path/to/the/huggingface/home/in/this/node \
                -e VLLM_HOST_IP=ip_of_this_node

本機(jī)執(zhí)行

bash run_cluster.sh \
    vllm/vllm-openai:v0.7.2 \
    192.168.108.100 \
    --worker \
    /home/vllm \
    -e VLLM_HOST_IP192.168.108.101 \
    > nohup.log 2>&1 &

查看集群的信息

# 進(jìn)入容器
docker exec -it node /bin/bash

# 查看集群信息
ray status
# 返回值中有GPU數(shù)量、CPU配置和內(nèi)存大小等
======== Autoscaler status: 2025-02-13 20:18:13.886242 ========
Node status
---------------------------------------------------------------
Active:
 1 node_89c804d654976b3c606850c461e8dc5c6366de5e0ccdb360fcaa1b1c
 1 node_4b794efd101bc393da41f0a45bd72eeb3fb78e8e507d72b5fdfb4c1b
Pending:
 (no pending nodes)
Recent failures:
 (no failures)

Resources
---------------------------------------------------------------
Usage:
 0.0/128.0 CPU
 0.0/4.0 GPU
 0B/20 GiB memory
 0B/19.46GiB object_store_memory

Demands:
 (no resource demands)

3 安裝模型

?? 本地有4張GPU卡。

官網(wǎng)說(shuō)明

# 啟動(dòng)模型服務(wù),可根據(jù)情況設(shè)置模型參數(shù)
# /path/to/the/model/in/the/container:模型路徑
# tensor-parallel-size:張量并行數(shù)量,模型層內(nèi)拆分后并行計(jì)算;
# pipeline-parallel-size:管道并行數(shù)量,模型不同層拆分后并行計(jì)算,在單個(gè)顯存不夠時(shí)可以設(shè)置此參數(shù)
vllm serve /path/to/the/model/in/the/container \
     --tensor-parallel-size 8 \
     --pipeline-parallel-size 2

本機(jī)執(zhí)行

將下載好的Qwen2.5-7B-Instruct模型,放在“/home/vllm”目錄下

# 進(jìn)入節(jié)點(diǎn),主節(jié)點(diǎn)和工作節(jié)點(diǎn)都可以
docker exec -it node /bin/bash

# 執(zhí)行命令參數(shù)
nohup vllm serve /root/.cache/huggingface/Qwen2.5-7B-Instruct \
    --served-model-name qwen2.5-7b \
    --tensor-parallel-size 2 \
    --pipeline-parallel-size 2 \
    > nohup.log 2>&1 &

在宿主機(jī)上調(diào)用參數(shù)

curl http://localhost:8000/v1/chat/completions \
-X POST \
-H "Content-Type: application/json" \
-d '{
    "model": "qwen2.5-7b",
    "messages": [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "介紹一下中國(guó),不少于10000字"}
    ],
    "stream": true
}'

 到此這篇關(guān)于Docker安裝分布式vLLM的實(shí)現(xiàn)步驟的文章就介紹到這了,更多相關(guān)Docker安裝分布式vLLM內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 分享Ubuntu19無(wú)法安裝docker源問(wèn)題

    分享Ubuntu19無(wú)法安裝docker源問(wèn)題

    這篇文章主要介紹了Ubuntu19無(wú)法安裝docker源問(wèn)題,本文通過(guò)實(shí)例代碼給大家講解的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-11-11
  • docker容器連接宿主機(jī)redis與mysql的配置方法

    docker容器連接宿主機(jī)redis與mysql的配置方法

    最近有朋友在工作時(shí)遇到一個(gè)問(wèn)題,docker容器無(wú)法訪問(wèn)宿主機(jī)的redis,所以這里給大家總結(jié)下,這篇文章主要給大家介紹了關(guān)于docker容器連接宿主機(jī)redis與mysql的配置方法,需要的朋友可以參考下
    2023-06-06
  • windows下安裝docker的教程詳解

    windows下安裝docker的教程詳解

    這篇文章主要介紹了windows安裝docker的教程,本文圖文并茂給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-11-11
  • docker常用命令匯總

    docker常用命令匯總

    這篇文章主要介紹了docker常用命令匯總,都是一些常用的基本命令,有需要的同學(xué)可以嘗試學(xué)習(xí)下
    2020-12-12
  • 如何用docker部署kafka

    如何用docker部署kafka

    本文詳細(xì)介紹了使用Docker快速搭建Kafka集群的步驟,包括選用wurstmeister/kafka鏡像、配置文件修改、集群?jiǎn)?dòng)與管理,適合需要在Docker環(huán)境中部署Kafka的開(kāi)發(fā)者參考
    2024-09-09
  • Docker部署web項(xiàng)目的實(shí)現(xiàn)

    Docker部署web項(xiàng)目的實(shí)現(xiàn)

    這篇文章主要介紹了Docker部署web項(xiàng)目的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-10-10
  • Docker容器進(jìn)行健康檢查的三種方式

    Docker容器進(jìn)行健康檢查的三種方式

    這篇文章主要介紹了如何對(duì)Docker容器進(jìn)行健康檢查,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2023-06-06
  • kali安裝docker和portainer的配置方法

    kali安裝docker和portainer的配置方法

    docker的出現(xiàn)給很多服務(wù)提供了方便,許多arm結(jié)構(gòu)的硬件也能運(yùn)行x86服務(wù),今天給大家介紹kali安裝docker和portainer的配置方法,感興趣的朋友一起看看吧
    2021-06-06
  • AntDesign?Docker部署詳細(xì)流程

    AntDesign?Docker部署詳細(xì)流程

    這篇文章主要為大家介紹了AntDesign?Docker部署流程詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-11-11
  • docker容器中切換用戶,提示權(quán)限不足的解決

    docker容器中切換用戶,提示權(quán)限不足的解決

    這篇文章主要介紹了docker容器中切換用戶,提示權(quán)限不足的解決,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-11-11

最新評(píng)論