快捷導(dǎo)航

華為昇騰920b服務(wù)器部署DeepSeek翻車現(xiàn)場(chǎng)演示

更新時(shí)間：2025年02月19日 16:20:48 作者：是小V呀

文章描述了在華為Kunpeng9205250服務(wù)器上部署DeepSeek模型的全過(guò)程,包括配置調(diào)整、使用ollama和nohupollama運(yùn)行模型、嘗試容器部署以及最終成功部署的步驟,過(guò)程中遇到了硬件兼容性、驅(qū)動(dòng)下載、鏡像獲取權(quán)限等問(wèn)題,并總結(jié)了解決方案,感興趣的朋友一起看看吧

硬件配置信息

基本硬件信息

按照慣例先來(lái)看看配置。一共3塊盤，500G的系統(tǒng)盤，+ 2塊3T固態(tài)，后面把固態(tài)硬盤也組合成了邏輯卷

內(nèi)存是1.5T的，比我電腦硬盤都大

[root@localhost ~]# lsblk
NAME                    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda                       8:0    0 446.6G  0 disk 
├─sda1                    8:1    0   600M  0 part /boot/efi
├─sda2                    8:2    0     1G  0 part /boot
└─sda3                    8:3    0   445G  0 part 
  ├─openeuler-root      253:0    0    70G  0 lvm  /
  ├─openeuler-swap      253:1    0     4G  0 lvm  [SWAP]
  └─openeuler-home      253:2    0   371G  0 lvm  /home
nvme1n1                 259:0    0   2.9T  0 disk 
└─nvme1n1p1             259:4    0   2.9T  0 part 
  └─vg_data01-lv_data01 253:3    0   5.8T  0 lvm  /data
nvme0n1                 259:1    0   2.9T  0 disk 
└─nvme0n1p1             259:3    0   2.9T  0 part 
  └─vg_data01-lv_data01 253:3    0   5.8T  0 lvm  /data
[root@localhost ~]# df -Th | awk '$2 !~ /overlay/ && $2 !~ /tmpfs/'
文件系統(tǒng)                        類型      容量  已用  可用 已用% 掛載點(diǎn)
/dev/mapper/openeuler-root      ext4       69G   45G   21G   69% /
/dev/sda2                       ext4      974M   72M  835M    8% /boot
/dev/sda1                       vfat      599M  5.8M  594M    1% /boot/efi
/dev/mapper/openeuler-home      ext4      365G  4.6G  342G    2% /home
/dev/mapper/vg_data01-lv_data01 ext4      5.8T  4.3T  1.3T   78% /data

[root@localhost ~]# cat /etc/os-release 
NAME="openEuler"
VERSION="22.03 LTS"
ID="openEuler"
VERSION_ID="22.03"
PRETTY_NAME="openEuler 22.03 LTS"
ANSI_COLOR="0;31"
[root@localhost ~]# uname -a
Linux localhost.localdomain 5.10.0-60.18.0.50.oe2203.aarch64 #1 SMP Wed Mar 30 02:43:08 UTC 2022 aarch64 aarch64 aarch64 GNU/Linux
[root@localhost ~]# lscpu
架構(gòu)：               aarch64
  CPU 運(yùn)行模式：     64-bit
  字節(jié)序：           Little Endian
CPU:                 192
  在線 CPU 列表：    0-191
廠商 ID：            HiSilicon
  BIOS Vendor ID:    HiSilicon
  型號(hào)名稱：         Kunpeng-920
    BIOS Model name: HUAWEI Kunpeng 920 5250
    型號(hào)：           0
    每個(gè)核的線程數(shù)： 1
    每個(gè)座的核數(shù)：   48
    座：             4
    步進(jìn)：           0x1
    Frequency boost: disabled
    CPU 最大 MHz：   2600.0000
    CPU 最小 MHz：   200.0000
    BogoMIPS：       200.00
    標(biāo)記：           fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm ssbs
Caches (sum of all): 
  L1d:               12 MiB (192 instances)
  L1i:               12 MiB (192 instances)
  L2:                96 MiB (192 instances)
  L3:                192 MiB (8 instances)
NUMA:                
  NUMA 節(jié)點(diǎn)：        8
  NUMA 節(jié)點(diǎn)0 CPU：   0-23
  NUMA 節(jié)點(diǎn)1 CPU：   24-47
  NUMA 節(jié)點(diǎn)2 CPU：   48-71
  NUMA 節(jié)點(diǎn)3 CPU：   72-95
  NUMA 節(jié)點(diǎn)4 CPU：   96-119
  NUMA 節(jié)點(diǎn)5 CPU：   120-143
  NUMA 節(jié)點(diǎn)6 CPU：   144-167
  NUMA 節(jié)點(diǎn)7 CPU：   168-191
Vulnerabilities:     
  Itlb multihit:     Not affected
  L1tf:              Not affected
  Mds:               Not affected
  Meltdown:          Not affected
  Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
  Spectre v1:        Mitigation; __user pointer sanitization
  Spectre v2:        Not affected
  Srbds:             Not affected
  Tsx async abort:   Not affected
[root@localhost ~]# free -h
               total        used        free      shared  buff/cache   available
Mem:           1.5Ti        12Gi        26Gi        20Mi       1.4Ti       1.5Ti
Swap:          4.0Gi        12Mi       4.0Gi

NPU/GPU信息

由于沒有部署任何AI、模型，所以空載著

[root@localhost ~]# npu-smi info
+------------------------------------------------------------------------------------------------+
| npu-smi 24.1.rc1                 Version: 24.1.rc1                                             |
+---------------------------+---------------+----------------------------------------------------+
| NPU   Name                | Health        | Power(W)    Temp(C)           Hugepages-Usage(page)|
| Chip                      | Bus-Id        | AICore(%)   Memory-Usage(MB)  HBM-Usage(MB)        |
+===========================+===============+====================================================+
| 0     910B3               | OK            | 89.7        35                0    / 0             |
| 0                         | 0000:C1:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 1     910B3               | OK            | 88.6        38                0    / 0             |
| 0                         | 0000:C2:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 2     910B3               | OK            | 91.8        36                0    / 0             |
| 0                         | 0000:81:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 3     910B3               | OK            | 87.2        36                0    / 0             |
| 0                         | 0000:82:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 4     910B3               | OK            | 88.8        41                0    / 0             |
| 0                         | 0000:01:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 5     910B3               | OK            | 95.7        44                0    / 0             |
| 0                         | 0000:02:00.0  | 0           0    / 0          3159 / 65536         |
+===========================+===============+====================================================+
| 6     910B3               | OK            | 93.5        39                0    / 0             |
| 0                         | 0000:41:00.0  | 0           0    / 0          3160 / 65536         |
+===========================+===============+====================================================+
| 7     910B3               | OK            | 89.2        40                0    / 0             |
| 0                         | 0000:42:00.0  | 0           0    / 0          3160 / 65536         |
+===========================+===============+====================================================+
+---------------------------+---------------+----------------------------------------------------+
| NPU     Chip              | Process id    | Process name             | Process memory(MB)      |
+===========================+===============+====================================================+
| No running processes found in NPU 0                                                            |
+===========================+===============+====================================================+
| No running processes found in NPU 1                                                            |
+===========================+===============+====================================================+
| No running processes found in NPU 2                                                            |
+===========================+===============+====================================================+

開始部署DeepSeek

ollama方法

根據(jù)網(wǎng)上資料看，只要用ollama部署就行，后面發(fā)現(xiàn)這個(gè)行不通。因?yàn)閛llama只適配了英偉達(dá)的GPU，像華為的根本就行不通啊，

ollama的安裝腳本也是去下載英偉達(dá)的驅(qū)動(dòng)，結(jié)果就是下載失敗，就算下載成功了也不能安裝上去

https://zhuanlan.zhihu.com/p/22081569918

0

最后折騰了很久

使用 nohup ollama run

部署一個(gè)1.5B的試試，發(fā)現(xiàn)可以運(yùn)行了。但是總覺得不對(duì)境?；卮饐?wèn)題太慢了，用時(shí)3分鐘。CPU使用率也是狂飆。NPU是一點(diǎn)沒有使上勁啊

ollama run deepseek-r1:1.5b

容器部署方法

最后決定下載權(quán)重+容器部署。結(jié)果這里就有遇到了坑點(diǎn)

需要用到git lfs 工具和華為的鏡像。因?yàn)檫@是ARM服務(wù)器，所有g(shù)it lfs命令也很難找，歐拉的yum源還沒有提供，最后翻來(lái)覆去在github最新的V3.6.1找到了。使用二進(jìn)制命令接安裝腳本既可以實(shí)現(xiàn)。這樣就能通過(guò)git install ，git push 去拉取近1TB的權(quán)重了

https://github.com/git-lfs/git-lfs/releases

再說(shuō)說(shuō)這個(gè)華為的鏡像吧，不得不吐槽。華為這是把鏡像當(dāng)寶貝供著嗎，下載還需要申請(qǐng)權(quán)限，不是一般人還申請(qǐng)不下來(lái)。還好我們這里條件都滿足

晚上提交的申請(qǐng)，第二天早上就通過(guò)了

最后參照了好幾個(gè)教程，不是啟動(dòng)失敗，就吃出現(xiàn)權(quán)限拒絕，服了

華為服務(wù)器社區(qū)：https://www.hiascend.com/software/modelzoo/models/detail/68457b8a51324310aad9a0f55c3e56e3

天翼云社區(qū)： https://www.ctyun.cn/document/10027724/10944583

部署R1模型提示不兼容…

天翼云社區(qū)： https://www.ctyun.cn/document/10027724/10944583

部署R1模型提示不兼容…

到此這篇關(guān)于華為昇騰920b服務(wù)器部署DeepSeek翻車現(xiàn)場(chǎng)演示的文章就介紹到這了,更多相關(guān)昇騰920b服務(wù)器部署DeepSeek內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: