正文

首先先拋出一個(gè)問題，是不是所有的文本生成數(shù)據(jù)集都適合用chatglm 6B的模型進(jìn)行微調(diào)。那我們今天找到了三個(gè)數(shù)據(jù)集，分別為百科數(shù)據(jù)集、法律問答數(shù)據(jù)集、論文題目與摘要數(shù)據(jù)集、專利名稱與專利摘要數(shù)據(jù)集。

官方廣告數(shù)據(jù)集結(jié)構(gòu)

官方的廣告數(shù)據(jù)集是如下結(jié)構(gòu)的

{
    "content": "類型#上衣*版型#寬松*版型#顯瘦*圖案#線條*衣樣式#襯衫*衣袖型#泡泡袖*衣款式#抽繩",
    "summary": "這件襯衫的款式非常的寬松，利落的線條可以很好的隱藏身材上的小缺點(diǎn)，穿在身上有著很好的顯瘦效果。領(lǐng)口裝飾了一個(gè)可愛的抽繩，漂亮的繩結(jié)展現(xiàn)出了十足的個(gè)性，配合時(shí)尚的泡泡袖型，盡顯女性甜美可愛的氣息。"
}

官方的多輪對話數(shù)據(jù)集是如下結(jié)構(gòu)的

{
    "prompt": "是的。上下水管都好的",
    "response": "那就要檢查線路了，一般風(fēng)扇繼電器是由電腦控制吸合的，如果電路存在斷路，或者電腦壞了的話會出現(xiàn)繼電器不吸合的情況！",
    "history": [
        [
            "長城h3風(fēng)扇不轉(zhuǎn)。繼電器好的。保險(xiǎn)絲好的傳感器新的風(fēng)扇也新的這是為什么。就是繼電器缺一個(gè)信號線",
            "用電腦能讀數(shù)據(jù)流嗎？水溫多少"
        ],
        [
            "95",
            "上下水管溫差怎么樣啊？空氣是不是都排干凈了呢？"
        ]
    ]
}

探索單輪生成chatglm-6B上的適配性

今天的所有實(shí)驗(yàn)都是探索單輪生成chatglm-6B上的適配性。

ptuning chatglm 6B中有兩個(gè)數(shù)據(jù)集作為標(biāo)準(zhǔn)的官方微調(diào)數(shù)據(jù)集案例

我們看一下ptuning chatglm 6B中的啟動(dòng)參數(shù)有哪些。

PRE_SEQ_LEN=128
LR=2e-2
CUDA_VISIBLE_DEVICES=0 python3 main.py \
    --do_train \
    --do_eval \
    --train_file AdvertiseGen/patent_train.32.128.512.json \
    --validation_file AdvertiseGen/patent_dev.32.128.512.json \
    --prompt_column content \
    --response_column summary \
    --overwrite_cache \
    --model_name_or_path THUDM/chatglm-6b \
    --output_dir output/patent_dev-chatglm-6b-pt-$PRE_SEQ_LEN-$LR \
    --overwrite_output_dir \
    --max_source_length 128 \
    --max_target_length 512 \
    --per_device_train_batch_size 4 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 16 \
    --predict_with_generate \
    --max_steps 3000 \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate $LR \
    --fp16 False\
    --pre_seq_len $PRE_SEQ_LEN

PRE_SEQ_LEN 預(yù)序列長度

LR 學(xué)習(xí)率

do_train 是否進(jìn)行訓(xùn)練

do_eval 是否進(jìn)行預(yù)測

train_file 訓(xùn)練文件相對地址

validation_file 驗(yàn)證文件相對地址

prompt_column prompt 提示信息字段

response_column 響應(yīng)信息字段

overwrite_cache 重寫數(shù)據(jù)集緩存。

model_name_or_path 模型名稱或模型地址

output_dir 訓(xùn)練好的模型保存的地址

per_device_train_batch_size 每個(gè)設(shè)備上的訓(xùn)練批次大小 在實(shí)際的訓(xùn)練過程中3090顯卡可以把這個(gè)參數(shù)開到4。

模型的指令輸入應(yīng)該如何拼接才可以讓chatglm更好的服務(wù)。

train.sh 中的 PRE_SEQ_LEN 和 LR 分別是 soft prompt 長度和訓(xùn)練的學(xué)習(xí)率，可以進(jìn)行調(diào)節(jié)以取得最佳的效果。P-Tuning-v2 方法會凍結(jié)全部的模型參數(shù)，可通過調(diào)整 quantization_bit 來被原始模型的量化等級，不加此選項(xiàng)則為 FP16 精度加載。 在默認(rèn)配置 quantization_bit=4、per_device_train_batch_size=1、gradient_accumulation_steps=16 下，INT4 的模型參數(shù)被凍結(jié)，一次訓(xùn)練迭代會以 1 的批處理大小進(jìn)行 16 次累加的前后向傳播，等效為 16 的總批處理大小，此時(shí)最低只需 6.7G 顯存。若想在同等批處理大小下提升訓(xùn)練效率，可在二者乘積不變的情況下，加大 per_device_train_batch_size 的值，但也會帶來更多的顯存消耗，請根據(jù)實(shí)際情況酌情調(diào)整。

調(diào)整batch size后的學(xué)習(xí)率應(yīng)該如何調(diào)整。

chatglm的工作流程

編輯切換為居中

添加圖片注釋，不超過 140 字（可選）

基于openbayes的3090單卡，prompt tuning v2 訓(xùn)練chatglm 6B模型。

訓(xùn)練專利prompt的數(shù)據(jù)的時(shí)候基礎(chǔ)訓(xùn)練參數(shù) 修改了 per_device_train_batch_size 為 4。

 ***** Running training *****
Num examples = 3384
Num Epochs = 58
Instantaneous batch size per device = 4
Total train batch size (w. parallel, distributed & accumulation) = 64
Gradient Accumulation steps = 16
Total optimization steps = 3000
Number of trainable parameters = 29360128

其中每一個(gè)設(shè)備的batch size設(shè)定為4，總共訓(xùn)練的批次大小是64。這里的總批次是因?yàn)椴捎昧颂荻壤塾?jì)策略，所以總訓(xùn)練批次大小是64。那如果是兩張卡的話這里是128。

訓(xùn)練專利prompt的數(shù)據(jù)集的時(shí)候的損失表現(xiàn)

編輯切換為居中

添加圖片注釋，不超過 140 字（可選）

中國大百科數(shù)據(jù)集

編輯切換為居中

添加圖片注釋，不超過 140 字（可選）

PyTorch DataParallel和DDP是PyTorch提供的兩個(gè)數(shù)據(jù)并行擴(kuò)展。 1. PyTorch Data Parallel PyTorch Data Parallel是PyTorch框架中的一個(gè)重要組成部分,它提供了一種高效的并行計(jì)算機(jī)制,使得在GPU上運(yùn)行Torch模型變得更加容易。Data Parallel使用GPU上的多線程來并行計(jì)算多個(gè)輸入特征,從而提高計(jì)算效率。 Data Parallel的實(shí)現(xiàn)方式包括: - Data parallel器:負(fù)責(zé)將輸入特征按照一定的規(guī)則劃分成一組數(shù)據(jù) parallel,例如按照相似度、長度、形狀等特征進(jìn)行劃分。 - 并行化操作:將數(shù)據(jù) parallel劃分為多個(gè)并行塊,并執(zhí)行相應(yīng)的操作。 - 數(shù)據(jù)預(yù)處理:對數(shù)據(jù)parallel塊進(jìn)行一些預(yù)處理,例如合并、排序、歸一化等操作。 使用Data Parallel可以大大簡化GPU編程,并提高模型的訓(xùn)練效率。 2. DDP 官方建議用新的DDP，采用all-reduce算法，本來設(shè)計(jì)主要是為了多機(jī)多卡使用，但是單機(jī)上也能用，使用方法如下：

初始化使用nccl后端

torch.distributed.init_process_group(backend="nccl")

模型并行化

model=torch.nn.parallel.DistributedDataParallel(model)

需要注意的是：DDP并不會自動(dòng)shard數(shù)據(jù) 1. 如果自己寫數(shù)據(jù)流，得根據(jù)torch.distributed.get_rank()去shard數(shù)據(jù)，獲取自己應(yīng)用的一份 2. 如果用Dataset API，則需要在定義Dataloader的時(shí)候用DistributedSampler 去shard：

sampler = DistributedSampler(dataset) # 這個(gè)sampler會自動(dòng)分配數(shù)據(jù)到各個(gè)gpu上
DataLoader(dataset, batch_size=batch_size, sampler=sampler)

在chatglm 6B中訓(xùn)練的并行是基于transformers架構(gòu)實(shí)現(xiàn)的

from transformers.trainer import Trainer

trainer默認(rèn)是用torch.distributed的api來做多卡訓(xùn)練的，因此可以直接支持多機(jī)多卡，單機(jī)多卡，單機(jī)單卡。

目前autodl沒有多卡資源，所以也沒辦法驗(yàn)證多卡這個(gè)如何可以更高效率的執(zhí)行出來有效的結(jié)果。

不同的云計(jì)算平臺

autodl 模型下載速度比較慢 可以通過在新建環(huán)境時(shí)候選擇合適的thuglm鏡像來減少模型下載上所需要的時(shí)間。實(shí)例初始化空間為20GB系統(tǒng)空間+50GB數(shù)據(jù)空間，數(shù)據(jù)空間可以擴(kuò)容。

openbayes 模型下載速度比較快，環(huán)境每次重啟的時(shí)候都要執(zhí)行一遍pip install安裝步驟。啟動(dòng)訓(xùn)練是需要在命令行中加上 --fp16 False，不然會報(bào)錯(cuò)。實(shí)例硬盤上限只有50GB，需要注意保存策略。存儲空間費(fèi)用如下。

用我的專用邀請鏈接，注冊 OpenBayes，雙方各獲得 60 分鐘 RTX 3090 使用時(shí)長，支持累積，永久有效：

注冊 - OpenBayes

要不是autodl沒有卡，我也不會來openbayes租用顯卡。最吐槽的問題就是硬盤空間問題。作為個(gè)人研究者還要為硬盤按月付費(fèi)實(shí)在是讓人不舒服。目前我付費(fèi)了100GB的硬盤。一個(gè)月80多塊。

以上就是基于prompt tuning v2訓(xùn)練好一個(gè)垂直領(lǐng)域的chatglm-6b的詳細(xì)內(nèi)容，更多關(guān)于prompt tuning v2訓(xùn)練chatglm-6b的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論