另外還有一個(gè)小的trick,在推理過程中模型輸出的tensor自然會(huì)成為16位浮點(diǎn),如果需要新創(chuàng)建tensor,最好調(diào)用已有tensor的new_zeros,new_full等方法而不是torch.zeros和torch.full,前者可以自動(dòng)繼承已有tensor的類型,這樣就不需要到處增加代碼判斷是使用16位還是32位了,只需要針對(duì)input tensor切換. ...
www.dbjr.com.cn/article/2130...htm 2025-6-3