2024年3月21日，悉尼大學(xué)、中國石油大學(xué)、南洋理工大學(xué)和JD Explore Academy的研究團(tuán)隊(duì)共同推出了一項(xiàng)革命性的技術(shù)——兩階段微調(diào)技術(shù)，旨在解決大型語言模型（LLM）在翻譯任務(wù)中常見的偏離目標(biāo)翻譯問題。這一問題在零快照翻譯設(shè)置中尤為突出，即模型需要在訓(xùn)練期間未曾接觸過的語言對之間進(jìn)行翻譯。
盡管LLM在翻譯任務(wù)中展現(xiàn)出強(qiáng)大的能力，有時(shí)甚至可以媲美商業(yè)廣告機(jī)器翻譯（MT）系統(tǒng)，但非目標(biāo)翻譯仍然是一個亟待解決的難題，特別是在涉及低資源語言時(shí)。為了解決這一挑戰(zhàn)，研究人員提出了一種創(chuàng)新的兩階段微調(diào)方法，專注于提升LLM對指令的遵循能力，特別是確保其嚴(yán)格遵循語言翻譯方向。
在第一階段，研究團(tuán)隊(duì)利用多語言翻譯數(shù)據(jù)集，通過最大似然損失（MLE）對LLM進(jìn)行微調(diào)。MLE損失函數(shù)旨在評估模型根據(jù)給定輸入和參數(shù)生成正確輸出的可能性。通過最小化這種損失，模型能夠基于訓(xùn)練數(shù)據(jù)以及提供的說明和目標(biāo)輸出，生成更為準(zhǔn)確的翻譯。這一階段的微調(diào)旨在初步釋放LLM內(nèi)在的翻譯潛能。
進(jìn)入第二階段，研究團(tuán)隊(duì)創(chuàng)建了與指令相沖突的樣本，即提供的指令與實(shí)際需要執(zhí)行的內(nèi)容或任務(wù)之間存在矛盾的示例。這些樣本通過用不正確的語言翻譯指令替換原本的指令來構(gòu)建，從而模擬模型在實(shí)際應(yīng)用中可能遇到的沖突情境。
在這一階段，團(tuán)隊(duì)引入了一個額外的不可能性損失，以針對這些指令沖突樣本對模型進(jìn)行訓(xùn)練。通過整合這一額外的損失函數(shù)，模型被鼓勵為錯誤的翻譯分配更低的概率。這一過程有助于模型學(xué)會處理沖突的指令，進(jìn)而增強(qiáng)其遵循正確語言翻譯方向的能力，并在零快照場景中生成精確無誤的翻譯。
為了驗(yàn)證該技術(shù)的有效性，研究人員將這一方法應(yīng)用于LLaMA模型，并在16個語言翻譯方向上進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，在IWSLT和WMT基準(zhǔn)測試中，偏離目標(biāo)的翻譯率顯著下降，分別實(shí)現(xiàn)了高達(dá)92.2%和29.9%的改善。研究人員進(jìn)一步指出，這一改進(jìn)顯著提升了翻譯質(zhì)量，IWSLT/WMT數(shù)據(jù)集中BLEURT和SacreBLEU的平均增長率分別為23.0/12.4和5.2/6.1。
翻譯問題 | &pic=http://maroon5charlotte.com/wp-content/uploads/2024/04/56548787.jpg&ralateUid=5788774445&language=zh_cn){kind=link}
翻譯問題&summary=2024年3月21日，悉尼大學(xué)、中國石油大學(xué)、南洋理工大學(xué)和JD Explore Academy的研究團(tuán)隊(duì)共同推出了一項(xiàng)革命性的技術(shù)——兩階段微調(diào)技術(shù)，旨在解決大型語言模型（LLM）在翻譯任務(wù)中常見的偏離目標(biāo)翻譯問題。這一問題在零快照翻譯設(shè)置中尤為突出，即模型需要在訓(xùn)練期間未曾接觸過的語言對之間進(jìn)行翻譯。 盡管LLM在翻譯任務(wù)中展現(xiàn)出強(qiáng)大的能力，有時(shí)甚至可以媲美商業(yè)廣告機(jī)器翻譯（MT）系統(tǒng)，但非目標(biāo)翻譯仍然是一個亟待解決的難題，特別是在涉及低資源語言時(shí)。為了解決這一挑戰(zhàn)，研究人員提出了一種創(chuàng)新的兩階段微調(diào)方法，專注于提升LLM對指令的遵循能力，特別是確保其嚴(yán)格遵循語言翻譯方向。 在第一階段，研究團(tuán)隊(duì)利用多語言翻譯數(shù)據(jù)集，通過最大似然損失（MLE）對LLM進(jìn)行微調(diào)。MLE損失函數(shù)旨在評估模型根據(jù)給定輸入和參數(shù)生成正確輸出的可能性。通過最小化這種損失，模型能夠基于訓(xùn)練數(shù)據(jù)以及提供的說明和目標(biāo)輸出，生成更為準(zhǔn)確的翻譯。這一階段的微調(diào)旨在初步釋放LLM內(nèi)在的翻譯潛能。 進(jìn)入第二階段，研究團(tuán)隊(duì)創(chuàng)建了與指令相沖突的樣本，即提供的指令與實(shí)際需要執(zhí)行的內(nèi)容或任務(wù)之間存在矛盾的示例。這些樣本通過用不正確的語言翻譯指令替換原本的指令來構(gòu)建，從而模擬模型在實(shí)際應(yīng)用中可能遇到的沖突情境。 在這一階段，團(tuán)隊(duì)引入了一個額外的不可能性損失，以針對這些指令沖突樣本對模型進(jìn)行訓(xùn)練。通過整合這一額外的損失函數(shù)，模型被鼓勵為錯誤的翻譯分配更低的概率。這一過程有助于模型學(xué)會處理沖突的指令，進(jìn)而增強(qiáng)其遵循正確語言翻譯方向的能力，并在零快照場景中生成精確無誤的翻譯。 為了驗(yàn)證該技術(shù)的有效性，研究人員將這一方法應(yīng)用于LLaMA模型，并在16個語言翻譯方向上進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，在IWSLT和WMT基準(zhǔn)測試中，偏離目標(biāo)的翻譯率顯著下降，分別實(shí)現(xiàn)了高達(dá)92.2%和29.9%的改善。研究人員進(jìn)一步指出，這一改進(jìn)顯著提升了翻譯質(zhì)量，IWSLT/WMT數(shù)據(jù)集中BLEURT和SacreBLEU的平均增長率分別為23.0/12.4和5.2/6.1。&url=https%3A%2F%2Fmaroon5charlotte.com%2Farchives%2F34667.html&pics=http://maroon5charlotte.com/wp-content/uploads/2024/04/56548787.jpg){kind=link}