買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜安徽大學申請的專利一種預訓練語言模型精確參數的微調方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119398128B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411988061.3，技術領域涉及：G06N3/084；該發明授權一種預訓練語言模型精確參數的微調方法及系統是由翁暢;何婉玲;程譽;劉宇航;馬作邦;朱濤;盧一相;竺德設計研發完成，并于2024-12-31向國家知識產權局提交的專利申請。

本一種預訓練語言模型精確參數的微調方法及系統在說明書摘要公布了：本發明公開了一種預訓練語言模型精確參數的微調方法及系統，方法包括：構建魯棒適配器；將多個構建好的魯棒適配器串聯形成魯棒適配器鏈并確定最大鏈節點；準備預訓練語言模型的權重和對應任務標注的數據集；先對魯棒適配器鏈中每個魯棒適配器進行初步訓練優化近似微調魯棒適配器的參數；近似微調魯棒適配器的參數后，將其與前序凍結的預訓練語言模型的權重合并完成當前魯棒適配器鏈節點的計算，并生成用于下一次迭代的殘差信息，并同時更新當前魯棒適配器的參數；進行迭代訓練，更新殘差信息，直至迭代次數等于魯棒適配器鏈的最大節點，獲取預訓練語言模型的最佳權重以及魯棒適配器的最佳參數，本發明能提供更穩定的收斂性和更簡單的超參數調整。

本發明授權一種預訓練語言模型精確參數的微調方法及系統在權利要求書中公布了：1.一種預訓練語言模型精確參數的微調方法，其特征在于，包括：S100，構建用于預訓練語言模型參數微調的魯棒適配器，包括低秩適配器和稀疏適配器；S200，將多個構建好的魯棒適配器串聯，形成魯棒適配器鏈，并確定魯棒適配器鏈的最大節點；S300，準備預訓練語言模型的權重和對應任務標注的數據集；S400，從數據集中選擇部分數據子集，先對魯棒適配器鏈中每個魯棒適配器進行初步訓練優化，此時，凍結預訓練語言模型的權重，使預訓練語言模型的權重只參與計算，不參與更新，近似微調魯棒適配器的參數；S500，近似微調魯棒適配器的參數后，將其與前序凍結的預訓練語言模型的權重合并，完成當前魯棒適配器鏈節點的計算，并生成用于下一次迭代的殘差信息，并同時更新當前魯棒適配器的參數；S600，將數據集中剩余的數據子集作為輸入，進行迭代訓練，更新殘差信息，直至迭代次數等于魯棒適配器鏈的最大節點，獲取預訓練語言模型的最佳權重以及魯棒適配器的最佳參數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人安徽大學，其通訊地址為：230601 安徽省合肥市經濟技術開發區九龍路111號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。