恭喜中國科學技術大學李誠獲國家專利權
買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！
龍圖騰網恭喜中國科學技術大學申請的專利大語言模型推理優化方法、系統、設備及存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119323264B 。
龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411881594.1，技術領域涉及：G06N5/04；該發明授權大語言模型推理優化方法、系統、設備及存儲介質是由李誠;張駿呈;龔平;弋嘉煒設計研發完成，并于2024-12-19向國家知識產權局提交的專利申請。
本大語言模型推理優化方法、系統、設備及存儲介質在說明書摘要公布了：本發明公開了一種大語言模型推理優化方法、系統、設備及存儲介質，它們是相對應的方案，方案中：在大語言模型推理過程中引入數據聚類與量化機制，當KV緩存的大小超過預設閾值時，首先將KV緩存數據進行聚類劃分，再對部分數據進行低精度量化處理，另一部分則通過聚類中心代替，達到減少KV緩存大小的目的。通過本發明的方案，能夠顯著降低推理過程中的顯存占用，提高推理效率，并優化系統資源的利用率。
本發明授權大語言模型推理優化方法、系統、設備及存儲介質在權利要求書中公布了：1.一種大語言模型推理優化方法，其特征在于，包括：判斷大語言模型的KV緩存是否超過預設閾值；其中，KV緩存表示鍵值緩存；若超過預設閾值，則對KV緩存中的數據進行聚類，獲得若干聚類類別；按照聚類類別對KV緩存中的數據進行重排，即將屬于同一聚類類別的數據重新組織，使得同一聚類類別中的數據被安排在相鄰的位置，并且，對于每一聚類類別，分別計算其聚類中心的注意力得分，按照注意力得分，對聚類類別做降序排列；將一部分聚類類別中的數據按照數據類別進行量化；將另一部分聚類類別中的數據，使用所屬聚類類別的聚類中心替代；經過量化與聚類中心替代處理后數據即為優化的KV緩存數據，利用優化的KV緩存數據進行大語言模型的后續推理。
如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國科學技術大學，其通訊地址為：230026 安徽省合肥市包河區金寨路96號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
免責聲明
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。
開放平臺
擔保交易
惠及多方
會員特惠
專屬平臺
適合多方
數據共享
功能齊全
皖公網安備 34010402703815號