買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中國科學(xué)院軟件研究所申請的專利一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN113902116B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-04-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111151184.8，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)是由劉杰;張衡;王帥;吳懷林;王宗成;葉丹設(shè)計研發(fā)完成，并于2021-09-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)在說明書摘要公布了：本發(fā)明公開了一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)。本系統(tǒng)包括負(fù)載容器批處理分析工具模塊和批處理合并工具模塊、算法服務(wù)調(diào)用模塊；負(fù)載容器批處理分析工具模塊，用于將推理服務(wù)請求中的推理輸入?yún)?shù)保存到預(yù)處理數(shù)據(jù)集中，生成訓(xùn)練數(shù)據(jù)對各容器中的模型進行性能測試，然后根據(jù)測試的結(jié)果指標(biāo)確定最佳參數(shù)；批處理合并工具模塊根據(jù)最佳參數(shù)預(yù)測并獲取下一時間窗口的推理服務(wù)請求生成批處理任務(wù)并發(fā)送到對應(yīng)容器中執(zhí)行。本發(fā)明對無服務(wù)器架構(gòu)下的深度學(xué)習(xí)推理服務(wù)性能進行優(yōu)化，有效的利用多核并行計算能力，能夠高效的進行高并發(fā)下的推理服務(wù)請求，使得在資源利用率，任務(wù)執(zhí)行延時、吞吐量方面得到了大幅度優(yōu)化。

本發(fā)明授權(quán)一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)在權(quán)利要求書中公布了：1.一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法，其步驟包括：1通過請求攔截器獲取已上線推理服務(wù)請求，將推理服務(wù)請求中的推理輸入?yún)?shù)保存到預(yù)處理數(shù)據(jù)集中；2根據(jù)推理服務(wù)請求所占用資源的類型，將推理服務(wù)請求劃分為CPU類型任務(wù)和GPU類型的任務(wù)；針對CPU類型任務(wù)設(shè)置多個容器，不同容器具有不同的內(nèi)存大小和CPU核數(shù)；針對GPU類型任務(wù)，生成若干設(shè)定內(nèi)存大小和GPU核數(shù)的GPU類型任務(wù)容器；3針對同一模型的推理服務(wù)，如果該推理服務(wù)為CPU類型任務(wù)，則根據(jù)所述預(yù)處理數(shù)據(jù)集中的推理輸入?yún)?shù)針對該模型生成不同批處理大小的訓(xùn)練數(shù)據(jù)集并輸入到各容器中對該模型進行性能測試，然后根據(jù)測試的結(jié)果指標(biāo)生成負(fù)載性能表；然后將負(fù)載性能表中批處理合并的執(zhí)行時間Batchtime和不合并執(zhí)行時間NoBatchtime進行比值，通過比值與設(shè)定閾值δ進行比較結(jié)果對該負(fù)載性能表中的記錄進行篩選；然后基于篩選出的記錄中選取批處理大小出現(xiàn)頻率最高的若干記錄，從中選取內(nèi)存最小的記錄；如果該推理服務(wù)為GPU類型任務(wù)，則根據(jù)所述預(yù)處理數(shù)據(jù)集中的推理輸入?yún)?shù)生成不同批處理大小的訓(xùn)練數(shù)據(jù)集并將其輸入GPU類型任務(wù)容器中對該模型進行性能測試，選取滿足閾值指標(biāo)條件下批處理大小最大的記錄；4根據(jù)步驟3所選記錄確定最佳參數(shù)，即所選記錄中的批處理大小Ybatch和批處理執(zhí)行時間Tbatch；5將實時收到的推理服務(wù)請求緩存到任務(wù)緩存隊列中，然后工作量聚合器根據(jù)批處理執(zhí)行時間Tbatch確定一時間區(qū)間，統(tǒng)計任務(wù)緩存隊列中每一時間區(qū)間內(nèi)的推理服務(wù)請求量，得到一時間序列；6從該時間序列中截取最近一段時間內(nèi)的推理服務(wù)請求進行預(yù)測，得到下一時間區(qū)間的服務(wù)請求數(shù)量并將其輸入自適應(yīng)窗口算法模型，自適應(yīng)窗口算法模型根據(jù)輸入信息對當(dāng)前窗口左右邊界進行調(diào)整，然后從該任務(wù)緩存隊列取出窗口內(nèi)的推理服務(wù)請求生成批處理任務(wù)并根據(jù)推理服務(wù)請求所占用資源的類型發(fā)送到對應(yīng)容器中執(zhí)行。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人中國科學(xué)院軟件研究所，其通訊地址為：100190 北京市海淀區(qū)中關(guān)村南四街4號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。