買(mǎi)專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜合肥工業(yè)大學(xué)申請(qǐng)的專利一種基于多模態(tài)異構(gòu)圖的視聽(tīng)視頻問(wèn)答方法和系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119311842B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411823994.7，技術(shù)領(lǐng)域涉及：G06F16/3329；該發(fā)明授權(quán)一種基于多模態(tài)異構(gòu)圖的視聽(tīng)視頻問(wèn)答方法和系統(tǒng)是由周金星;郭丹;李張斌;汪萌設(shè)計(jì)研發(fā)完成，并于2024-12-12向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于多模態(tài)異構(gòu)圖的視聽(tīng)視頻問(wèn)答方法和系統(tǒng)在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種基于多模態(tài)異構(gòu)圖的視聽(tīng)視頻問(wèn)答方法和系統(tǒng)，涉及多模態(tài)交互、視頻內(nèi)容分析、智能問(wèn)答等技術(shù)領(lǐng)域，提取音視頻中的視覺(jué)特征和音頻特征；根據(jù)視覺(jué)特征和音頻特征，分別構(gòu)建運(yùn)動(dòng)引導(dǎo)和音頻引導(dǎo)的異構(gòu)圖；將運(yùn)動(dòng)引導(dǎo)和音頻引導(dǎo)的異構(gòu)圖進(jìn)行聚合，得到視聽(tīng)交互后的視覺(jué)特征和音頻特征；提取查詢問(wèn)題中的問(wèn)題特征，根據(jù)問(wèn)題特征挑選關(guān)鍵視覺(jué)區(qū)域，獲取稀疏視覺(jué)特征；根據(jù)問(wèn)題特征和稀疏視覺(jué)特征，構(gòu)建問(wèn)題引導(dǎo)的異構(gòu)圖，得到局部視覺(jué)特征和全局視覺(jué)特征；將問(wèn)題特征分別與視聽(tīng)交互后的音頻特征、局部視覺(jué)特征和全局視覺(jué)特征進(jìn)行融合，分別得到融合后的問(wèn)題特征；根據(jù)多模態(tài)融合后的問(wèn)題特征，得到問(wèn)題答案的預(yù)測(cè)結(jié)果，提升問(wèn)答準(zhǔn)確率。

本發(fā)明授權(quán)一種基于多模態(tài)異構(gòu)圖的視聽(tīng)視頻問(wèn)答方法和系統(tǒng)在權(quán)利要求書(shū)中公布了：1.一種基于多模態(tài)異構(gòu)圖的視聽(tīng)視頻問(wèn)答方法，其特征在于，包括以下步驟：S1，提取音視頻中的視覺(jué)特征和音頻特征；S2，根據(jù)視覺(jué)特征和音頻特征，構(gòu)建運(yùn)動(dòng)引導(dǎo)的異構(gòu)圖；S3，根據(jù)視覺(jué)特征和音頻特征，構(gòu)建音頻引導(dǎo)的異構(gòu)圖；S4，將運(yùn)動(dòng)引導(dǎo)的異構(gòu)圖和音頻引導(dǎo)的異構(gòu)圖進(jìn)行聚合，得到視聽(tīng)交互后的視覺(jué)特征和音頻特征；S5，提取查詢問(wèn)題中的問(wèn)題特征，根據(jù)問(wèn)題特征挑選關(guān)鍵視覺(jué)區(qū)域，獲取稀疏視覺(jué)特征；S6，根據(jù)問(wèn)題特征和稀疏視覺(jué)特征，構(gòu)建問(wèn)題引導(dǎo)的異構(gòu)圖，得到局部視覺(jué)特征和全局視覺(jué)特征；S7，多模態(tài)融合：將問(wèn)題特征分別與視聽(tīng)交互后的音頻特征、局部視覺(jué)特征和全局視覺(jué)特征進(jìn)行融合，分別得到融合后的問(wèn)題特征；S8，根據(jù)多模態(tài)融合后的問(wèn)題特征，得到問(wèn)題答案的預(yù)測(cè)結(jié)果；步驟S1中，對(duì)音視頻進(jìn)行劃分，得到T個(gè)視頻幀和T個(gè)音頻片段；對(duì)每個(gè)視頻幀和音頻片段進(jìn)行特征提取，得到音視頻的視覺(jué)特征和音頻特征；其中，視覺(jué)特征記為，，vt是第t個(gè)視頻幀的視覺(jué)特征，，N2表示視頻幀圖像中的視覺(jué)區(qū)域數(shù)目，d是特征維度；音頻特征記為I={at|t=1,...,T}，I∈RT×d，其中，at是第t個(gè)音頻片段的音頻特征，at∈R1×d；步驟S2的具體過(guò)程如下所示：S21，計(jì)算每個(gè)視頻幀的運(yùn)動(dòng)密度mt，計(jì)算方式為：首先計(jì)算每個(gè)視覺(jué)區(qū)域的運(yùn)動(dòng)密度ρit： ；其中，||·||表示特征二范數(shù)歸一化處理；vit與vit+1表示相鄰視頻幀即第t個(gè)視頻幀和t+1個(gè)視頻幀中第i個(gè)視覺(jué)區(qū)域?qū)?yīng)的區(qū)域視覺(jué)特征；ρit表示第t個(gè)視頻幀中第i個(gè)視覺(jué)區(qū)域的運(yùn)動(dòng)密度；然后計(jì)算得到第t個(gè)視頻幀的運(yùn)動(dòng)信息ρt： ；得到所有視頻幀的運(yùn)動(dòng)信息的平均值μ： ；最后計(jì)算得到每個(gè)視頻幀的運(yùn)動(dòng)密度mt，mt=1-λρt+λμ；其中，λ為平衡系數(shù)；S22，獲取運(yùn)動(dòng)引導(dǎo)的異構(gòu)圖的連接矩陣Amt： ；其中，表示矩陣元素間兩兩點(diǎn)乘；上標(biāo)T表示矩陣轉(zhuǎn)置，符號(hào)“;”表示矩陣拼接；S23，確定運(yùn)動(dòng)引導(dǎo)的異構(gòu)圖的圖節(jié)點(diǎn)Nt=[vt;at]；S24，構(gòu)建運(yùn)動(dòng)引導(dǎo)的異構(gòu)圖Gmt，Gmt=ReLUAmtNtWm；其中，Wm是運(yùn)動(dòng)引導(dǎo)的異構(gòu)圖Gmt的可學(xué)習(xí)參數(shù)，ReLU是激活函數(shù)；GmtNt=[vmt;amt]，vmt為運(yùn)動(dòng)引導(dǎo)的異構(gòu)圖Gmt的圖節(jié)點(diǎn)Nt中的視覺(jué)特征，amt為運(yùn)動(dòng)引導(dǎo)的異構(gòu)圖Gmt的圖節(jié)點(diǎn)Nt中的音頻特征；步驟S3的具體過(guò)程如下所示：S31，計(jì)算每個(gè)視頻幀的聲音激活矩陣st： ；其中，表示矩陣乘法；S32，獲取音頻引導(dǎo)的異構(gòu)圖的連接矩陣Ast： ；S33，確定音頻引導(dǎo)的異構(gòu)圖的圖節(jié)點(diǎn)Nt=[vt;at]；S34，構(gòu)建音頻引導(dǎo)的異構(gòu)圖Gst，Gst=ReLUAstNtWs；其中，Ws是音頻引導(dǎo)的異構(gòu)圖Gst的可學(xué)習(xí)參數(shù)；GstNt=[vst;ast]，vst為音頻引導(dǎo)的異構(gòu)圖Gst的圖節(jié)點(diǎn)Nt中的視覺(jué)特征，ast為音頻引導(dǎo)的異構(gòu)圖Gst的圖節(jié)點(diǎn)Nt中的音頻特征。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人合肥工業(yè)大學(xué)，其通訊地址為：230009 安徽省合肥市包河區(qū)屯溪路193號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。