買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜成都梵辰科技有限公司申請的專利一種分布式數(shù)據(jù)處理方法及其系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119377279B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202411968082.9，技術(shù)領(lǐng)域涉及：G06F16/2455；該發(fā)明授權(quán)一種分布式數(shù)據(jù)處理方法及其系統(tǒng)是由劉佳;李萬燦;李萬豪;竇軍華;成薇;巫家敏;李萬博;楊瞿瑞設(shè)計研發(fā)完成，并于2024-12-30向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種分布式數(shù)據(jù)處理方法及其系統(tǒng)在說明書摘要公布了：本發(fā)明提供一種分布式數(shù)據(jù)處理方法及其系統(tǒng)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，包括從目標區(qū)域中收集待處理初始數(shù)據(jù)集，對待處理初始數(shù)據(jù)集進行分布式地預(yù)處理，得到第一數(shù)據(jù)集；通過空間分區(qū)樹SPT對目標區(qū)域進行動態(tài)遞歸劃分，并將第一數(shù)據(jù)集中的數(shù)據(jù)點分配至劃分后的各子區(qū)域并標記，得到帶有空間分區(qū)標識的第二數(shù)據(jù)集；接收實時數(shù)據(jù)流，并根據(jù)空間坐標將實時數(shù)據(jù)流動態(tài)融入第二數(shù)據(jù)集中，得到第三數(shù)據(jù)集；基于空間分區(qū)標識定位數(shù)據(jù)點在空間分區(qū)樹SPT中的位置，并將處于同一子區(qū)域的第三數(shù)據(jù)集中數(shù)據(jù)點分配至同一數(shù)據(jù)處理節(jié)點上；在各個數(shù)據(jù)處理節(jié)點上，并行執(zhí)行數(shù)據(jù)處理任務(wù)，隨后將得到的初始結(jié)果進行聚合，以形成最終結(jié)果。

本發(fā)明授權(quán)一種分布式數(shù)據(jù)處理方法及其系統(tǒng)在權(quán)利要求書中公布了：1.一種分布式數(shù)據(jù)處理方法，其特征在于，所述處理方法包括以下步驟：從目標區(qū)域中收集待處理初始數(shù)據(jù)集，并利用分布式計算框架Spark對待處理初始數(shù)據(jù)集進行分布式地預(yù)處理，得到第一數(shù)據(jù)集，其中所述第一數(shù)據(jù)集包括多個數(shù)據(jù)點；所述第一數(shù)據(jù)集的具體獲取過程包括：通過數(shù)據(jù)采集組件從所述目標區(qū)域中收集待處理初始數(shù)據(jù)集，其中所述待處理初始數(shù)據(jù)集包含與目標區(qū)域相關(guān)的多種類型數(shù)據(jù)；在分布式計算框架Spark的環(huán)境下，將待處理初始數(shù)據(jù)集分割成多個數(shù)據(jù)塊，并在Spark的多個計算節(jié)點上執(zhí)行預(yù)處理操作，以得到預(yù)處理后的第一數(shù)據(jù)集；通過空間分區(qū)樹SPT對所述目標區(qū)域進行動態(tài)遞歸劃分，并將所述第一數(shù)據(jù)集中的數(shù)據(jù)點分配至劃分后的各子區(qū)域，同時添加空間分區(qū)標識，得到帶有空間分區(qū)標識的第二數(shù)據(jù)集；所述第二數(shù)據(jù)集的具體獲取過程包括：構(gòu)建空間分區(qū)樹SPT，并根據(jù)預(yù)設(shè)的劃分規(guī)則通過構(gòu)建的空間分區(qū)樹SPT將所述目標區(qū)域細分為細粒度更小的子區(qū)域，直到滿足劃分停止條件；遍歷第一數(shù)據(jù)集中的每個數(shù)據(jù)點，根據(jù)每個數(shù)據(jù)點的空間坐標將其逐一分配至在空間分區(qū)樹SPT中定位的子區(qū)域中；在分配時，為每個分配至子區(qū)域的數(shù)據(jù)點添加空間分區(qū)標識，其中所述空間分區(qū)標識唯一且明確地表示數(shù)據(jù)點所屬的子區(qū)域，并與空間分區(qū)樹SPT中的葉子節(jié)點建立關(guān)聯(lián)，以得到帶有空間分區(qū)標識的第二數(shù)據(jù)集；接收實時數(shù)據(jù)流，并根據(jù)空間坐標將所述實時數(shù)據(jù)流動態(tài)融入所述第二數(shù)據(jù)集中，得到第三數(shù)據(jù)集；所述第三數(shù)據(jù)集的具體獲取過程包括：實時捕獲與目標區(qū)域相關(guān)的實時數(shù)據(jù)流，其中所述實時數(shù)據(jù)流包含動態(tài)變化的空間坐標；對捕獲的實時數(shù)據(jù)流進行預(yù)處理，以確保所述實時數(shù)據(jù)流與第二數(shù)據(jù)集中的數(shù)據(jù)格式一致且空間坐標準確；根據(jù)預(yù)處理后的實時數(shù)據(jù)流中每個數(shù)據(jù)點的空間坐標，在空間分區(qū)樹SPT中定位其所屬的子區(qū)域；將定位后的實時數(shù)據(jù)流的每個數(shù)據(jù)點動態(tài)地插入到所述第二數(shù)據(jù)集中對應(yīng)子區(qū)域的數(shù)據(jù)點集合中，同時更新空間分區(qū)樹SPT中關(guān)聯(lián)葉子節(jié)點的數(shù)據(jù)記錄，以得到融合實時數(shù)據(jù)流的第三數(shù)據(jù)集；基于所述空間分區(qū)標識定位數(shù)據(jù)點在空間分區(qū)樹SPT中的位置，并根據(jù)定位的位置將處于同一子區(qū)域的所述第三數(shù)據(jù)集中數(shù)據(jù)點分配至同一數(shù)據(jù)處理節(jié)點上；分配過程具體包括：遍歷第三數(shù)據(jù)集中的每個數(shù)據(jù)點，讀取其附帶的空間分區(qū)標識；利用讀取的空間分區(qū)標識，在空間分區(qū)樹SPT中定位數(shù)據(jù)點所屬的子區(qū)域，并確定處于同一子區(qū)域的數(shù)據(jù)點集合；依據(jù)預(yù)構(gòu)建的數(shù)據(jù)分配映射表，將處于同一子區(qū)域的數(shù)據(jù)點集合整體分配至對應(yīng)的數(shù)據(jù)處理節(jié)點上，以確保同一子區(qū)域內(nèi)的數(shù)據(jù)點在同一節(jié)點上進行處理，其中所述數(shù)據(jù)分配映射表記錄每個子區(qū)域與對應(yīng)數(shù)據(jù)處理節(jié)點的映射關(guān)系；在各個數(shù)據(jù)處理節(jié)點上，通過分布式計算框架Spark并行執(zhí)行數(shù)據(jù)處理任務(wù)，隨后將得到的初始結(jié)果進行聚合，以形成最終結(jié)果；最終結(jié)果的的形成過程具體包括：在每個分配有數(shù)據(jù)點的數(shù)據(jù)處理節(jié)點上，啟動分布式計算框架Spark的執(zhí)行環(huán)境；根據(jù)數(shù)據(jù)處理任務(wù)的需求，編寫并部署相應(yīng)的Spark作業(yè)，其中每個Spark作業(yè)被設(shè)計為能夠處理分配給該節(jié)點的數(shù)據(jù)點集合；并行執(zhí)行多個Spark作業(yè)，并在每個Spark作業(yè)完成后，收集輸出的初始結(jié)果；通過Spark的聚合機制將來自不同數(shù)據(jù)處理節(jié)點的初始結(jié)果進行合并和整合，以形成全局一致的最終結(jié)果。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人成都梵辰科技有限公司，其通訊地址為：610000 四川省成都市高新區(qū)天府四街66號2棟18層6號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。