買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰，真高效！ 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)！專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜四川省華存智谷科技有限責(zé)任公司申請(qǐng)的專(zhuān)利一種改善Lustre小文件管理和性能的方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán)，本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119493768B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-18發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為：202510074506.5，技術(shù)領(lǐng)域涉及：G06F16/11；該發(fā)明授權(quán)一種改善Lustre小文件管理和性能的方法及系統(tǒng)是由杜小華;李有軍;陳浩;董博;王皓設(shè)計(jì)研發(fā)完成，并于2025-01-17向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。

本一種改善Lustre小文件管理和性能的方法及系統(tǒng)在說(shuō)明書(shū)摘要公布了：本發(fā)明屬于Lustre文件管理技術(shù)領(lǐng)域，具體涉及一種改善Lustre小文件管理和性能的方法及系統(tǒng)，包括嵌套文件系統(tǒng)、三級(jí)索引模塊、緩存索引模塊和自適應(yīng)緩存模塊；嵌套文件系統(tǒng)實(shí)現(xiàn)小文件的管理和存儲(chǔ)；三級(jí)索引模塊，包括小文件全局元數(shù)據(jù)索引、容器文件內(nèi)部索引和緩存索引，用以?xún)?yōu)化小文件的檢索與存儲(chǔ)管理；緩存索引模塊，用于管理高頻訪問(wèn)的小文件，減少重復(fù)的IO請(qǐng)求；自適應(yīng)緩存模塊，客戶端根據(jù)文件訪問(wèn)的頻率和模式動(dòng)態(tài)調(diào)整小文件的緩存策略提升高頻訪問(wèn)文件的讀取速度，并減少網(wǎng)絡(luò)IO操作。通過(guò)嵌套文件系統(tǒng)解決了Lustre文件系統(tǒng)在處理小文件時(shí)的性能瓶頸，通過(guò)三級(jí)索引架構(gòu)減少對(duì)元數(shù)據(jù)服務(wù)器和對(duì)象存儲(chǔ)服務(wù)器的訪問(wèn)負(fù)擔(dān)。

本發(fā)明授權(quán)一種改善Lustre小文件管理和性能的方法及系統(tǒng)在權(quán)利要求書(shū)中公布了：1.一種改善Lustre小文件管理和性能的系統(tǒng)，其特征在于，包括嵌套文件系統(tǒng)、三級(jí)索引模塊、緩存索引模塊和自適應(yīng)緩存模塊；所述嵌套文件系統(tǒng)部署于客戶端，為應(yīng)用程序與底層Lustre文件系統(tǒng)之間的中間層，用于實(shí)現(xiàn)小文件的管理和存儲(chǔ)；所述三級(jí)索引模塊，包括小文件全局元數(shù)據(jù)索引、容器文件內(nèi)部索引和緩存索引，用以?xún)?yōu)化小文件的檢索與存儲(chǔ)管理；所述緩存索引模塊，用于管理高頻訪問(wèn)的小文件，減少重復(fù)的IO請(qǐng)求；所述自適應(yīng)緩存模塊，客戶端根據(jù)文件訪問(wèn)的頻率和模式動(dòng)態(tài)調(diào)整小文件的緩存策略提升高頻訪問(wèn)文件的讀取速度，并減少網(wǎng)絡(luò)IO操作；所述嵌套文件系統(tǒng)包括中間層功能模塊和聚合機(jī)制模塊，所述中間層功能模塊位于應(yīng)用程序和Lustre文件系統(tǒng)之間，實(shí)現(xiàn)對(duì)所有小文件的讀寫(xiě)請(qǐng)求的攔截；所述聚合機(jī)制模塊，用于將多個(gè)小文件聚合到一個(gè)較大的容器文件中，減少元數(shù)據(jù)管理和IO操作的開(kāi)銷(xiāo)；所述聚合機(jī)制模塊將多個(gè)小文件聚合到一個(gè)較大的容器文件中的具體過(guò)程如下：容器文件的創(chuàng)建與管理：由Lustre客戶端維護(hù)一個(gè)容器文件池，實(shí)行預(yù)分配策略避免小文件寫(xiě)入時(shí)，在IO路徑上創(chuàng)建新的容器文件而導(dǎo)致額外的開(kāi)銷(xiāo)；容器文件創(chuàng)建走通用大文件創(chuàng)建流程，由元數(shù)據(jù)服務(wù)器維護(hù)其元數(shù)據(jù)；客戶端為每個(gè)容器文件分配一個(gè)唯一的容器文件標(biāo)識(shí)符；文件聚合：Lustre客戶端在后臺(tái)自動(dòng)將多個(gè)小文件合并成一個(gè)容器文件；分塊聚合：嵌套文件系統(tǒng)根據(jù)文件大小、文件數(shù)量參數(shù)設(shè)定聚合的閾值；當(dāng)達(dá)到設(shè)定閾值時(shí)，嵌套文件系統(tǒng)選擇新的容器文件；包括小文件更新后成大文件和大文件更新后變成小文件的過(guò)程；小文件更新后成大文件具體包括以下過(guò)程：增量更新與事務(wù)處理過(guò)程：在文件更新時(shí)，僅寫(xiě)入變更的部分，通過(guò)事務(wù)機(jī)制確保文件更新的原子性，任何失敗的操作都能安全回滾；動(dòng)態(tài)遷移過(guò)程：當(dāng)小文件更新變大超過(guò)預(yù)設(shè)閾值時(shí)，系統(tǒng)自動(dòng)將其遷移出小文件聚合的容器文件，存儲(chǔ)到Lustre的大文件區(qū)域；遷移完成后，及時(shí)更新數(shù)據(jù)索引，將變大后的文件從小文件全局元數(shù)據(jù)索引、容器文件內(nèi)部索引、緩存索引中移除；針對(duì)更新后變大的文件，系統(tǒng)動(dòng)態(tài)調(diào)整緩存策略；大文件更新后變成小文件的過(guò)程：動(dòng)態(tài)重新聚合機(jī)制：當(dāng)大文件縮小到某一預(yù)設(shè)閾值時(shí)，系統(tǒng)將其重新聚合到小文件容器文件中減少對(duì)單獨(dú)大文件的管理和存儲(chǔ)開(kāi)銷(xiāo)；重新聚合在后臺(tái)異步進(jìn)行，系統(tǒng)選擇指定的容器文件，將縮小后的大文件數(shù)據(jù)移動(dòng)到其中；索引管理：重新聚合后，小文件全局元數(shù)據(jù)索引和容器文件內(nèi)部索引都進(jìn)行更新以反映文件的新位置；小文件全局元數(shù)據(jù)索引更新文件路徑與偏移量實(shí)現(xiàn)小文件重新定位到聚合文件，同時(shí)移除該文件在元數(shù)據(jù)服務(wù)器上的索引記錄；包括IO流程：文件寫(xiě)入流程：用戶或應(yīng)用程序發(fā)起寫(xiě)文件請(qǐng)求；虛擬文件系統(tǒng)層攔截寫(xiě)請(qǐng)求；根據(jù)預(yù)設(shè)的文件大小閾值，判斷文件是否為小文件；若是小文件，進(jìn)入小文件處理流程：小文件處理流程：選擇指定的容器文件，將文件數(shù)據(jù)寫(xiě)入容器文件的數(shù)據(jù)區(qū)，更新容器文件內(nèi)部索引，更新小文件全局元數(shù)據(jù)索引，返回寫(xiě)操作結(jié)果給用戶或應(yīng)用程序；若是大文件，進(jìn)入大文件處理流程：直接調(diào)用底層文件接口進(jìn)行寫(xiě)操作；返回寫(xiě)操作結(jié)果給用戶或用戶程序；文件讀取流程：用戶或應(yīng)用程序發(fā)起讀文件請(qǐng)求；如果緩存命中，直接返回?cái)?shù)據(jù)給用戶或應(yīng)用程序；虛擬文件系統(tǒng)層攔截讀請(qǐng)求；根據(jù)預(yù)設(shè)的文件大小閾值，判斷文件是否為小文件；若是小文件，進(jìn)入小文件處理流程：讀取小文件全局元數(shù)據(jù)索引，確定文件所在的容器文件和內(nèi)部位置；根據(jù)容器文件內(nèi)部索引表的偏移量和長(zhǎng)度，從容器文件的數(shù)據(jù)區(qū)讀取文件數(shù)據(jù)；返回讀取的數(shù)據(jù)給用戶或應(yīng)用程序；若是大文件，進(jìn)入大文件處理流程：直接調(diào)用底層文件接口從獨(dú)立的大文件中讀取數(shù)據(jù)，返回讀取的數(shù)據(jù)給用戶或應(yīng)用程序。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù)，可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)＠麢?quán)人四川省華存智谷科技有限責(zé)任公司，其通訊地址為：610000 四川省成都市高新區(qū)安泰七路66號(hào)2號(hào)廠房1-4層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。