登錄
微信登錄
打開手機微信,掃描二維碼
掃描成功
請勿刷新本頁面,按手機提示操作
中科曙光不會以任何理由要求您轉賬匯款,謹防詐騙
您的微信還未注冊
中科曙光不會以任何理由要求您轉賬匯款,謹防詐騙
您可以同時關注中科曙光微信公眾號
使用微信掃一掃即可登錄! 查閱資料更方便、 快捷!
您已經注冊賬號和
關注微信公眾號
2025年1月
服務熱線:400-810-0466
成功案例
項目背景
中國石油集團東方地球物理勘探有限責任公司在全國乃至全球設立數百個科研生產單位,以往的IT基礎架構采用傳統模式,存儲使用統一存儲、數據備份使用磁帶庫,面對日益增長的數據量以及對存儲性能要求的提升,傳統架構已經不能滿足業務需求,迫切需要新的架構來提升存儲訪問效率。
通過多方調研和測試,東方地球公司決定采用分布式并行存儲架構來支撐石油物探技術方法研究、應用軟件開發、測試和地震數據處理、數據解釋生產等關鍵業務系統。需支持GeoEast和GeoLightning石油地震數據處理—解釋一體化應用軟件系統。
方案設計
本次項目實為科研生產單位內部IT系統升級改造,而作為業務系統集群內的配套存儲,要求滿足標準化、高密度、高并發、高擴展,滿足大數據處理解釋業務需求。
ParaStor采用多副本、N+M糾刪碼等數據保護技術、全冗余設計,支持單一存儲命名空間、支持容量海量擴展,性能線性擴展,能夠滿足高性能計算中心海量文件并發讀寫需求。
本方案規劃采用8+2:1的保護策略,即8個數據對象匹配2個校驗對象,這10個對象根據哈希算法分布在不同數據控制的不同硬盤上,這10塊硬盤為一組,可以容忍2塊硬盤同時失效而不至于數據丟失;整套存儲系統可以容忍1臺數據控制器失效而不至于數據丟失。在這種配置下,存儲系統空間利用率可達到80%。
優勢說明
1) 架構優勢
ParaStor300采用元數據和數據分離的非對稱式結構,這也是國際主流的并行存儲系統架構,元數據和數據分離有助于提升存儲系統的性能和擴展性。
ParaStor300的多臺索引控制(默認配置2臺)采用多活冗余集群結構元數據存儲采用RAID6保護的SSD高速磁盤以提高元數據訪問性能。曙光ParaStor300采用更高級的元數據冗余策略。ParaStor300的元數據控制器默認配置2臺,同時支持更多的元數據控制器組成元數據集群,每臺元數據控制器均為Active在線狀態,正常工作時負載均衡并行文件系統客戶端的元數據訪問請求,一臺元數據控制器出現故障時,其它元數據控制器分擔其工作負載,接管時間非常短,且為在線切換,不中斷正在進行的IO請求,不影響并行文件系統的業務運行。
2) 數據保護:
與傳統磁盤陣列RAID保護技術相比,曙光ParaStor300的N+M糾刪碼技術具有明顯優勢。ParaStor300可以實現數據重建無人值守,比如深夜磁盤出現故障,傳統RAID要立即人工更換磁盤,而ParaStor300只要有剩余空間就可以自動進行數據重建;ParaStor300的數據重建并發進行,1TB數據半小時內重建完成,而傳統RAID的重建時間可能長達10小時到1天以上,而且RAID在數據重建期間磁盤負載很重,很容易出現雪崩效應,即繼續出現磁盤損耗,導致RAID降級甚至數據丟失。
本方案采用的N+M保護策略,存儲系統可以容忍M塊硬盤同時失效。實際上M塊硬盤“同時”失效的概率非常低,因為當ParaStor300的1塊硬盤失效后,系統會在很短時間內在其它硬盤上自動完成數據重建,重建完成后,ParaStor300又可以容忍M塊硬盤同時失效。數據修復過程完全無人值守。用戶只用定期更換故障硬盤即可,更換新硬盤后,ParaStor會自動進行底層數據遷移,平衡容量。
3) 分級存儲
ParaStor300存儲系統支持自動透明的分級存儲功能,采用SSD和SATA磁盤相結合,既能保障存儲系統容量,又能提高存儲系統訪問性能,具有極高性價比。
用戶的熱點數據優先存放在SSD分區,冷數據自動遷移到SATA分區,回熱數據可以回遷,數據遷移策略綜合數據訪問頻率、文件大小等因素,遷移策略用戶可干預和定制。數據遷移過程在SSD和SATA磁盤之間以數據塊級別并發進行,速度快且對存儲性能影響較小,整個數據遷移過程自動透明,用戶看到的是一個統一完整的數據訪問空間。
4) 擴展能力
ParaStor300分布式存儲系統具有極佳的擴展性,最大支持4096個存儲服務器節點,真正做到EB級存儲。支持在線擴容,且不影響業務系統使用。增加數據控制器后,數據對象自動實現負載均衡的遷移分布,使得整個存儲系統實現容量和性能的線性增長。
方案優勢說明
源代碼級調優,針對疊前業務系統深度優化,提升業務系統運行效率及可靠性;
端到端服務曙光開發工程師與客戶業務系統負責人與直接對話,提升效率;
減少了將近50%的投資,實現企業COST DOWN;
原廠7*24*365超白金級服務。