登錄
微信登錄
打開手機(jī)微信,,掃描二維碼
掃描成功
請勿刷新本頁面,,按手機(jī)提示操作
中科曙光不會以任何理由要求您轉(zhuǎn)賬匯款,,謹(jǐn)防詐騙
您的微信還未注冊
中科曙光不會以任何理由要求您轉(zhuǎn)賬匯款,謹(jǐn)防詐騙
您可以同時(shí)關(guān)注中科曙光微信公眾號
使用微信掃一掃即可登錄,! 查閱資料更方便、 快捷,!
您已經(jīng)注冊賬號和
關(guān)注微信公眾號
2025年1月
服務(wù)熱線:400-810-0466
成功案例
項(xiàng)目背景
中國石油集團(tuán)東方地球物理勘探有限責(zé)任公司在全國乃至全球設(shè)立數(shù)百個(gè)科研生產(chǎn)單位,,以往的IT基礎(chǔ)架構(gòu)采用傳統(tǒng)模式,,存儲使用統(tǒng)一存儲、數(shù)據(jù)備份使用磁帶庫,,面對日益增長的數(shù)據(jù)量以及對存儲性能要求的提升,,傳統(tǒng)架構(gòu)已經(jīng)不能滿足業(yè)務(wù)需求,,迫切需要新的架構(gòu)來提升存儲訪問效率。
通過多方調(diào)研和測試,,東方地球公司決定采用分布式并行存儲架構(gòu)來支撐石油物探技術(shù)方法研究,、應(yīng)用軟件開發(fā)、測試和地震數(shù)據(jù)處理,、數(shù)據(jù)解釋生產(chǎn)等關(guān)鍵業(yè)務(wù)系統(tǒng),。需支持GeoEast和GeoLightning石油地震數(shù)據(jù)處理—解釋一體化應(yīng)用軟件系統(tǒng)。
方案設(shè)計(jì)
本次項(xiàng)目實(shí)為科研生產(chǎn)單位內(nèi)部IT系統(tǒng)升級改造,,而作為業(yè)務(wù)系統(tǒng)集群內(nèi)的配套存儲,,要求滿足標(biāo)準(zhǔn)化、高密度,、高并發(fā),、高擴(kuò)展,滿足大數(shù)據(jù)處理解釋業(yè)務(wù)需求,。
ParaStor采用多副本,、N+M糾刪碼等數(shù)據(jù)保護(hù)技術(shù)、全冗余設(shè)計(jì),,支持單一存儲命名空間,、支持容量海量擴(kuò)展,性能線性擴(kuò)展,,能夠滿足高性能計(jì)算中心海量文件并發(fā)讀寫需求,。
本方案規(guī)劃采用8+2:1的保護(hù)策略,即8個(gè)數(shù)據(jù)對象匹配2個(gè)校驗(yàn)對象,,這10個(gè)對象根據(jù)哈希算法分布在不同數(shù)據(jù)控制的不同硬盤上,,這10塊硬盤為一組,可以容忍2塊硬盤同時(shí)失效而不至于數(shù)據(jù)丟失,;整套存儲系統(tǒng)可以容忍1臺數(shù)據(jù)控制器失效而不至于數(shù)據(jù)丟失,。在這種配置下,存儲系統(tǒng)空間利用率可達(dá)到80%,。
優(yōu)勢說明
1) 架構(gòu)優(yōu)勢
ParaStor300采用元數(shù)據(jù)和數(shù)據(jù)分離的非對稱式結(jié)構(gòu),,這也是國際主流的并行存儲系統(tǒng)架構(gòu),元數(shù)據(jù)和數(shù)據(jù)分離有助于提升存儲系統(tǒng)的性能和擴(kuò)展性,。
ParaStor300的多臺索引控制(默認(rèn)配置2臺)采用多活冗余集群結(jié)構(gòu)元數(shù)據(jù)存儲采用RAID6保護(hù)的SSD高速磁盤以提高元數(shù)據(jù)訪問性能,。曙光ParaStor300采用更高級的元數(shù)據(jù)冗余策略。ParaStor300的元數(shù)據(jù)控制器默認(rèn)配置2臺,,同時(shí)支持更多的元數(shù)據(jù)控制器組成元數(shù)據(jù)集群,,每臺元數(shù)據(jù)控制器均為Active在線狀態(tài),正常工作時(shí)負(fù)載均衡并行文件系統(tǒng)客戶端的元數(shù)據(jù)訪問請求,,一臺元數(shù)據(jù)控制器出現(xiàn)故障時(shí),,其它元數(shù)據(jù)控制器分擔(dān)其工作負(fù)載,,接管時(shí)間非常短,且為在線切換,,不中斷正在進(jìn)行的IO請求,,不影響并行文件系統(tǒng)的業(yè)務(wù)運(yùn)行。
2) 數(shù)據(jù)保護(hù):
與傳統(tǒng)磁盤陣列RAID保護(hù)技術(shù)相比,,曙光ParaStor300的N+M糾刪碼技術(shù)具有明顯優(yōu)勢,。ParaStor300可以實(shí)現(xiàn)數(shù)據(jù)重建無人值守,比如深夜磁盤出現(xiàn)故障,,傳統(tǒng)RAID要立即人工更換磁盤,,而ParaStor300只要有剩余空間就可以自動進(jìn)行數(shù)據(jù)重建;ParaStor300的數(shù)據(jù)重建并發(fā)進(jìn)行,,1TB數(shù)據(jù)半小時(shí)內(nèi)重建完成,,而傳統(tǒng)RAID的重建時(shí)間可能長達(dá)10小時(shí)到1天以上,而且RAID在數(shù)據(jù)重建期間磁盤負(fù)載很重,,很容易出現(xiàn)雪崩效應(yīng),即繼續(xù)出現(xiàn)磁盤損耗,,導(dǎo)致RAID降級甚至數(shù)據(jù)丟失,。
本方案采用的N+M保護(hù)策略,存儲系統(tǒng)可以容忍M塊硬盤同時(shí)失效,。實(shí)際上M塊硬盤“同時(shí)”失效的概率非常低,,因?yàn)楫?dāng)ParaStor300的1塊硬盤失效后,系統(tǒng)會在很短時(shí)間內(nèi)在其它硬盤上自動完成數(shù)據(jù)重建,,重建完成后,,ParaStor300又可以容忍M塊硬盤同時(shí)失效。數(shù)據(jù)修復(fù)過程完全無人值守,。用戶只用定期更換故障硬盤即可,,更換新硬盤后,ParaStor會自動進(jìn)行底層數(shù)據(jù)遷移,,平衡容量,。
3) 分級存儲
ParaStor300存儲系統(tǒng)支持自動透明的分級存儲功能,采用SSD和SATA磁盤相結(jié)合,,既能保障存儲系統(tǒng)容量,,又能提高存儲系統(tǒng)訪問性能,具有極高性價(jià)比,。
用戶的熱點(diǎn)數(shù)據(jù)優(yōu)先存放在SSD分區(qū),,冷數(shù)據(jù)自動遷移到SATA分區(qū),回?zé)釘?shù)據(jù)可以回遷,,數(shù)據(jù)遷移策略綜合數(shù)據(jù)訪問頻率,、文件大小等因素,,遷移策略用戶可干預(yù)和定制。數(shù)據(jù)遷移過程在SSD和SATA磁盤之間以數(shù)據(jù)塊級別并發(fā)進(jìn)行,,速度快且對存儲性能影響較小,,整個(gè)數(shù)據(jù)遷移過程自動透明,用戶看到的是一個(gè)統(tǒng)一完整的數(shù)據(jù)訪問空間,。
4) 擴(kuò)展能力
ParaStor300分布式存儲系統(tǒng)具有極佳的擴(kuò)展性,,最大支持4096個(gè)存儲服務(wù)器節(jié)點(diǎn),真正做到EB級存儲,。支持在線擴(kuò)容,,且不影響業(yè)務(wù)系統(tǒng)使用。增加數(shù)據(jù)控制器后,,數(shù)據(jù)對象自動實(shí)現(xiàn)負(fù)載均衡的遷移分布,,使得整個(gè)存儲系統(tǒng)實(shí)現(xiàn)容量和性能的線性增長。
方案優(yōu)勢說明
源代碼級調(diào)優(yōu),,針對疊前業(yè)務(wù)系統(tǒng)深度優(yōu)化,,提升業(yè)務(wù)系統(tǒng)運(yùn)行效率及可靠性;
端到端服務(wù)曙光開發(fā)工程師與客戶業(yè)務(wù)系統(tǒng)負(fù)責(zé)人與直接對話,,提升效率,;
減少了將近50%的投資,實(shí)現(xiàn)企業(yè)COST DOWN,;
原廠7*24*365超白金級服務(wù),。