云存儲，早已不是一個新鮮的詞。隨著平安城市等大型安防項目數(shù)量的日益增多，規(guī)模的日益龐大，云存儲迅速從一個概念詞匯，蛻變成一個又一個成熟的產(chǎn)品。環(huán)顧四周，業(yè)內(nèi)主流安防廠商都已把云存儲作為公司的重點產(chǎn)品，作為未來大型監(jiān)控項目中的存儲解決之道。
我們?yōu)槭裁葱枰拼鎯?
近年來，在網(wǎng)絡(luò)化，高清化浪潮的席卷下，NVR存儲，NAS存儲，SAN存儲成為當前安防視頻監(jiān)控行業(yè)的主流視頻存儲方案。其中，對于大中型視頻監(jiān)控系統(tǒng)而言，以iSCSI存儲為主的SAN存儲方案因技術(shù)成熟、存儲效率高、部署靈活成為長期的熱門選擇。
然而，SAN存儲終究到了瓶頸：D1、CIP早已是昨日黃花，720P、1080P已是市場主流，4K，甚至8K一躍成為新秀;單純圖像存儲已是過去式，各類視頻分析技術(shù)帶來的結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，都在存儲系統(tǒng)上叫囂著一席之地。視頻監(jiān)控大聯(lián)網(wǎng)、高清甚至超清化、智能分析的聯(lián)合推動，促使視頻監(jiān)控系統(tǒng)的監(jiān)控點數(shù)越來越多、視頻碼流越來越大，存儲時間則要求保持不變甚至更長。相較于數(shù)字標清時代，一個視頻監(jiān)控系統(tǒng)要求上千TB的存儲空間已不再是個例，容量的最佳單位從“TB”變?yōu)榱?ldquo;PB”。
存儲容量要達到PB，用傳統(tǒng)方法也可以實現(xiàn)，這就出現(xiàn)了通過部署更多的視頻存儲服務(wù)器(或模塊)、視頻轉(zhuǎn)發(fā)服務(wù)器(或模塊)，獲取更多流媒體數(shù)據(jù)存儲和轉(zhuǎn)發(fā)能力，從而實現(xiàn)系統(tǒng)業(yè)務(wù)容量擴展，IPSAN存儲空間也伴隨服務(wù)器(或模塊)數(shù)量的擴展而不斷增加的方法。可以說，IPSAN的擴容能力主要受制于存儲業(yè)務(wù)服務(wù)器(或模塊)，從理論上來講，只要存儲業(yè)務(wù)服務(wù)器(或模塊)數(shù)目足夠多、能力足夠大，IPSAN存儲總能隨之擴展。
因此，從業(yè)務(wù)能力上看，IPSAN存儲似乎能夠滿足大中型視頻監(jiān)控系統(tǒng)對存儲增長的需求。然而，隨著存儲陣列數(shù)量的增加，高清視頻碼流的增大，讀寫業(yè)務(wù)的增多，IPSAN存儲系統(tǒng)的非功能性問題也逐步暴露出來，主要有如下4點：
1、存儲設(shè)備的管理和維護越來越困難
在IPSAN存儲系統(tǒng)中，存儲設(shè)備之間相互獨立，運維人員需要針對單臺設(shè)備進行維護和管理。同時，由于其中的硬盤屬于消耗品，長時間的高碼率并發(fā)讀寫，硬盤故障率也逐步升高。為保證錄像不被損壞丟失，必須對設(shè)備進行密切的狀態(tài)監(jiān)控并隨時更換損壞的硬盤。面對幾十臺規(guī)模的存儲設(shè)備，維護起來已經(jīng)相當不容易，如果數(shù)量達到上百臺，維護的工作量就不是一件簡單的事情了。
2、數(shù)據(jù)存儲的可靠性越來越難保證
IPSAN存儲設(shè)備對數(shù)據(jù)的保護依賴于本機磁盤組的Raid技術(shù)。業(yè)界一般采用Raid5，能允許1塊硬盤損壞，但如果同時有2塊硬盤損壞，這個Raid組的數(shù)據(jù)就會丟失。所以，如果出現(xiàn)硬盤損壞，需要盡快更換硬盤進行Raid重構(gòu)，恢復(fù)數(shù)據(jù)。而在數(shù)據(jù)重構(gòu)期間，如果再出現(xiàn)一塊硬盤損壞，數(shù)據(jù)就會丟失，因此Raid重構(gòu)時間越短越好。然而，Raid重構(gòu)的時間跟硬盤容量有關(guān)系，以3T磁盤為例，按照在線修復(fù)的模式，磁盤的平均寫入速度在50MB/s左右，此時Raid5修復(fù)的時間長達16個小時，實際應(yīng)用中，一般都在20個小時左右。隨著當前的硬盤容量越來越大，3T硬盤已經(jīng)成為主流，4T也已經(jīng)普及，一些地方甚至用上了6T硬盤，這必將導(dǎo)致Raid的修復(fù)時間窗口越來越大，在這個窗口內(nèi)，第二塊盤損壞的概率也越來越大，再考慮到長時間高碼率并發(fā)讀寫導(dǎo)致的硬盤故障率上升，存儲設(shè)備數(shù)目龐大導(dǎo)致的維護響應(yīng)時間延長，視頻數(shù)據(jù)的可靠性越來越難以保證。
3、數(shù)據(jù)傳輸能力逐漸出現(xiàn)瓶頸
IPSAN方案中，單個監(jiān)控點的視頻錄像一般都存儲在一臺陣列設(shè)備上。隨著視頻監(jiān)控系統(tǒng)規(guī)模的擴大，各類用戶增多，在加上視頻碼流的逐步提升以及上層圖像綜合應(yīng)用的不斷豐富，系統(tǒng)對于單臺磁陣的吞吐能力也提出了更高的要求，特別是在應(yīng)急聯(lián)合作戰(zhàn)的情況下，并發(fā)的視頻錄像調(diào)取、回放和實時調(diào)度的監(jiān)控路數(shù)都快速增加，大量的業(yè)務(wù)可能都會集中到某一臺存儲設(shè)備上，面對這些日益增長的隨機并發(fā)訪問，單臺設(shè)備的性能成為瓶頸。
4、數(shù)據(jù)共享能力不能滿足業(yè)務(wù)需求
在目前大中型的IPSAN存儲方案中，IPSAN設(shè)備雖然很多，但是彼此孤立，各自提供獨立的存儲空間給不同業(yè)務(wù)模塊使用，其中的數(shù)據(jù)只能由掛載該存儲空間的業(yè)務(wù)服務(wù)讀寫，其他非掛載該陣列設(shè)備的圖像綜合業(yè)務(wù)系統(tǒng)則很難直接訪問到該存儲空間中的特定數(shù)據(jù)，即使能通過網(wǎng)絡(luò)文件方式訪問，對于數(shù)目如此龐大的存儲陣列，也需要業(yè)務(wù)系統(tǒng)進行數(shù)目龐大路徑加載。因此，IPSAN的數(shù)據(jù)共享能力很差，從而也影響到了圖像綜合業(yè)務(wù)的發(fā)展。
上述的問題在IPSAN存儲系統(tǒng)不是很龐大的情況下，表現(xiàn)的并不明顯，然而隨著監(jiān)控系統(tǒng)規(guī)模的逐步擴大，存儲數(shù)量的不斷增加，大中型視頻監(jiān)控系統(tǒng)不得不面對這些問題并探尋新的存儲系統(tǒng)和解決方案。
安防云存儲的誕生
相較于上面所說的IPSAN無限擴容帶來的不足，云存儲的優(yōu)勢是顯而易見的：
①服務(wù)性質(zhì)更強
云存儲系統(tǒng)由多臺云存儲設(shè)備構(gòu)成，但是提供統(tǒng)一的虛擬存儲空間，用戶和業(yè)務(wù)系統(tǒng)在使用云存儲時只感知空間，不感知節(jié)點，不用關(guān)心存儲空間由哪些存設(shè)備構(gòu)成，這些設(shè)備放在何處。這使得用戶與應(yīng)用提供者，無需為繁瑣的細節(jié)而煩惱，能夠更加專注于自己的業(yè)務(wù);對于租用云服務(wù)的用戶、應(yīng)用開發(fā)尚而言，更是直接省去了自建存儲系統(tǒng)的費用與設(shè)備維護成本。
②維護更簡單
選擇自建私有云模式的用戶也不用臺擔心，云存儲提供集群化管理模式，用戶只需要登錄到云存儲系統(tǒng)的一個IP地址，就可以看到所有的存儲設(shè)備狀態(tài)、相應(yīng)的磁盤狀態(tài)以及整體存儲空間的使用情況。系統(tǒng)還會針對不同的異常和故障問題及時的給出告警通知和日志記錄，大大簡化了管理員對存儲系統(tǒng)的維護和管理工作。
③使用更安全
云存儲系統(tǒng)采用基于糾刪碼的分布式離散存儲策略，需要存儲的數(shù)據(jù)信息都被條帶化、離散化，直接拆分成多個數(shù)據(jù)塊，然后計算冗余校驗數(shù)據(jù)塊，再分散存儲到不同的云存儲設(shè)備中，數(shù)據(jù)的分散程度和冗余程度可以通過系統(tǒng)進行靈活設(shè)置。通過糾刪碼的冗余校驗機制，系統(tǒng)提供數(shù)據(jù)高可靠性保護，可以允許系統(tǒng)壞多塊硬盤，甚至多個存儲設(shè)備節(jié)點而不會造成數(shù)據(jù)丟失，或者只影響和丟失很小部分的數(shù)據(jù)，其他數(shù)據(jù)的讀取不受影響，寫入則完全不受影響。此外，由于采用系統(tǒng)級離散存儲，多個存儲節(jié)點中都有相應(yīng)的數(shù)據(jù)塊和校驗塊，在硬盤損壞后恢復(fù)硬盤數(shù)據(jù)時由多個存儲節(jié)點在空閑的空間內(nèi)同時進行重構(gòu)，要比傳統(tǒng)的基于磁盤的Raid快得多，重構(gòu)速度可以達到1個小時以內(nèi)。
④讀取、輸入更流暢
云存儲系統(tǒng)采用糾刪碼離散存儲策略，任何一段視頻都被拆分成多個數(shù)據(jù)塊分散并同時存儲到多個存儲節(jié)點中，因此，對該段視頻的讀取都由多臺存儲設(shè)備同時提供服務(wù)，避免了通過單臺設(shè)備讀取而造成的性能瓶頸。
⑤動態(tài)伸縮，擴容更方便
傳統(tǒng)存儲，業(yè)務(wù)系統(tǒng)直接跟每一臺存儲設(shè)備打交道，每擴容一次，都要識別和掛載新的存儲設(shè)備，并進行原有數(shù)據(jù)的遷移，從而導(dǎo)致業(yè)務(wù)長時間中斷。而云存儲采用存儲虛擬化技術(shù)，業(yè)務(wù)系統(tǒng)只感知整體容量的變化，不關(guān)心具體設(shè)備，并且擴容后原有數(shù)據(jù)會在新的存儲空間中自動重組和均衡，業(yè)務(wù)不受任何影響。
⑥數(shù)據(jù)共享無障礙
傳統(tǒng)存儲接口封閉，一個存儲系統(tǒng)只對接一套業(yè)務(wù)，視頻監(jiān)控、智能分析、圖像偵查等每個業(yè)務(wù)都要建立自己的存儲系統(tǒng)，互相之間數(shù)據(jù)共享效率十分低下。而云存儲提供統(tǒng)一的存儲空間、命名空間，不同的業(yè)務(wù)系統(tǒng)，對存儲系統(tǒng)的訪問是一致的，這些數(shù)據(jù)在權(quán)限控制下都可以通過統(tǒng)一的命名路徑直接進行讀取，從而提升了不同業(yè)務(wù)系統(tǒng)間數(shù)據(jù)信息的共享能力。
上面說過，目前安防主流廠商均已推出自己的云存儲系統(tǒng)，而科達的“天際“云存儲，在具備以上所有云存儲優(yōu)勢的同時，還有幾點獨特之處：
① 支持BBU電池。天際云存儲在每個存儲節(jié)點都配備了BBU電池，當某個存儲節(jié)點發(fā)生異常斷電時，存儲節(jié)點會及時保存緩存中的數(shù)據(jù)到磁盤，確保數(shù)據(jù)不會丟失，并同時向控制節(jié)點發(fā)送告警通知，由控制節(jié)點操作，“屏蔽”該存儲節(jié)點，將設(shè)備斷電時期的業(yè)務(wù)遷移至其他存儲節(jié)點，從而避免數(shù)據(jù)丟失。
② 支持仲裁模式，極端容錯。天際云存儲支持仲裁模式，當所有控制節(jié)點(元數(shù)據(jù)節(jié)點)全部異常時，啟動仲裁模式，視頻存儲的業(yè)務(wù)不會中斷，數(shù)據(jù)不會丟失;當控制節(jié)點恢復(fù)后，存儲節(jié)點會自動同步異常期間數(shù)據(jù)信息至控制節(jié)點，恢復(fù)整個系統(tǒng)。
③ 存儲內(nèi)容更多樣。與一般安防云存儲只支持視頻和圖片存儲不同，天際云存儲不僅可存放視頻、圖片數(shù)據(jù)，還可以存放多種類型的一般的文件數(shù)據(jù)。
④更加標準、開放。天際云存儲具備多種開放的、標準的業(yè)務(wù)數(shù)據(jù)訪問接口：支持NFS、S3、FTP等通用接口及基于SDK的專業(yè)服務(wù)接口，同時還支持HDFS接口服務(wù)，可與業(yè)界的云平臺大數(shù)據(jù)系統(tǒng)進行對接。
云存儲技術(shù)未來的發(fā)展方向
上面全是講的云存儲的優(yōu)勢，且不少安防廠商也有了自己的云存儲應(yīng)用案例，如科達天際云存儲在柳州平安城市中的應(yīng)用等等，但目前云存儲技術(shù)還遠非“完美”，仍有很多地方需要繼續(xù)完善。
① 提高可靠性與安全性。
為滿足可靠性、安全性的要求，需要云存儲系統(tǒng)提供更為可靠、安全的數(shù)據(jù)保護能力和訪問控制機制，特別是對于互聯(lián)網(wǎng)應(yīng)用的情況，必須能夠保證用戶的數(shù)據(jù)安全性，提供多層面的數(shù)據(jù)服務(wù)保證。
此外，由于大規(guī)模數(shù)據(jù)存儲對硬盤的讀寫能力要求較高，而硬盤恰恰是存儲系統(tǒng)中最易損壞的設(shè)備。因此，云存儲系統(tǒng)對硬盤的優(yōu)化讀寫以及容錯機制，還可以進一步優(yōu)化，充分利用硬盤的最新技術(shù)在提升數(shù)據(jù)可靠性和讀寫性能的同時，降低硬盤損壞率，減少硬盤損壞對數(shù)據(jù)和系統(tǒng)的影響。
② 數(shù)據(jù)與計算的進一步結(jié)合
云存儲作為一個龐大的數(shù)據(jù)存儲中心，一般都由很多存儲節(jié)點組成，如果這些節(jié)點能夠同時具備便捷計算的能力，直接在數(shù)據(jù)存儲的節(jié)點上完成數(shù)據(jù)分析工作，那么計算的過程將不需要通過前端網(wǎng)絡(luò)實現(xiàn)過多的數(shù)據(jù)存取調(diào)度業(yè)務(wù)，從而降低業(yè)務(wù)網(wǎng)絡(luò)運輸?shù)膲毫Γ蔡嵘丝傮w數(shù)據(jù)分析的速度。
③ 更高效的數(shù)據(jù)冗余
目前，很多云存儲系統(tǒng)，特別是互聯(lián)網(wǎng)上的云存儲系統(tǒng)，都傾向于采用多副本方式實現(xiàn)數(shù)據(jù)冗余，提升數(shù)據(jù)的可靠性，但這必然會帶來存儲空間使用率低下的問題;而針對大規(guī)模視頻監(jiān)控系統(tǒng)的安防云存儲來說，副本方式幾乎是不能接受的，建設(shè)成本太高，性價比太低。因此，必須采用更為先進的技術(shù)，在降低數(shù)據(jù)冗余度的同時，能同時提高數(shù)據(jù)的可靠性，糾刪碼是其中一類技術(shù)，相信以后還會有更新的技術(shù)。
④ 高效異地容災(zāi)技術(shù)
異地容災(zāi)技術(shù)目前還主要針對計算機業(yè)務(wù)系統(tǒng)，和輕量級的數(shù)據(jù)存儲(如銀行數(shù)據(jù)庫等)，而像安防監(jiān)控那樣海量的數(shù)據(jù)存儲系統(tǒng)，真正的數(shù)據(jù)異地容災(zāi)還無法很好的實現(xiàn)，其主要的原因是安防存儲的數(shù)據(jù)流量太大，數(shù)據(jù)存儲的體量也太大，傳統(tǒng)異地容災(zāi)技術(shù)成本太高。因此，我們需要更新的技術(shù)，來實現(xiàn)此類海量安防視頻數(shù)據(jù)的異地容災(zāi)機制，提高系統(tǒng)整體的可靠性。
⑤ 可針對特定專業(yè)用戶的專業(yè)化數(shù)據(jù)存儲服務(wù)定制能力
目前，針對通用市場的互聯(lián)網(wǎng)云存儲仍以單一的存儲服務(wù)為主，不管是互聯(lián)網(wǎng)云存儲或是安防云存儲，在專業(yè)化定制服務(wù)方面仍需加強，讓存儲系統(tǒng)與用戶的各項業(yè)務(wù)結(jié)合更緊密，比如針對特定業(yè)務(wù)的數(shù)據(jù)存儲管理優(yōu)化，提升特定業(yè)務(wù)數(shù)據(jù)存儲和調(diào)閱的效率;對存儲內(nèi)容提供更豐富的信息描述，以及數(shù)據(jù)標簽等，充分發(fā)揮云存儲自身的特性的同時提升專業(yè)服務(wù)能力。
講了這么多，以云存儲與當下談得火熱的“大數(shù)據(jù)”、“物聯(lián)網(wǎng)”之間的關(guān)系結(jié)尾：當視頻圖像信息都集中存儲在統(tǒng)一的云存儲系統(tǒng)中時，對圖像信息的調(diào)取、融合與聯(lián)合分析會更全面、更快速，對信息的綜合處理能力會更強，大數(shù)據(jù)云平臺的效用才能得到淋漓盡致地發(fā)揮。直接反應(yīng)在公安實際操作中就是，圖像信息的檢索、視頻摘要分析、信息綜合分析判斷等操作速度會更快，應(yīng)用于綜合分析的信息會更多，最終得到的分析結(jié)論也就越準確。
總之一句話，云存儲，正在帶動一場安防存儲方式的革命。
聲明：
本文章轉(zhuǎn)載"CPS中安網(wǎng)"，非本網(wǎng)作品均來自互聯(lián)網(wǎng)，轉(zhuǎn)載目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其真實性負責。
中文
EN
GER
關(guān)注意林微博
關(guān)注意林公眾號
