亚洲网站免费_国产一区二区三区在线看麻豆 _国产精品毛片一区二区三区 _麻豆精品网站

短視頻“崛起”背后的數(shù)據(jù)中心存儲(chǔ)架構(gòu)選擇

2017-12-26 09:25:50 來源:青海新聞網(wǎng) 作者:編輯 王剛 熱度:
過去二十年,從看文字資訊,到后來看圖片集錦,再到現(xiàn)在看視頻,互聯(lián)網(wǎng)內(nèi)容不斷更新迭代,信息量變得越來越大、可視性也越來越強(qiáng)。短視頻也因此應(yīng)運(yùn)而生,并且迅速占據(jù)我們工作、生活之余的大部分碎片時(shí)間,目前,單獨(dú)一個(gè)短視頻平臺(tái)的日播放量就能高達(dá)到100億次。
 
在短視頻業(yè)務(wù)快速擴(kuò)張的背后,是各種技術(shù)的不斷革新包括移動(dòng)終端性能的提升,移動(dòng)網(wǎng)絡(luò)的提速,當(dāng)然還有后端計(jì)算平臺(tái)的日益強(qiáng)勁和穩(wěn)健。
 
當(dāng)我們從看圖時(shí)代轉(zhuǎn)向視頻時(shí)代時(shí),數(shù)據(jù)中心又需要什么樣的變革來適應(yīng)新的業(yè)務(wù)應(yīng)用?
 
開展短視頻業(yè)務(wù)前,你需要先了解這些數(shù)字
 
每月PB級(jí)的數(shù)據(jù)存在哪?
 
相對(duì)于文字和圖片,視頻的存儲(chǔ)需要更大的空間。以國內(nèi)某短視頻平臺(tái)的對(duì)外公開數(shù)據(jù)來看,其平臺(tái)注冊(cè)用戶超過5億,日活躍人數(shù)8000萬,每天新增的段視頻數(shù)量1000萬,按照1條57s的視頻大小6MB左右來算,僅從存儲(chǔ)的視頻容量來看,平臺(tái)每月新增的短視頻容量都將超過1PB。那我們?cè)偎阆拢凑諉螇K硬盤8T,每臺(tái)服務(wù)器12塊硬盤,那么每月僅為了存儲(chǔ)這些視頻就新增12臺(tái)服務(wù)器。
 
如何面對(duì)80%的“冷”卻不可舍棄的數(shù)據(jù)?
 
視頻行業(yè),不論是短視頻,還是直播,又或是視頻網(wǎng)站,他們的數(shù)據(jù)都有著一個(gè)共同的特點(diǎn)——數(shù)據(jù)的熱度不均且變化較快。比如據(jù)統(tǒng)計(jì),大部分上傳的數(shù)據(jù)的高熱度狀態(tài)僅能保持1周甚至更短的時(shí)間。在數(shù)據(jù)中心中熱數(shù)據(jù)、溫?cái)?shù)據(jù)和冷數(shù)據(jù)占總數(shù)據(jù)量的比例約為5%、15%、80%。冷數(shù)據(jù)也可以被叫做“低價(jià)值度的數(shù)據(jù)”,因?yàn)樗鼈冋加弥蟛糠值拇鎯?chǔ)空間,但是通常不會(huì)再產(chǎn)生價(jià)值(被觀看)。
 
但是,從一方面來看短視頻從本質(zhì)上來講類似QQ空間、微信朋友圈,是一種記錄生活的平臺(tái),因此平臺(tái)需要保證保有的數(shù)據(jù)不會(huì)被刪除,因此這80%的數(shù)據(jù)成為“沒有價(jià)值”但是不能被舍棄的“雞肋”數(shù)據(jù)。
 
如何安全且低成本地保存這些低價(jià)值度的視頻數(shù)據(jù)?
 
高功耗的存儲(chǔ)服務(wù)器將帶來居高不下的運(yùn)營成本
 
服務(wù)器產(chǎn)品在維護(hù)階段具有周期長、維護(hù)成本高的特點(diǎn),一般而言2年的維護(hù)成本就會(huì)超過購買成本。所以在設(shè)備運(yùn)行過程中降低耗電量和簡(jiǎn)化維護(hù)成了必須重視的工作。
 
目前國內(nèi)大部分的存儲(chǔ)服務(wù)器仍是采用通用服務(wù)器的配置,并沒有針對(duì)溫冷數(shù)據(jù)的存儲(chǔ)應(yīng)用進(jìn)行優(yōu)化。因此目前大多數(shù)數(shù)據(jù)中心中的存儲(chǔ)系統(tǒng)都處于低負(fù)載卻高功耗的狀態(tài),如何把存儲(chǔ)集群的功耗降下來,是把數(shù)據(jù)中心從成本中心轉(zhuǎn)為利潤中心的關(guān)鍵之一。
 
短視頻背后的數(shù)據(jù)中心需要怎樣的存儲(chǔ)架構(gòu)
 
計(jì)算和存儲(chǔ)分離,讓專業(yè)的機(jī)器做專業(yè)的事
 
短視頻背后的數(shù)據(jù)中心架構(gòu)其實(shí)并不是特別復(fù)雜,從視頻采集端到客戶端,編解碼、用戶特征分析由專門的計(jì)算節(jié)點(diǎn)完成;CDN節(jié)點(diǎn)負(fù)責(zé)熱點(diǎn)視頻的緩存加速和分發(fā);高密度的存儲(chǔ)節(jié)點(diǎn)用于存儲(chǔ)平臺(tái)的視頻數(shù)據(jù)。
 
CDN節(jié)點(diǎn),考慮如何讓熱點(diǎn)數(shù)據(jù)最快發(fā)出
 
由于視頻流量大,因此CDN節(jié)點(diǎn)所承載的吞吐量較大,因此對(duì)于存儲(chǔ)容量和擴(kuò)容的便捷度要求更高。另外由于CDN需要存儲(chǔ)的數(shù)據(jù)熱度不一,比如1年前的自拍視頻,和最熱網(wǎng)紅的最新出品的點(diǎn)擊率有天壤之別。因此,視頻數(shù)據(jù)需要分級(jí)存儲(chǔ),將不同熱度數(shù)據(jù)放在不同的存儲(chǔ)介質(zhì)中,充分發(fā)揮部件的利用效率,提升存儲(chǔ)能效比。
 
對(duì)于CDN服務(wù)器的選擇,通常會(huì)需要計(jì)算和存儲(chǔ)兩類服務(wù)器來支撐:計(jì)算型主要用于處理分發(fā)任務(wù)等,CPU采用較高主頻即可,對(duì)于內(nèi)存和硬盤容量的要求并不高;存儲(chǔ)型則用于在關(guān)鍵節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)和快速分發(fā),因此要求IT架構(gòu)中需要大容量的SSD或者高速HDD來應(yīng)對(duì)。
 
在服務(wù)器的選擇上可以考慮浪潮SA5212M5這種計(jì)算存儲(chǔ)均衡類服務(wù)器,。在存儲(chǔ)性能上,SA5212M5搭配12塊大容量SATA硬盤,單塊容量達(dá)到8T,單機(jī)可容納96T的CDN數(shù)據(jù),滿足CDN集群的龐大數(shù)據(jù)容量需求。而對(duì)于相對(duì)熱的數(shù)據(jù),SA5212M5中可加入的4塊2.5寸SSD盤位,將提升系統(tǒng)整體響應(yīng)速度,經(jīng)實(shí)測(cè),使用SSD固態(tài)硬盤后單臺(tái)服務(wù)器的服務(wù)能力提升了1倍以上。
 
高密存儲(chǔ)節(jié)點(diǎn),考慮如何提升存儲(chǔ)能效比
 
作為存儲(chǔ)節(jié)點(diǎn)的高密度服務(wù)器本身不需要太高的計(jì)算處理性能,因此可以選擇基于Intel Xeon-D處理器家族的SA5224M4機(jī)型,搭配單顆D-1521 CPU,借助Xeon-D的SOC特性和低功耗優(yōu)勢(shì),通過大容量8T硬盤的使用,以追求更優(yōu)的TCO收益。
 
從實(shí)際測(cè)試數(shù)據(jù)來看來看,搭載D-1531 CPU的SA5224M4的計(jì)算性能已經(jīng)達(dá)到原E5-2620V3 平臺(tái)服務(wù)器的80%左右,但是單CPU的TDP(散熱設(shè)計(jì)功耗)只用45W,相比傳統(tǒng)E5 CPU功耗降低35W以上。一般服務(wù)器的生命周期為三年,這樣算下來,1000臺(tái)的存儲(chǔ)服務(wù)器集群就能節(jié)省下至少1050萬的電費(fèi)。
 
在短視頻的傳遞鏈條中,從用戶端上傳的視頻可以直接存入4U36盤位組成的存儲(chǔ)集群中,并通過分布在各地的CDN節(jié)點(diǎn)傳送給用戶端觀看,這樣自然對(duì)后端存儲(chǔ)服務(wù)器的硬盤IO表現(xiàn)有著較高的要求。而目前應(yīng)用的SA5224M4機(jī)型,其36盤位順序?qū)懙目値捊咏?.8GB,順序讀接近6GB,有力支撐了這種硬盤高IO讀寫的性能需求。此外,借助SA5224M4的板載萬兆優(yōu)勢(shì),可構(gòu)建起10Gb的內(nèi)部高速互聯(lián)網(wǎng)絡(luò),保障了數(shù)據(jù)訪問和傳輸所需的網(wǎng)絡(luò)帶寬。
 
更高的機(jī)柜部署密度
 
同時(shí),衡量服務(wù)器的磁盤密度不僅要看每U空間支持的磁盤數(shù)量,更要放在機(jī)房供電環(huán)境下評(píng)估單機(jī)柜支持的磁盤密度。基于Intel Xeon-D平臺(tái)的集成性和低功耗優(yōu)勢(shì),在20A的機(jī)柜中,42U的空間內(nèi),SA5224M4可部署9-10臺(tái),單機(jī)柜磁盤部署密度提升25%,即以往雙路4U36需要部署5個(gè)機(jī)柜的磁盤密度,當(dāng)前4個(gè)機(jī)柜就能解決。不僅提高了單機(jī)柜供電利用效率,更減少了租賃機(jī)柜的數(shù)量,節(jié)省服務(wù)器生命周期內(nèi)的運(yùn)營成本。
 
短視頻無疑是2017年投資的風(fēng)口,在互聯(lián)網(wǎng)巨頭爭(zhēng)相布局的同時(shí),不妨審視一下自己的數(shù)據(jù)中心:你真的為海量視頻資源找到理想的存儲(chǔ)選擇了嗎?

責(zé)任編輯:王剛

相關(guān)推薦

享樂高清數(shù)字 華碩TS mini迷你家用服務(wù)器

近年來,隨著IT技術(shù)的飛速進(jìn)步,功能全面的數(shù)字化終端廣泛普及。用戶對(duì)于數(shù)據(jù)處理的實(shí)時(shí)性、交互性以及安全性都有著越來越高的要求,客觀上推動(dòng)了個(gè)人數(shù)字產(chǎn)品由單一功能轉(zhuǎn)向多元應(yīng)用,并更加高效地實(shí)現(xiàn)各種設(shè)備之間的資源共享,打造出內(nèi)容豐富、功能強(qiáng)大、靈活易用的個(gè)人/家庭數(shù)字平臺(tái)。家用服務(wù)器的出現(xiàn),加快了資源整合的過程,有力推進(jìn)了個(gè)性化數(shù)字夢(mèng)想照進(jìn)現(xiàn)實(shí)。為什么普通家庭也需要一臺(tái)服務(wù)器呢?比爾.蓋茨曾作此解釋:“如果你有多臺(tái)電腦,那么,要想隨時(shí)獲得文件,無論電腦關(guān)閉與否,你可能就會(huì)希望有一臺(tái)能夠?qū)崿F(xiàn)自動(dòng)存儲(chǔ)功能的服務(wù)器。這樣,你就不需要記住驅(qū)動(dòng)器的名稱或者帶著文件到處跑了。”與商業(yè)應(yīng)用不同,家用服務(wù)器旨在為

新視界 新網(wǎng)絡(luò)——建設(shè)數(shù)據(jù)中心級(jí)電視臺(tái)網(wǎng)絡(luò)研討會(huì)在杭州舉行

“新視界新網(wǎng)絡(luò)”--建設(shè)數(shù)據(jù)中心級(jí)電視臺(tái)網(wǎng)絡(luò)研討會(huì)在杭州召開江蘇廣電總

云計(jì)算論壇綜述

10月18日,第十九屆國際傳輸與覆蓋展覽會(huì)(ICTC2011)在西安開幕。次日下午,ICTC2011廣電IDC建設(shè)與云計(jì)算論壇在曲江國際會(huì)展中心舉行。新一代數(shù)據(jù)中心建設(shè)將走怎樣的道路?云計(jì)算又將面臨怎樣的機(jī)遇與挑戰(zhàn)呢?江蘇有線楊宏宇:針對(duì)廣電IDC建設(shè)的思考楊宏宇先生首先介紹了江蘇有線數(shù)據(jù)中心的現(xiàn)狀,目前江蘇有線的網(wǎng)絡(luò)主要由兩個(gè)平面組成,一個(gè)是光傳送平面(即物理光傳輸網(wǎng)絡(luò),采用波分技術(shù)),一個(gè)是架設(shè)在器上的業(yè)務(wù)網(wǎng)絡(luò)平面,業(yè)務(wù)網(wǎng)絡(luò)主要由數(shù)字電視專網(wǎng)、IP數(shù)據(jù)網(wǎng)、TDM專網(wǎng)組成。今后,三網(wǎng)融合多業(yè)務(wù)承載將主要通過IP數(shù)據(jù)網(wǎng)完成。通過目前已建成的省數(shù)據(jù)中心,江蘇有線已完成并實(shí)現(xiàn)了省互聯(lián)網(wǎng)出口的優(yōu)化綜

TiVo CEO:有線電視應(yīng)接受OTT

Rogers表示,TiVo現(xiàn)正看到美國有線運(yùn)營商對(duì)其產(chǎn)品的興趣越來越大。他稱為了抵抗訂戶退訂有線電視服務(wù),有線電視行業(yè)接受OTT內(nèi)容非常重要。來自市場(chǎng)研究公司Magnaglobal的一份報(bào)告顯示,到2016年,無付費(fèi)電視服務(wù)的美國電視家庭可能增加高達(dá)900萬戶,其中約400萬戶家庭取消他們的服務(wù),而另外的500萬戶從一開始就決定不訂購付費(fèi)電視。

主站蜘蛛池模板: 浦江县| 古交市| 资溪县| 淳安县| 天长市| 嘉兴市| 淳化县| 海门市| 专栏| 平度市| 张掖市| 江华| 土默特右旗| 临高县| 手游| 梁平县| 商城县| 五原县| 深泽县| 柘城县| 汉中市| 察雅县| 林州市| 镇巴县| 岚皋县| 建始县| 航空| 江口县| 绵阳市| 县级市| 封开县| 汉阴县| 雷波县| 怀安县| 应用必备| 文化| 泸溪县| 页游| 天镇县| 嘉义县| 新野县|