亚洲网站免费_国产一区二区三区在线看麻豆 _国产精品毛片一区二区三区 _麻豆精品网站

「阿里云」羅慶超:對象存儲OSS支撐CDN場景的經驗教訓

亞太內容分發大會暨CDN峰會一直致力于推動CDN產業深度融合發展和市場普及,現已成為亞太地區影響力最大的內容分發網絡盛會。十年來,在以阿里云、網宿科技、騰訊云等亞太CDN產業聯盟成員孜孜不輟的努力下,CDN產業已經成為基礎性設施網絡,以堅定的基石之姿,支撐起中國成為世界最大的互聯網市場。

隨著全球數字化、“一帶一路”戰略的推進,亞太內容分大會暨CDN峰會的影響力正在逐漸向全球延伸,同時也將中國智造CDN及產業鏈推廣向全球每一個角落。

「阿里云」羅慶超:對象存儲OSS支撐CDN場景的經驗教訓-DVBCN

在6月10日下午舉辦的【對象存儲論壇】上,阿里巴巴資深技術專家、對象存儲OSS負責人 羅慶超發表了題為《對象存儲OSS支撐CDN場景的經驗教訓》的精彩演講。

「阿里云」羅慶超:對象存儲OSS支撐CDN場景的經驗教訓-DVBCN

羅慶超從多個角度出發,講解了阿里云對象存儲OSS和CDN結合過程當中的總結和教訓。

一 如何提高互聯網全球訪問體驗

「阿里云」羅慶超:對象存儲OSS支撐CDN場景的經驗教訓-DVBCN

提高互聯網全球訪問體驗,需要全球部署的CDN網絡支持,而在雙十一這樣的特殊節日怎樣提高用戶體驗呢?羅慶超表示可以通過L1-L2-L3緩存再回到源站實現,源站不能是唯一的,要在不同的國家和地區構建源站,在此基礎上構建圈層。尤其是在海外,根據國家地區的網絡的情況去甄別出50毫秒的圈層、100毫秒圈層等,通過圈層部署源站,再搭建L1、L2、L3緩存,這樣應用才能達到秒開效果。對象存儲作為CDN源站是非常好的選擇,阿里云對象存儲OSS支持了淘寶、支付寶等阿里絕大部分應用,支持了CDN百Tbps級別的全球訪問流量。

二 如何保護數據隱私和安全防護

如果沒有為APP做安全隔離設計,數據就面臨泄露的隱患。2020年,全球發生了2932起安全泄露事件,泄露記錄達到370億條。為了防護黑客攻擊,對象存儲的數據隱私、簽名都要做防護。

OSS提供云認證體系、訪問授權功能,數據可以只被指定賬號使用、指定IP訪問,通過日志還可提供訪問審計。除了數據隱私被授權訪問外,還需要面對應用突然爆發帶來的影響,例如游戲類客戶被競爭對手攻擊,瘋狂下載客戶的圖片、視頻,讓費用陡然增高,之后欠費停服。因此在CDN層面和對象存儲層面,一定要做到防攻擊,特別是是CC攻擊、DDOS攻擊能力,同時OSS提供用戶帶寬上限、單鏈接限速、沙箱防護等特性,發現誰攻擊就直接把攻擊來源拉入黑洞,讓攻擊方無法攻擊整個系統。

三 如何保證數據不丟

訪問的數據不存在會導致業務失敗,數據丟失對于企業的影響非常大,據統計如果企業丟數據10天,則 93% 的企業將會在一年內倒閉。

沒有數據可靠性衡量標準,對于云廠商來說是不可接受的,因此阿里云OSS定義了云可靠性度量的指標。通常業界對象存儲是11個9的年可靠性標準,表示每年可丟失0.000000001%對象,這是可度量的值和廠家明確的定義,可以通過該標準來判斷可靠性是否滿足業界要求。

存儲服務是云服務中最基礎的,有了這個標準之后就可以讓SaaS、PaaS放心使用。OSS經過優化,把這一指標提高了10倍,其中有不少關鍵技術,例如降低年故障率AFR,故障率降低修復的代價就越小;跨數據中心的算法,實現數據中心損壞依然有方法把數據找回來,通過這些技術把可靠性標準提高。

四 保證數據不錯

數據錯誤存在于以下場景中:使用IT設備的時候經常會遇到這樣的問題,硬盤發生靜默錯誤,一塊硬盤放置了幾年,文件無法找回了,原因是存在硬盤中的介質數據是會翻轉的,數據翻轉的影響非常大,尤其對于金融系統,1翻轉成0帶來的影響和損失不可估量。因為規模非常大,除了硬盤靜默數據錯誤外,也會發現服務器的網卡翻轉,以及CPU的靜默數據損壞。其中CPU靜默數據損壞最難處理,谷歌和臉書都發表了相關論文,阿里也正在和高校合作一起探索解決該問題。

除了硬件錯誤外還有軟件錯誤,特別是軟件BUG會導致數據丟失,如果元數據收到影響,則可能從一臺機器擴散到一個集群,甚至被數據復制功能擴展到全球整個服務,所以數據出錯是非常困難的一件事。通過數據校驗設計,端到端全流程跟蹤數據錯誤。單純依靠主動防護檢查是不夠的,還需假設數據就會出錯來設計防護機制,特別是快速檢測BUG、快速修復數據,將整個機制有機結合起來,才能真正的保證數據在軟、硬件異常時不丟不錯。

五 如何提高數據訪問成功率

提高訪問成功率,可以提高APP的用戶體驗。阿里云支撐業界APP的應對方法就是提供99.995%的可用性SLA。日常生活中APP訪問成功率影響體驗的場景,就是去掃碼支付時,一直不成功無法交易。當今的國民級APP應用一旦出現不可用,并且超過30分鐘,肯定引起重大輿情。

解決這一問題,需要使用可用性SLA度量指標,業界對象存儲典型的可用性SLA為99.9%,而OSS依靠大量的冗余架構設計,將該指標提升了10倍以上,達到99.995%,從而支撐上層APP達到5個9的可用性。除了冗余架構設計外,基于公共云的DEVOPS機制,快速迭代、優化問題、智能運維都是幫助異常快速恢復的關鍵機制。

六 如何提升容災能力

針對光纖挖斷、地質災害等意外帶來的數據中心級故障OSS做了容災設計,從一個數據中心將數據復制到另一個數據中心,從而保證業務連續性。

為了讓多個數據中心同時提供服務,OSS還提供異地多活解決方案,它結合跨地域復制和鏡像回源功能,數據從主站寫入,OSS然后復制到備站,然后就可以在三個數據中心讀取數據。當在備站讀取時沒有得到最新數據,那么采用鏡像回源去主站讀取最新數據。阿里云上有大量應用采取異地多活的方案,提高了數據容災能力同時,提供多活功能,實現高可用。

七 解決海量數據擴展性

通過業務使用數據的方式來看,目錄層級設計是限制文件系統擴展的瓶頸,特別是到了百萬億量級,使用目錄的方式非常難。對象存儲OSS采用平坦模式管理數據,在EB級規模下實現線性擴展、按需付費、讀寫高效。

八 如何優化性能

數據存入對象存儲后,還要關注性能,特別是帶寬、QPS、時延。所以在對象存儲設計時,要對這三方面的性能進行全方位考慮,找出數據熱點、時延抖動原因,針對瓶頸進行優化,從而實現高性能。針對數據湖場景還提供性能加速器,它靠近計算的可用區部署,讓帶寬和時延都得到更好的滿足。

九 如何高效處理數據

羅慶超以內容分發為例,該場景需要大量處理圖片、視頻、文檔,分發給不同的終端,將不同尺寸的圖片在CDN全部緩存,成本很高。可以在需要時,才對圖片進行實時處理,此時使用OSS的圖片處理功能按需進行圖像處理,從而減少在海量的CDN節點來處理圖片,大大降低計算成本。

OSS在數據中心內提供數據就近處理框架,該框架支持多種運行環境,能夠卸載各種算子,支持實時、離線處理,大幅度優化存儲、網絡、計算成本,這就是做OSS數據處理背后的設計邏輯。

十 如何提升優化圖片體驗

「阿里云」羅慶超:對象存儲OSS支撐CDN場景的經驗教訓-DVBCN

通過OSS訪問對象的url后面指定參數,就可以完成圖片處理,非常簡單易用,可以稱的上是云上PS,無需本地安裝圖片處理軟件、非常高效,目前支持6種類型的格式,并且通過加速之后時延下降80%-90%。

十一 如何提升優化視頻體驗

如用戶想對視頻進行截圖,然后進行協作編輯,調用OSS的視頻處理就非常合適。只需要在OSS訪問對象的url后指定視頻截幀參數即可。整個處理都是在后端,對成本、時延、體驗都非常好,阿里云上有大量視頻團隊調用該能力處理數據。

「阿里云」羅慶超:對象存儲OSS支撐CDN場景的經驗教訓-DVBCN

十二 如何提升優化文檔體驗

處理文檔方面,可以直接在對象存儲上實現文檔的預覽和轉換,應用最多的就是釘釘。基于釘釘APP,手機上不裝任何文檔處理軟件,就可以實現48種文件的預覽,而實際上整個預覽都在OSS上完成。文檔轉換場景,使用最多的就是生活中開發票,其背后就是文檔轉換,將發票抬頭、稅號、紅印章在word文檔中編輯,然后轉換成PDF格式,大量線上做文檔轉換公司也在采用該技術。

十三 如何優化成本

「阿里云」羅慶超:對象存儲OSS支撐CDN場景的經驗教訓-DVBCN

如何降低成本是客戶非常關心的問題,每年SS重要的任務就是和業務團隊討論成本怎樣優化。從訪問的路徑可以看到,CDN從L1緩存、L2緩存、L3緩存、再回到源站OSS,在整條路徑上拉專線,就能降低成本。第二個路徑,如果訪問CDN命中率低,客戶端可以直接訪問OSS,它減少了訪問的網絡路徑從而成本更優,因此根據命中率優化訪問路徑也是降成本的重要手段。

十四 如何做好數據管理

「阿里云」羅慶超:對象存儲OSS支撐CDN場景的經驗教訓-DVBCN

數據治理,核心是根據數據的熱度進行有效的成本優化。不少互聯網應用都具有熱點效應,數據集中在幾周或一個月內高頻訪問,之后很少使用。因此,熱點數據使用性能最好的標準型,價格高、性能好;訪問較少的數據,保存到歸檔性,價格低、性能弱。數據治理時,就要根據數據的冷熱度,配置生命周期策略,OSS自動將標準型數據遷移為歸檔型數據,從而讓整體成本更低。

羅慶超最后表示,數據治理是對象存儲中很關鍵的技術,也是很愿意和同仁們一起分享討論的技術點。

相關文章
阿里巴巴9月份季度業績:優酷運營虧損逐步減少,云智能集團收入為296.10億元
阿里巴巴9月份季度業績:優酷運營虧損逐…
阿里巴巴集團急剎車!決定不再推進云智能集團的完全分拆
阿里巴巴集團急剎車!決定不再推進云智…
阿里巴巴6月份季度業績:優酷總訂閱收入同比增長5%
阿里巴巴6月份季度業績:優酷總訂閱收入…
阿里云容蓓:DCDN助力云原生時代的應用構建及最佳實踐
阿里云容蓓:DCDN助力云原生時代的應用…
張勇宣布!阿里云智能集團將實現從阿里巴巴集團分拆并完成獨立上市
張勇宣布!阿里云智能集團將實現從阿里…
張勇全職投入阿里云智能業務,蔡崇信、吳泳銘接任阿里巴巴董事長及CEO職位
張勇全職投入阿里云智能業務,蔡崇信、…
我還沒有學會寫個人說明!
主站蜘蛛池模板: 当阳市| 咸宁市| 裕民县| 溧阳市| 正蓝旗| 德令哈市| 金昌市| 聊城市| 黔江区| 华蓥市| 融水| 东山县| 塔河县| 安义县| 通江县| 桂东县| 陕西省| 庆安县| 浮梁县| 洪江市| 汉中市| 新乐市| 寿阳县| 黄山市| 彰化县| 金沙县| 宕昌县| 镇平县| 全州县| 长沙市| 周口市| 监利县| 天气| 新兴县| 江门市| 东城区| 辛集市| 临泉县| 涟水县| 洛扎县| 洪洞县|