亞太內容分發大會暨CDN峰會一直致力于推動CDN產業深度融合發展和市場普及,現已成為亞太地區影響力最大的內容分發網絡盛會。十年來,在以阿里云、網宿科技、騰訊云等亞太CDN產業聯盟成員孜孜不輟的努力下,CDN產業已經成為基礎性設施網絡,以堅定的基石之姿,支撐起中國成為世界最大的互聯網市場。
隨著全球數字化、“一帶一路”戰略的推進,亞太內容分大會暨CDN峰會的影響力正在逐漸向全球延伸,同時也將中國智造CDN及產業鏈推廣向全球每一個角落。
在 6 月 10 日下午舉辦的【對象存儲論壇】,又拍云存儲技術負責人 黃勵博帶來了題為《又拍云存儲分層架構實踐》的精彩演講。
黃勵博首先介紹了又拍云打造的以場景化服務為核心的跨云計算平臺業務,通過深度聚焦客戶的核心體驗,又拍云以場景化服務為核心,構建了包括計算、存儲、網絡、安全在內的跨云計算平臺。作為國內知名的企業級云服務商,又拍云已為包括星巴克、快手、美團點評、華數傳媒等知名企業在內的超 50 萬企業級客戶提供云服務,覆蓋音視頻、直播、電商、游戲、金融、廣電、在線教育、小程序等諸多行業,幫助企業用戶和開發者輕松實現穩定、可靠、安全的云服務。
黃勵博表示,又拍云作為國內最早提供云存儲服務的廠商,行業經驗頗多,其提供的海量、安全、高可靠的面向非結構化數據的云存儲服務,能夠滿足大數據、人工智能、物聯網背景下的數據傳輸、處理、存儲、分發與容災需求,具有如下優點:
穩定可靠。數據多備份,跨數據中心存儲,熱門數據多個數據中心綬存,確保業務穩定、持久可信;
簡單易用。設計簡單,保留 Linux、Windows 的使用習慣,Bucket 不限存儲容量,可自動彈性擴展;
數據安全。提供賬號級、Bucket 級、Object 級 ACL,數據中心具備 DDoS、CC 防護等能力,確保數據訪問安全;
靈活上傳。體現在上傳加速、下載加速、多種上傳方式,基于分布式加速網絡,上傳速度快,支持大流量并發上傳;
接入方便。支持數據遷移、在線壓縮解壓縮和 FTP,讓云存儲接入和使用更簡單。
如此優異的性能表現,得益于又拍云存儲服務采用的分布式架構,使其不僅應用場景廣泛,還降低了運營成本并合理利用了容量。黃勵博解釋道,該存儲架構隨著靜態文件的不斷增加,為了降低 Web 服務器負載,可將靜態文件全部放在云存儲,從此無需考慮存儲容量及架構升級。此外,還可以負載海量文件存儲,適用于圖片、音視頻、應用安裝包等,配合 CDN 加速服務為互聯網應用提供最佳體驗。在數據歸檔與備份功能方面,可以提供更具成本效益的集中備份方案。
一切的服務和升級都是為了滿足用戶的需求。又拍云的用戶類型主要分為存儲用戶、S3兼容用戶、CDN用戶。其中,廣大普通存儲用戶直接通過云存儲 AP SDK 等工具使用存儲服務,S3兼容客戶一般是海外客戶,CDN 用戶會把存儲源作為源站,作為文件緩存等。
在統一接入層,主要提供了分區,分片,路由等功能。分區主要是根據副本,性能,帶寬延遲等需求和文件搜索文件查找的一些特殊要求決定。分片主要是針對大文件,有提高并發數,減少延遲的作用。
路由當然是根據以上這些需求,動態的選擇一個存儲集群來存儲和訪問。在存儲層通過 Unified Storage Api 來訪問,根據存儲數據的類型不同,分為 Metadata Storage,Block Storage,Event Storage,Metadata Storage 主要存儲對象存儲系統的元數據,類似 inode 信息,另外可以存儲少量 data,優化減少首包延遲。元數據存儲層又細分為 Mysql、Hbase 和 TiKV,可參考下圖了解:
元數據存儲系統采用以上的開源服務,又拍云在此之上開發了一系列的代理服務。比如解決了 Hbase Rest Server 的對外訪問的安全性問題,同時可以統計相關請求,及時發現超時空洞等情況,及時觸發合并壓縮操作。
作為又拍云存儲服務的重要部分,又拍云數據片存儲系統根據 Amazon Dynamo 論文實現,采用了 Quorum- Based 復制機制,實現寫 N 讀 1, 可以保證各個副本的一致性,節點間 Handoff 機制和副本間 Repair 機制保證了副本的數量和副本間的一致性,節點信息通過 Gossip 傳播。
涉及到存儲層 Event 采集系統的部分,黃勵博介紹道,Event Storage 分為 Kafka、NSQ 和 Redis 三個板塊。其中關于基于 Kafka 的存儲異步任務又細分為多個部分,例如遷移、優化、垃圾回收、修復、過期、索引以及統計等。
又拍云 Event 存儲基于內容優化,支持內容尋址冷熱遷移,副本遷移等存儲業務上保證消息只處理一次,極大提高了處理速率。而基于 NSQ 的存儲處理服務中,圖片處理、文檔處理和音視頻處理是云拍云存儲服務的重要內容,這方面又拍云的優勢在于實現支持優先級隊列的 NSQ,方便定制功能,事件處理完成即可,不用保存到磁盤。
最后,黃勵博再次強調了又拍云對用戶的重視與技術投入,新十年,又拍云明確要打造以場景化服務為核心的跨云計算平臺,在相繼推出直播云服務、完善云存儲+CDN 一體化服務和推出容器云平臺后,又拍云將在音視頻、金融等更多的領域展開合作,繼續為幫助企業用戶和開發者輕松實現穩定、可靠、安全的云服務而不懈努力。