大數據管理公司Hortonworks今天宣布推出其核心Hortonworks Data Platform的第三代版本,并與包括谷歌、微軟和IBM等云計算領導廠商擴大合作伙伴關系。
Hortonworks在加州圣何塞舉行的DataWorks峰會上宣布推出了HDP 3.0,讓企業能夠跨不同計算環境更輕松地運行應用,無論是在云中還是在本地數據中心。
HDP 3.0計劃在第三季度上市,它是基于最新版本的開源Apache Hadoop平臺,Hortonworks稱這將讓自己的Hadoop發行版與其他公司的區分開。
Hortonworks首席技術官Scott Gnau表示:“我們看到向現代數據架構的巨大遷移,這種架構中包含了比以往更多的云相關的內容。這意味著客戶的數據將在數據中心、云端和這時間的任何地方。所以,要打造一種無縫的體驗。”
特別是HDP 3.0增加了幾項新功能。首先,是能夠使用容器跨不同計算環境快速部署應用,打包應用使其可以在云中或各種數據中心中運行。Gnau說:“如果你在Google、AWS或Azure上運行HDP 3.0,那么應用運行的方式也是一樣的。”
其次是對深度學習應用的支持,這些應用采用人工神經網絡來識別圖像和語音,以及其他數據密集型人工智能任務。HDP 3.0讓數據科學家能夠使用GPU共享對服務器的訪問,GPU作為一種高度并行的芯片已經廣泛用于訓練和運行機器學習模型。
Hortonworks表示,新平臺還通過使用一種實時數據庫提供改進的查詢優化,因此無論是在云端還是在本地,都可以獲得更多數據并加快處理速度。這項功能可由開源Hadoop數據倉庫Apache Hive啟用。
此外,HDP 3.0還支持所有主要的云數據存儲庫,包括AWS S3、微軟Azure Storage Blob和Google Cloud Storage。Gnau表示,這讓企業能夠將數據遷移到使用效率最高的地方,例如將數據從S3遷移回Hadoop分布式文件系統,以為某些應用實現更高的性能。
此外,Hortonworks還宣布擴大與多家云提供商的合作關系,包括優化HDP和針對Google Cloud Platform(GCP)的Hortonworks DataFlow(HDF)分析平臺。“我們與Hortonworks的合作伙伴關系將使客戶能夠在GCP中快速運行數據分析、機器學習和流式分析工作負載,同時實現與混合或云本地數據架構的橋接”,Google Cloud產品管理總
監Sudhir Hasbe在聲明中表示。
與微軟擴大合作伙伴關系將讓客戶能夠部署HDP、HDF和Hortonworks DataPlane Service(DPS),從而可以在Azure云平臺上本地管理不同類型和來源的數據。這些都已經在AWS上提供。
IBM宣布將提供一個名為IBM Hosted Analytics with Hortonworks的新服務,作為IBM Cloud上的一項集成服務。更具體地說,它結合了HDP、IBM Db2 Big SQL數據庫和IBM數據科學體驗。IBM Analytics總經理Rob Thomas在一篇博客文章中將IBM對數據的使用比喻為州際公路系統的演變。
而且,HDP 3.0改進了安全性和治理,以符合歐盟最近實施的“通用數據保護條例”和其他數據治理規則,這意味著正在使用中的數據可以追溯到最初所駐留的數據湖。
由于一些廣為人知的數據泄露事件和數據濫用問題(如Cambridge Analytica公司未經授權使用2016年美國總統大選期間的Facebook數據),導致最近那些能夠使用大量數據的公司處于被嚴密監管的狀態。Gnau提出,Hortonworks可以在其平臺上提供集中式控制,讓企業能夠避免這類問題。
“我們可以提供共同的數據治理。我們知道數據在哪里,誰在復制數據,以及數據到達這個位置都發生了什么。21世紀數據是財富的創造者,”如果不對數據加以控制的話那就是“瘋了”。