基因測序數據分析加速面臨的挑戰
· 基因測序分析流程BWT+GATK當前被業界廣泛采納,但采用此流程的傳統測序方法需要消耗高額算力及存儲資源,且耗時較長。
· 針對基因測序中高算力需求的smith-waterman,pair-hmm等算法處理,其具有計算并行性,不連續,非規則的存儲訪問,低bit操作等特性,計算依賴不規則區域的操作會對CPU消耗很大,性能難以提升。
02
華為云FPGA基因加速解決方案的優勢
為了更好的解決基因測序行業面臨的基因組分析標準流程不經濟高效以及跨不同云和硬件(CPUs,FPGAs)加速實現的雙重挑戰,華為云和峰科計算強強聯合,合作推出符合行業標準的GATK加速流程,通過對基因測序數據分析流程進行軟、硬件聯合優化實現端到端加速。
· 華為云提供業界領先的FPGA加速云服務平臺,采用業界領先的Xilinx 16nm Virtex UltraScale+ VU9P FPGA,并針對基因場景推出32核CPU 224GB內存1*VU9P FPGA和64核CPU 448GB內存2*VU9P FPGA規格的實例,實現了GATK 軟件處理流程和FPGA加速流程的完美結合,從而將加速效率提升3~5倍;
· 峰科采用GATK標準分析流程,精準性與GATK標準流程完全吻合,精度可達99.95%以上;
· 不修改GATK標準流程,可訪問讀取從原始測序數據到生成vcf文件整個過程中的中間數據,便于科研用戶使用比對。
03
華為云FPGA基因加速解決方案解析
華為云FPGA基因加速解決方案集成峰科的加速IP,為用戶提供一種易于使用,經濟實惠的基于FPGA的基因組分析流程加速服務,在該方案中,華為云配備了32核CPU,單個VU9P FPGA的實例。
華為云FPGA基因加速解決方案使用GATK最佳方案對種系突變和體細胞突變進行變異檢測,將計算密集型算法如Smith-Waterman、PairHMM等確定為加速對象。每種算法都經過FPGA內核優化,并且實現CPU-FPGA協同執行和資源分配。
如圖1所示,用戶通過分析應用程序,把每個流程的數據傳給華為云峰科加速平臺,平臺里的Kestrel運行時管理工具來管理CPU-FPGA協同執行和資源分配。利用多線程,I / O優化和擴展使用FPGA加速器,華為云FPGA基因加速服務的基因組學分析流程在保證精準度的情況下提供顯著的加速。
與GATK 最佳使用流程相對稱,典型的基因測序數據分析流程始于原始FASTQ序列兩端讀長(paired-end reads),進一步獲取一組經過濾的變體,對其進行標記以供進一步分析。圖2描述了華為云基因加速服務種系變異調用流水線的具體流程,中間面板指示開始的通常工作流程,上下分別顯示華為云FPGA基因加速方案中的峰科加速流程和GATK最佳使用流程命令實現方式的工作流程。
圖2 華為云峰科基因加速流程和GATK最佳使用流程對比
基于華為云FPGA加速服務,使用FPGA優化加速GATK流程,基因組分析流程可以實現3~5倍速度提升和99.95%以上的準確度。華為云FPGA基因加速解決方案最快基因組序列分析標準流程可在一天內完成5個全基因組或24個整體外顯子組分析。
Performance comparison for GATK 3.8 WGS from Alignment to Variant Calling using Hoplotypecaller
:測試數據使用的是30X的WGS樣本,堿基數量103G
相關推薦
11月5日,知情人士透露,在不久前舉行的國際電聯IPTV標準重要工作會議上,包括信產部電信研究院、電信、網通、華為、中興、UT斯達康、上海貝爾阿爾卡特等在內的我國7個企業、機構又奪得多個重要的管理位置,掌握了制定IPTV國際標準的相當重要的話語權。爭奪IPTV主導權據悉,10月16日至20日,國際電聯IPTV焦點組(ITU-TFGIPTV)第二次會議在韓國釜山舉行,來自全球的200名代表參加了這次會議。IPTV被認為是未來最重要的電信業務之一,但標準之爭由來已久,不僅是電信運營商和廣電運營商各執一詞,去年年底,原來被看好的洋標準MEPG4被曝要收高額的專利費,連運營商也不放過,引起中國運營商和
華為中興在海外頻獲大訂單,專家認為人民幣升值4%對中國電信設備價格優勢影響有限“幾乎每一、兩周,中國運營商會獲取海外訂單,承建網絡建設等諸如此類的消息。其中以華為和中興在海外的擴張速度令人驚嘆。”針對近期華為、中興在海外攻城略地的擴張消息電信分析人士指出,盡管到目前為止人民幣升值并未對國內電信設備商的出口產生過大的影響,但隨著人民幣升值加速,包括中國電信設備商將拋棄過去依賴廉價取勝的競爭模式實現產業升級。華為中興海外占半壁江山伴隨著中國和世界電信業的發展浪潮,華為、中興等電信設備商在海外持續擴張,海外市場已經占據其銷售額的半壁江山。本月15日,華為集團宣布將幫助德國第三大固網運營商Versat
12月22日報道:華為技術有限公司("華為")日前宣布承建意大利電信(”TelecomItalia")在意大利國內的城域波分項目。截至目前,華為成為第一個入選意大利電信項目的中國通訊設備供應商。本次合作,是繼華為成為英國電信(BT)21CN全網傳輸設備和多業務綜合接入(MSAN)的供應商、獨家中標荷蘭皇家電信(KPN)CWDM/DWDM項目之后,再一次成功攜手歐洲主流電信運營商。憑借完善的產品和解決方案,華為順利通過了意大利電信專家的嚴格謹慎評估,贏得了合同。華為意大利代表處代表喬小平表示:”該項目是華為與意大利電信的首次合作,但我們相信華為在光網絡領域的領先技術、豐富的設備成熟商用經驗以及以
UT斯達康奔流系統:在IPTV標志性市場獲用方案介紹:UT斯達康IPTV整體解決方案——奔流(RollingStream)是一套開放的支持多業務、多服務終端的寬帶多媒體業務平臺,通過IP網絡提供廣播級視頻質量的視頻和各類互動業務,為運營商提供端到端的數據、語音、視頻“Tripleplay”業務。奔流系統為IPTV業務提供了端到端的業務解決方案,包括內容制作、內容存儲/加密、內容分發、內容播放、終端顯示的各個方面,都可提供基于電信級的解決方案。同時,奔流也是一個開放的系統,可提供基于中間件形式的系統整合能力,成功的集成第三方的產品,諸如DRM系統、機頂盒、內容Encoder等。奔流采用了模塊化的