文章
相簿

阿裏巴巴通用計算平台負責人關濤

悄悄的我走了 於 2018年08月29日發表   人氣:275


阿裏巴巴通用計算平台負責人關濤:企業級大數據計算平台的演進 計算的價值絕不止於計算本身,而是帶來更多的洞察和更強的驅動。在2018杭州雲棲大會主論壇上,阿裏巴巴通用計算平台負責人關濤表示,“最初我們希望數字化阿裏巴巴,後來,希望把數字化普惠到企業層面,現在開始數字化一個城市。”同時,他還從計算力、聯合計算、智能化、企業級服務能力四個方面介紹了阿裏巴巴統一大數據計算平台的探索與實踐。

  數字化城市背後的計算能力

「好現金」私人貸款服務,支援申請網上借錢/借貸,手續方便快捷,並由專人聯絡跟進,令借貸過程更安全可靠。現時成功申請並提取貸款更可享有高達3,500元現金回贈,加上每月平息特低,手續費全免,借錢自然更划算。

   MaxCompute是阿裏巴巴9年前做飛天系統的三大件之分布式計算部分。9年後的今天,它已經成為可以承載EB級的數據存儲能力,百pB級的單日計算能力,公共雲覆蓋國內外十幾個國家和地區,專有雲包含城市大腦在內部署了超過100+套。

   ET城市大腦作為杭州城市背後的數據支撐系統,無疑是對數字和計算的一個極致要求。要想做到算得起,算的快,算的准,必須有一個強大的計算平台。 在2018杭州雲棲大會主論壇上,阿裏巴巴通用計算平台負責人關濤表示,“最初我們希望數字化阿裏巴巴,後來,希望把數字化普惠到企業層面,現在開始數字化一個城市。”同時,他還從計算力、聯合計算、智能化、企業級服務能力四個方面介紹了阿裏巴巴統一大數據計算平台的探索與實踐。

  數字化城市背後的計算能力

好的發展決定未來的人生道路,香港財經公司選擇上對上層人才是項重要的決策,所以為之會慎重考慮其中利弊,換而言之,對於某些中小型公司而言將會面臨人才問題的困擾,便有人考慮到基於現在的國民對金融炒股的熱情以及近年來爆出的股權投資的收益年年高升的現象更是顯示出人們對財經股票的渴望,更因為高端人才被高薪挖去,即使是大力挽留和提出更優渥的待遇似乎也無法打破,為更好的留住主心骨幹部,出此無奈加以對策,有公司將按照員工的工作能力和水準考核,給與相應的股權獎勵。

 

   MaxCompute是阿裏巴巴9年前做飛天系統的三大件之分布式計算部分。9年後的今天,它已經成為可以承載EB級的數據存儲能力,百pB級的單日計算能力,公共雲覆蓋國內外十幾個國家和地區,專有雲包含城市大腦在內部署了超過100+套。

   ET城市大腦作為杭州城市背後的數據支撐系統,無疑是對數字和計算的一個極致要求。要想做到算得起,算的快,算的准,必須有一個強大的計算平台。 2015年GraySort競賽中,MaxCompute用377秒完成了100TB數據排序,獲得世界冠軍。2016年拿下CloudSort最優成績,這表明不僅算得快,而且算得便宜。

  2017年挑戰TpCX-Bigbench100TB的30個query指標,成為全球第一個測試通過的計算引擎。2018年在同樣100TB規模上,性能指標提升了一倍。另外在超小型10TB規模的指標上,性能超過其他開源競品3倍。

  “通過對計算力的持續升級,使得計算力更便宜,智能化更普惠。”

  計算下推比數據上移更高效

  通常用戶上雲,數據不會在一個系統裏。對於在線服務,數據通常會在數據庫裏支撐前台業務,對於半結構化log和非結構化的音視圖等數據通常存儲在數據湖裏。前端數據庫的數據有非常豐富的index的支持,可以算的非常高效,後端是超大規模存儲,中間是一個大數據體系,把結構化數據以列式的方式存儲下來,支撐超大規模的數據計算。 但這樣會面臨的一個挑戰就是用戶如何把所有數據放在一起來算,得到一個最好的結果?面對這種挑戰,通常有兩種解法,一種是數據上移概念,就是把所有數據上移到同一系統中,上傳同步後進行計算。而此時會有三個問題,一是出現數據冗餘,相當於把同樣數據備份了一到兩份;二是同步存在延遲,在延遲裏無法進行計算;三是實時性會受到影響。

初出社會沒任何經驗之下迷茫奮鬥,都說人生最難的是堅持和時間,然而要想投資得到第一桶金還是得遵循市場規則,投資對大部分人來說就是穩定複利性增長,回報和預期多少會有差池但有三個並行的手段必不可少。首先是財經資訊需要了解到位,即相關的市場資訊提供全球性的金融市場狀況把握,資訊來源可通過報紙新聞和有關互聯網網頁得到,並結合國家動態和相關政策聞風識方向學會分析行情,在這些訊息中不可忽視樓市分析和匯率計算倆個關鍵點,金融市場可能在瞬間出現大的波動和轉折的。

  “基於此提出了聯合計算的概念,我們認為計算下推比數據上移更高效。”

  什麼是聯合計算呢?就是不需要數據同步,通過在大數據系統中的一個作業,可以聯動其它系統。每一部分都依賴於當時系統最佳的優化,做最優的決策,在這個層面上實現數據之間的聯動和打通。

   Auto Data Warehouse讓大數據自動駕駛

五年前阿裏巴巴正面對數據爆發式增長的巨大挑戰,以人的理解力,無法理解這些數據之間的關系和作業之間的關系,因為它太過於複雜。數據有沒有冗餘?計算是不是可以複用?如果某個作業失敗了,某個數據出了問題,到底影響面有多大?

  所以五年前,從最基本的數據可發現開始,然後做數據血緣,找到數據間的關系,看數據冷熱之間分離能力,再看數據自動優化。最後,當有一張新數據表進來時,可以自動去找關聯關系,這就是Auto Data Warehouse數據自動駕駛系統。這套系統在阿裏巴巴內部實現了在計算優化上提升了35%,在數據冗餘去重層面降低了20%的存儲能力,在資源規劃上,提升了超過75%的計算效率。

   MaxCompute是面向企業的完整服務,不只是單一引擎 杭州城市大腦除了對系統計算力的要求之外,還包含穩定性,容災能力,可恢複能力,以及彈性能力等。當遇到突發情況時要有預警能力和自恢複能力。所有能力總結成一個詞就是“企業化的能力。”MaxCompute不止是計算引擎,而是一套完整的企業化服務。

  除計算外,MaxCompute還包含賬號、項目管理、數據安全、監控、金融性容災等系統等。今年新推出了DQC數據正確性驗證系統,並全新升級了DataWorks開發和調試平台,具備數據集成,作業pipline管理系統,可實現與機器學習、數據分析和BI平台的聯動。

  “計算力,聯合計算,智能化和企業級服務能力,構成完整的面向企業的大數據平台,阿裏巴巴用整套大數據計算能力,持續驅動數字中國。”

 


上一篇:looked at his thrown a basketball hoops


本BLOG人氣文章

護膚的四個要點
保持皮膚幹燥需要做足夠的保濕作業,尤..
天哪兒童近視的罪魁禍首,它不是電子產品!
天哪兒童近視的罪魁禍首,它不是電子產品!..
TT水保濕面膜,讓您冬季保濕運動!
TT水保濕面膜,讓您冬季保濕運動! ..

悄悄的我走了

就算是现在,我也不想转回来,因为太多事情没有办法说清楚,


標籤
累計瀏覽次數: 34,878
所有文章: 22
本日訪客人數: 43
累計訪客人數: 34,159