11月5日，在2022云棲大會一體化大數據智能峰會上，由開放原子開源基金會、X-lab開放實驗室和阿里巴巴開源委員會聯(lián)合出品的《2022年開源大數據熱力報告》重磅發(fā)布。其中，阿里巴巴推動的Apache Flink在流處理領域熱力值排名第一，DataX、Flink CDC、Apache Celeborn入圍熱力榜單。
據悉，報告基于公開數據研究最活躍的102個開源大數據項目，探尋出開源大數據技術發(fā)展背后的“摩爾定律”，每隔40個月，開源項目熱力值就會翻一倍，技術完成一輪更新迭代。開放原子開源基金會副秘書長劉京娟表示，在過去8年里，發(fā)生了5次較大規(guī)模的技術熱力躍遷，多元化、一體化、云原生成為當前開源大數據發(fā)展趨勢的最顯著特征。
早在2009年，阿里巴巴就開始大規(guī)模使用Hadoop等開源大數據技術，在經歷雙11等內部核心業(yè)務錘煉之后，于2015年啟動開源大數據技術實時化，并實現全面上云，以開源大數據平臺E-MapReduce和實時計算Flink版來對外提供公共云服務。阿里巴巴也積極參與開源社區(qū)以及合作伙伴的開源共建，貢獻了開源數據Shuffle服務Celeborn到Apache孵化器，推動Flink成為實時計算領域的事實標準，最終形成了開放、多元、現代、智能的開源大數據技術生態(tài)。
阿里巴巴一直本著開放、創(chuàng)新、貢獻的初心積極推動開源大數據技術的演進，截止到今年，貢獻了10余個頂級開源項目，培養(yǎng)50余位頂級開源項目Committer、PMC，代碼貢獻量超過150萬，開源文化氛圍濃厚，構建了圍繞數據集成Flink CDC、數據分析Flink SQL、機器學習Flink ML、規(guī)則引擎Flink CEP、動態(tài)表存儲Flink Table Store的Apache Flink生態(tài)項目群，推動Flink茁壯成長為Apache的頭部項目之一。同時，生長于阿里巴巴的 Celeborn 項目-大數據計算引擎通用Shuffle服務成功進入Apache孵化器，為開源大數據技術更添一份力量。
從共建到引領，阿里云開源大數據產品矩陣升級
云棲大會上，阿里云開源大數據產品矩陣再次升級，開源大數據平臺E-MapReduce將技術引領優(yōu)勢轉化為云上產品服務能力，重磅發(fā)布E-MapReduce 2.0，面向未來構建下一代開源大數據基礎設施，彈性優(yōu)化能力提升3倍，伸縮規(guī)模達千臺，3分鐘即可創(chuàng)建100節(jié)點的數據湖集群。
依托于EMR、OSS、DataWorks產品組合的數據湖，滿分通過了信通院云原生數據湖評測，全面兼容HDFS，湖權限和生命周期管理能力升級。實時計算Flink增強了復雜事件處理功能，可應用于實時風控、實時營銷場景，分鐘級作業(yè)診斷，幫助用戶資源效率提升30%。
阿里云還聯(lián)合Elastic 公司推出云原生 Serverless Elasticsearch，為用戶帶來SaaS化產品體驗，同時，使用成本下降53%。與Cloudera公司戰(zhàn)略合作的數據混合云 Cloudera CDP公共云正式商用，為CDP用戶帶來統(tǒng)一的云上云下使用體驗。
(圖說：阿里云開源大數據負責人王峰)
阿里巴巴開源委員會大數據領域副主席、阿里云開源大數據負責人王峰在會上表示，開源大數據技術已經進入了全面云原生的時代，依托全面云原生架構，為用戶提供極致彈性伸縮，按需使用的服務;同時，在實時計算技術領域持續(xù)創(chuàng)新，提出Flink SQL + Table Store的使用方式，實現端到端的數倉鏈路實時流動，提供全增量數據鏈路一致性體驗;構建統(tǒng)一架構的云原生數據湖，架構從存算一體到存算分離，融合多元化計算模式，實現智能安全的數據湖管理。在此基礎之上，持續(xù)優(yōu)化“智能運維大腦”，推出如Flink作業(yè)自動調優(yōu)，EMR Doctor智能運維診斷系統(tǒng)等，全面加深開源大數據平臺的增值能力，幫助用戶更高效地使用。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
