南大通用:志在大數據基礎軟件設施中的“明珠”

全球大數據時代進行時,從2012年美國奧巴馬政府宣布了“大數據研發(fā)計劃”,到2015年我國國務院印發(fā)促進大數據發(fā)展行動綱要;從Google后Hadoop時代的“三駕馬車”Caffeine、Pregel、Dremel影響著全球大數據技術發(fā)展,到業(yè)內普遍認為MPP與Hadoop形成混搭架構平臺是支撐大數據分析應用的最佳方案;從過去一年中國大數據市場已達到百億元的市場規(guī)模,到未來三年仍然保持著40%的高速增長率,大數據已然開辟出國家治理的新路徑,改變人們的生活方式,引發(fā)IT行業(yè)巨大的技術變革?;仡?015年,大數據基礎設施的重要性不言而喻,而數據庫作為基礎軟件核心,為大數據分析應用提供技術支撐,在大數據領域持續(xù)創(chuàng)造長期價值。

過去三十年數據庫的發(fā)展已經形成了以Oracle、IBM、Microsoft等為代表的強勢壟斷格局。然而面對大數據引發(fā)的需求,傳統(tǒng)數據庫在處理百TB以上、特別是PB級數據的查詢、統(tǒng)計、分析等應用時,遇到性能上的瓶頸。世界數據庫格局在發(fā)生革命性的變化,通用數據庫OldSQL一統(tǒng)天下變成了OldSQL、NewSQL、NoSQL共同支撐多類應用的局面。國產數據庫廠商南大通用,已在項目中洞悉到用戶對多源異構海量規(guī)模數據的處理需求,預判到大數據的到來,早在2008年就啟動了分析型數據庫GBase 8a產品的設計與研發(fā)。恰逢曾擔任Oracle法國公司高級數據庫專家12年的武新博士回國發(fā)展事業(yè),出任南大通用CTO,由此肩負起GBase 8a總設計師的重任。GBase 8a誕生時起步早、起點高、累計投入研發(fā)資金超過2億元,作為專用架構的數據庫產品新品類,在大數據來臨之際憑借成熟的商用級水平搶占了市場先機。2015年是GBase 8a高速發(fā)展的一年,隨著南大通用CTO武新對GBase 8a過去一年的回顧,我們可以體會到與世界技術同步、市場同級的國產新型數據庫歷經了怎樣不平凡之路。

從未止步的產品優(yōu)化與技術突破

GBase 8a從2010年4月1日發(fā)布第一個單機版,產品歷時8年精進演變,不斷進行新技術突破和產品優(yōu)化。武新總結到GBase 8a在2015年主要發(fā)布了三個大的版本,與產品自身相比,v8.5.11.4更加增強可靠性;v8.5.11.5的性能相比上一版本提升了一倍;v8.6從MPP架構變遷為聯邦架構,實現了“追加寫”的在線擴容,批量“寫”的性能提升1倍,單個集群支持數量從192節(jié)點提升至300節(jié)點。產品取得這樣的成果背后,是1000+人月的研發(fā)投入,13類新功能的豐富,65萬行新代碼的編寫,超過400份4800頁文檔的輸出。這些數字在武新看來,正是南大通用人為GBase 8a獲得用戶認可而作出的扎實基本功課。

國產數據庫在向著關鍵行業(yè)核心應用的道路上破冰前行,數據庫的質量是關鍵。武新進一步介紹到南大通用在使用傳統(tǒng)人工測試,積累了上萬例測試用例的基礎上,打造出國內領先的數據庫自動化測試平臺,通過自動化的方式對GBase 8a進行覆蓋性測試。自動化測試平臺可以自動生成海量用例模擬用戶的全部輸入和全部可能出現的場景,從而實現對產品無死角的全方位覆蓋測試?;趪栏窀咝Ы∪臏y試體系,GBase 8a更是具備快速迭代的能力,最快可實現3天發(fā)版,真正做到快速響應一線用戶的需求。

混搭架構共同支撐大數據應用

GBase 8a的集群形態(tài)是基于MPP技術架構的。提及MPP與Hadoop在處理大數據時的關系,武新解答了大數據時代初期普遍存在的認知誤區(qū)。Hadoop并非是解決大數據分析的唯一技術方案。武新對行業(yè)環(huán)境的變化深有體會,他講到南大通用至少在三年前就開始提出行業(yè)大數據的概念,大數據并非只是互聯網的產物,行業(yè)大數據的應用并不比互聯網少。當前業(yè)界主流的思路是,MPP存儲高價值密度數據,用于進行數據分析和挖掘;Hadoop存儲低價值密度數據,用于基礎數據存儲、數據清洗和簡單分類查詢。國際廠商已經推出了這種融合架構的平臺化產品,如EMC的Pivotal、HP的HAVEn。GBase 8a MPP集群已在金融、電信等眾多高端行業(yè)的應用中與Hadoop產品混搭部署、相互融合,形成了支撐大數據應用的整體解決方案。南大通用也推出了融合架構的大數據統(tǒng)一處理平臺產品GBase UP,即Unified Platform。武新肯定的表示,南大通用在數據庫研究的領先性上,已經實現了與國際主流廠商技術同步、市場同級的目標。

優(yōu)異的市場表現離不開用戶的信任支持

說起市場表現,武新介紹:目前,GBase 8a已經成功進入電信、銀行、保險、電力、公安、安全、海關、稅務、社保、財政、衛(wèi)計、食藥監(jiān)、統(tǒng)計、海洋、軍工等行業(yè),其中在電信行業(yè)成功覆蓋三大運營商16個省份。GBase 8a市場份額在新一代MPP中占據第一。作為軟件產品,其產品質量要在不斷的應用部署中走向成熟,GBase 8a的快速成長同樣也離不開用戶的信任與支持,可以說軍功章有南大通用的一半也有用戶的一半。說到此處武新又興奮地舉了個實例,中國農業(yè)銀行使用GBase 8a替換國外產品Sybase,突破了擴展能力瓶頸。數據處理能力提升了100倍,數據處理級別也從TB提升到PB。通過引進大數據處理技術,農行歷史上第一次有了總行級別的數據倉庫,經營視野也從分行級別擴展至全行,并成為四大國有銀行中首家在金融核心系統(tǒng)中完成國產化替代,實現國產金融大數據平臺方案成功落地的銀行。而GBase 8a在農行項目中也不斷進步,完成了多次質的飛躍,目前在建項目完成后集群總規(guī)模將達到400節(jié)點以上。GBase 8a從該項目上線至今,系統(tǒng)每天處理6000個以上的復雜作業(yè),每天數據處理增量超過2TB,系統(tǒng)最大的表已超過1000億行,每天增量10億條。武新由衷地表示,僅以這幾個數據為例就可以看出GBase 8a已成為真正令人自豪的世界級數據庫!

在對數據庫要求甚高的電信行業(yè),GBase 8a擊敗了眾多對手,成為唯一通過中國移動集團“集中經分”POC測試的國產MPP數據庫,其他通過測試的國外產品僅有Greenplum、Vertica。武新簡要描述了一下中移動集中經分測試規(guī)模:120個計算節(jié)點、30個加載節(jié)點,800TB裸數據,最大表36000億行數據,最小表8億行數據。他表示就是這樣的高難度動作,GBase 8a也能完成得相當漂亮,并入圍三甲。2015年GBase 8a在證監(jiān)、人社、海關、電信等四大行業(yè)31個項目POC測試中擊敗國外競爭對手,獲得業(yè)內良好口碑,同時也終結了國產數據庫無法支撐行業(yè)核心業(yè)務系統(tǒng)的時代,讓用戶有了更多的選擇。

僅2015年,GBase 8a就實現了在中國聯通、中國電信、銀監(jiān)會、公安部、國稅總局、海關總署等重點行業(yè)用戶的大數據處理平臺中提供支撐,項目累計上線1019個節(jié)點,數據處理總量超過5PB。武新自豪地表示,這些數據力證GBase 8a與國外產品在技術上已經達到同步,甚至在支持數據規(guī)模和系統(tǒng)并發(fā)能力上已局部領先。

志在摘取大數據基礎軟件設施中的明珠

數據如能源,數據安全是關鍵,支撐大數據存儲和計算的數據庫是大數據基礎軟件設施中的“明珠”,南大通用志在摘取這顆明珠。今年南大通用成為第一家掛牌新三板,進入資本市場的國產數據庫廠商,南大通用將繼續(xù)加大產品研發(fā)、產品測試、應用遷移、適配優(yōu)化等方面的成本投入,專注力量發(fā)展數據庫業(yè)務,志在通過不懈努力摘取大數據基礎軟件設施中的“明珠”。談起與國際數據庫的競爭形勢時武新說,在大數據分析領域,GBase 8a已經戰(zhàn)勝Oracle、IBM、微軟等老牌數據庫巨頭,并在與HP、EMC等數據庫新貴的PK中屢屢獲勝,讓業(yè)界重新燃起了對國產數據庫的希望,也讓南大通用人為之驕傲和自豪。

產品、服務、合作蓄勢發(fā)力

展望2016年的發(fā)展規(guī)劃,武新表示將繼續(xù)聚焦在產品、服務、合作模式上發(fā)力。他將帶領研發(fā)團隊攻關GBase 8a虛擬集群這一新的產品應用形態(tài)。GBase 8a虛擬集群能夠進行分層管理,支持跨數據中心的部署,多數據中心分層進行管理,各數據中心按照需求及規(guī)模創(chuàng)建獨立的子集群。面對超大規(guī)模集群的元數據管理、通訊模型、跨異構集群的訪問等關鍵技術帶來的挑戰(zhàn),南大通用人已做好了封閉攻關的準備,為早日攻下1000節(jié)點的超大規(guī)模集群目標而奮斗。GBase 8a之所以能在金融、電信、政務等高端行業(yè)項目中頻傳捷報,除了可與國際主流數據庫比肩的產品以外,優(yōu)質的配套服務也是關鍵。武新談到,南大通用將進一步擴大技術支持服務隊伍,加固已經形成的三橫三縱一環(huán)的技術體系,持續(xù)高效響應用戶需求,以解決方案為依托,加強產品價值營銷。GBase 8a需要在健全的生態(tài)環(huán)境中發(fā)展壯大,并且離不開合作伙伴的助力。南大通用拓展公司新業(yè)務模式,已與東華軟件、華三通信、方正等公司形成深度合作,其中不乏趨近千萬規(guī)模的合作形式。

匯聚人才、技術、產業(yè)發(fā)展的力量,南大通用人將繼續(xù)秉承匠心精神,精益打磨GBase 8a這顆大數據基礎軟件設施中的“明珠”,支撐國家大數據戰(zhàn)略落地,為用戶提供多一種高端產品選擇,推動國內大數據產業(yè)向前發(fā)展。

免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2016-01-13
南大通用:志在大數據基礎軟件設施中的“明珠”
大數據已然開辟出國家治理的新路徑,改變人們的生活方式,引發(fā)IT行業(yè)巨大的技術變革。

長按掃碼 閱讀全文