日前,國內市場調查和咨詢公司艾瑞咨詢發(fā)布《2022 年中國數智融合發(fā)展洞察》報告。作為國內最新的數智融合研究成果,該報告聚焦企業(yè)數智融合,圍繞中國數智融合發(fā)展背景、企業(yè)數智融合挑戰(zhàn)與應對、數智融合典型實踐等進行了深入分析,結論令人深思。
報告顯示,華為云數智融合解決方案綜合優(yōu)勢突出,憑借其獨家創(chuàng)新架構,為客戶進一步降本增效,在行業(yè)技術創(chuàng)新上持續(xù)領跑。通過 DataArts 和 ModelArts 的融合,打通了大數據和人工智能,兼顧成本與性能,實現統(tǒng)一管理、一數多用,同時實現敏捷用數,全流程自動化與智能化。
中國數智融合發(fā)展的典型特征
《2022 年中國數智融合發(fā)展洞察》報告指出,隨著數字化不斷推進,全球數據量以超過 59%的年增長率快速增長,中國的數據量增速比全球更快。其中,80%是非結構化和半結構化數據。并且,在企業(yè)內部,非結構化數據增速遠高于結構化數據,非結構化數據占比也越來越高。值得關注的是,數據多源異構成為常態(tài),以數據庫種類為例,除傳統(tǒng)關系型數據庫外,還誕生了更適應物聯(lián)網場景的時序數據庫、更適應知識圖譜應用的圖數據庫等。
同時,報告還指出,在大數據行業(yè),企業(yè)仍然存在數據壁壘突出、碎片化問題嚴重等瓶頸制約,大數據容量大、類型多、速度快、精度準和價值高的 5V 特性未能得到充分釋放。
此外,云原生領域,從微服務走向 Serverless,底層基礎設施被“屏蔽”,開發(fā)者只需專注于編寫應用程序的業(yè)務邏輯,技術人員更貼近業(yè)務。為推進 AI 應用的高質量落地,開展針對性的數據治理工作成為企業(yè)迫切需求。通過抽象解耦、水平擴展、自動化與智能化實現去過程化,企業(yè)業(yè)務需求可得到實時響應,進一步實現敏捷和創(chuàng)新。
簡言之,整個經濟社會源源不斷地產生數據,但是爆炸式增長的數據并未發(fā)揮其真正價值,也未有效驅動企業(yè)業(yè)務增長。
橫亙在企業(yè)面前的數智融合四大挑戰(zhàn)
原因何在?《2022 年中國數智融合發(fā)展洞察》報告揭露出問題所在。
第一,傳統(tǒng)架構下,數據量、存儲成本和計算效率不可兼得。如果不考慮數據量和數據類型,那么傳統(tǒng)數倉或單體 DBMS 已足夠;不考慮計算效率,那么基于 HDFS 或公有云的對象存儲即可滿足。如果不考慮存儲成本,企業(yè)可使用 NVM(非易失性內存)。
其次,數倉、數據湖和 AI 數據形成新的數據孤島。經過多年發(fā)展,數據分析和 AI 分析出現面向不同任務的專用數據系統(tǒng)?;趯ο蟠鎯Φ拇髷祿到y(tǒng)負責處理海量數據和非結構化數據,數倉系統(tǒng)處理結構化數據,AI 系統(tǒng)中的數據一般存儲在本地。這些專用系統(tǒng)“各自為政”,要么無法打通形成新的數據孤島,要么不同業(yè)務的開發(fā)要遷移數據,實施過程漫長,影響業(yè)務快速發(fā)展。
第三,雖然開源產品非常豐富,但是開發(fā)運維難。即使有大量開源產品,但是企業(yè)自行搭建數智平臺依然困難重重。比如在運維上,很多企業(yè)主要依靠人工運維,不僅效率低,而且成本高,無法很好應對宕機事故。再比如體驗上,因產品自產自用,復用率低,技術團隊只保障基礎需求,對降低業(yè)務人員使用難度、提升使用體驗的附加性需求響應度低。
最后,數據準備工作既復雜,又低效。在利用數據過程中,數據質量至關重要,低質量數據效用非常低。從數據生成、采集到應用的長生命周期,數據準備工作異常耗時。據 Cognilytica 調研顯示,機器學習中,超過 80%的時間被用于數據準備。
這些挑戰(zhàn)猶如企業(yè)面前的“攔路虎”,阻礙著企業(yè)充分利用數據。只有那些跨越“攔路虎”的企業(yè)才能繼續(xù)前行,釋放數據價值,步入發(fā)展快車道。
如何“變身”數智融合的佼佼者
而興盛優(yōu)選則是其代表之一。作為一家互聯(lián)網新零售企業(yè),興盛優(yōu)選無疑是過去數年國內互聯(lián)網創(chuàng)業(yè)中的“明星公司”。它主要定位于解決家庭消費者的日常需求,包括蔬菜水果、肉禽水產、米面糧油、日用百貨等商品,以 “預售 + 自提” 模式為用戶提供服務。目前,它已是估值超過 100 億美金的獨角獸企業(yè)。
在興盛優(yōu)選總部,每一層樓都安裝有一塊約 60 寸的長方形屏幕,淡藍色地圖背景上滾動著興盛優(yōu)選當日全國訂單數,數字實時更新。
對興盛優(yōu)選而言,數據已經成為其業(yè)務發(fā)展的底座,不僅與業(yè)務深度融合,而且致力于為業(yè)務發(fā)展創(chuàng)造更大價值。
據悉,該公司總數據量已達 PB 級別,日新增數據量達到 TB 級,其業(yè)務每個鏈路均有數據參與其中,實現相應業(yè)務流程的迭代和增強。
業(yè)務快速發(fā)展中,興盛優(yōu)選在數據上也遇到很大挑戰(zhàn)。與很多企業(yè)一樣,它主要基于開源大數據組件進行搭建,但是基礎設施的穩(wěn)定性卻跟不上業(yè)務發(fā)展速度,于是面臨兩大難題:其一,機器資源采購周期較長,如果周期內機器不足以支撐業(yè)務發(fā)展,那么就會出現大數據組件運行資源缺乏導致任務延時甚至失敗的情況;其二,大數據涉及的開源組件比較多,而業(yè)務發(fā)展急需可靠的集群支撐,這就需要專業(yè)人才。在興盛優(yōu)選總部長沙,找到維護龐大集群相應組件的專業(yè)人才不僅需要時間,而且會帶來不小的人力成本。
興盛優(yōu)選基礎數據平臺部負責人補充道:“相比 OBS 的糾刪碼存儲機制而言,HDFS 的副本機制成本高出不少。對創(chuàng)業(yè)公司而言,能省每一筆可以節(jié)省的錢,并將這些錢花在該花的地方,這是每個技術架構師都應該要具備的思維?!?/p>
基于性能和成本考量后,興盛優(yōu)選決定采用華為云數智融合解決方案,將原來基于開源組件搭建的數據平臺,遷移到華為云 GaussDB 集群,提升數據分析效能,從根本上解決了業(yè)務數據不一致,實時業(yè)務不穩(wěn)定的問題。
在他看來,相比 x86 而言,基于 ARM 系列硬件的華為云集群服務有非常突出的成本優(yōu)勢。他表示:“當前,我們整個大數據集群都是運行在華為云的 ARM 系列集群上,服務比較穩(wěn)定,基本沒什么太大問題。即使上線后這段時間,也只出現過一次小規(guī)模故障,集群中有幾臺機器出現過斷電重啟的情況”。
通過華為云上云團隊駐場支持協(xié)助,興盛優(yōu)選用時 1 個月即完成大部分任務從線下遷移到線上,大大降低了運維成本。
如果說興盛優(yōu)選是互聯(lián)網新零售中的“明星”,那么 T3 出行則是出行領域釋放數據價值的“佼佼者”。據悉,T3 出行是由中國一汽、東風汽車、長安汽車三大央企聯(lián)合多方知名企業(yè)簽訂合資協(xié)議正式運營的出行企業(yè),截止 2022 年 7 月,T3 出行登陸全國 91 個城市,累計注冊用戶超 1 億,單日訂單峰值破 300 萬單,訂單規(guī)模及日活用戶躍居 B2C 出行領域第一。
于它而言,面臨三大痛點:一是傳統(tǒng)數倉技術難以解決“長尾支付”帶來的問題,二是平臺需要更靈活的架構支持像 AI 自動驗證司機身份、識別司機不安全行為等新應用,三是平臺需要更穩(wěn)定可靠的架構,支撐流量快速增長。
為滿足業(yè)務發(fā)展,T3 出行選擇華為云數智融合產品,將多套集群架構優(yōu)化至湖倉一體的存算分離架構,同時支撐數據分析的 BI 和數據智能的 AI 場景,不僅使 TCO 降低 20%以上,更解決了出行場景下“長尾支付”系統(tǒng)更新慢的難題,保證業(yè)務 7x24 小時穩(wěn)定運行。
除了興盛優(yōu)選、T3 出行,夢餉集團通過采用華為云數智融合解決方案實現 TCO 下降 30%,實時分析能力提升 50%。華為云一體化解決方案為夢餉集團帶來“資源高效”、“應用敏捷”、“業(yè)務智能”、“安全可信”等多方面的智能升級。 基于此,在 5 月 26 日舉辦的數博會上,夢餉集團創(chuàng)新實踐入選“十佳大數據案例”,華為云數智融合平臺也榮獲“2022 數博會領先科技成果優(yōu)秀項目獎”,充分證明了業(yè)界對華為云數據領域技術創(chuàng)新的認可。
獨家創(chuàng)新架構 華為云助力企業(yè)釋放數據價值
為什么不同行業(yè)的不同企業(yè)都青睞華為云數智融合平臺?
簡言之,華為云為企業(yè)在云上打造了統(tǒng)一的數據底座,實現數據和智能的融合,為企業(yè)發(fā)展提供新引擎。
具體說來,三層分離。華為云數智融合平臺通過存儲-緩存-內存三層分離,兼顧存儲成本和計算性能,讓性價比更高,計算更靈活。
其次,統(tǒng)一了元數據。打破原有大數據、數倉、AI 的數據孤島,將數據目錄、數據權限、事務一致性等能力統(tǒng)一到一個中心點,實現一數多用,讓一份數據在多個引擎間自由流動共享,避免數據來回遷移。
第三,DataOps 和 MLOps 融合,讓企業(yè)不同部門、不同角色可以以擅長的方式敏捷用數。讓數據工程師使用熟悉的工具來調用 AI 能力,使大數據開發(fā)和 AI 開發(fā)協(xié)同起來。例如,讓數據工程師用 SQL、Python 交互式 Notebook 做數據清洗、特征工程、模型訓練,幾行代碼就能直接調用平臺內預置的 AI 算法,使數據和模型開發(fā)周期從天級降為分鐘級。
最后,全流程的自動化和智能化,讓繁重的數據治理變得簡單。華為云數智融合平臺將人工智能算法模型應用到數據集成、數據質量、數據建模、數據安全、數據訪問控制、數據關聯(lián)、數據關系和數據洞察的數據全生命周期治理。
簡言之,華為云數智融合 DataArts,用 AI 技術提升數據治理效率,即 AI for Data;用高質量的數據提升模型精度,即 Data for AI,讓企業(yè)決策更精準。
寫在最后
大數據與人工智能的融合,正成為新的技術驅動力。數智融合可以進一步深入企業(yè)業(yè)務,加速業(yè)務迭代和產品創(chuàng)新,推動企業(yè)數字化發(fā)展提質增效,步入高質量發(fā)展階段。
多云時代下,“H(華為云)+X”已經成為越來越多企業(yè)的主流選擇。據悉,在互聯(lián)網領域,80%的中國 Top50 互聯(lián)網企業(yè)選擇華為云。之所以受更多企業(yè)青睞,是因為華為云提出“一切皆服務”,把基礎設施、技術以及經驗云化、服務化,幫助千行百業(yè)的客戶容易上云、方便上云、用好云。同時,華為云深耕行業(yè),將華為與伙伴、客戶的合作創(chuàng)新以及數字化轉型經驗沉淀為云服務,已陸續(xù)開放了 50 多個應用場景,提供超過 2 萬個 API 服務,讓更多企業(yè)就不必重復“造輪子”,通過云服務即獲得全行業(yè)最優(yōu)秀的數字化經驗。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )