2020年7月30日，“第四屆中國信息通信大數(shù)據(jù)大會”在京隆重召開，來自大數(shù)據(jù)行業(yè)的主管部委、院士專家以及來自華為、中國移動、中國電信、中國聯(lián)通、中興等國內知名企業(yè)高管共聚一堂，就通信運營商大數(shù)據(jù)方向、5G及AI應用創(chuàng)新和未來發(fā)展趨勢帶來精彩分享。作為“掌握PB級核心處理技術”的大數(shù)據(jù)產品及解決方案供應商的廣州睿帆科技有限公司，由大數(shù)據(jù)科學家李求實博士代表出席了該峰會。會上，睿帆科技的高性能數(shù)據(jù)倉庫解決方案榮獲最佳創(chuàng)新方案獎。
在會后采訪中，李求實博士向記者講述了睿帆科技高性能數(shù)據(jù)倉庫解決方案的獨到之處，以及相比于其他競品的優(yōu)勢。
他提到，通信運營商實時采集信令數(shù)據(jù)、詳單數(shù)據(jù)、告警數(shù)據(jù)、故障數(shù)據(jù)、網(wǎng)絡資源數(shù)據(jù)等，每天的新增數(shù)據(jù)早已超過PB級。海量的數(shù)據(jù)意味著更高標準的數(shù)據(jù)分析業(yè)務，對于離線分析的時效、實時與近實時的即席實時交互分析，提出了更高的要求。
早些年在傳統(tǒng)離線數(shù)倉階段，通信運營商使用 Hive 作為大數(shù)據(jù)分析的主要工具，對 TB 至 PB 級的數(shù)據(jù)進行分析，但存在著以下的問題：
1. 時效性低
對于運營商業(yè)務來說，實時分析查詢日志、告警次數(shù)，告警時間等數(shù)據(jù)，分析結果的價值取決于時效性。核心運維需求場景下，基于 Hive 的離線分析僅能滿足 T+1 的時效，對于實時故障分析的需求越來越強烈。
2. 易用性低
基于 Hive 離線數(shù)據(jù)分析平臺，對于產品、運營、市場人員具有較高的技術門檻，無法滿足自助的實時交互式分析需求;開發(fā)在上報和提取分析數(shù)據(jù)時，無法實時獲取和驗證結果，查詢和分析日志經(jīng)常需要幾個小時。
3. 效率低
不停的執(zhí)行交互式查詢，所以對實時性要求高，所以效率低。
在運營商做業(yè)務的數(shù)據(jù)分析模型時，需通過探索性數(shù)據(jù)分析去實時執(zhí)行交互式查詢，其對海量數(shù)據(jù)的實時性交互查詢速度要求高。通過Hive構建的業(yè)務數(shù)據(jù)分析模型，響應時間長，分析結果不及時，嚴重影響和拖慢了進度。
為了應對以上問題，提升流程效率，提高數(shù)據(jù)分析處理的時效性和易用性，數(shù)據(jù)的即席分析和數(shù)據(jù)可視化能力支撐需要優(yōu)化和提升，讓問題秒級響應，分析更深入，睿帆科技基于其自主研發(fā)的數(shù)據(jù)庫產品——分布式分析型數(shù)據(jù)庫雪球DB，完成了高可用、低延遲的高性能數(shù)據(jù)倉庫解決方案，正好可以很好的解決這些問題。通過此方案可針對上千個節(jié)點的集群，日均新增PB 級以上的數(shù)據(jù)量，實現(xiàn)秒級的實時數(shù)據(jù)分析、提取、監(jiān)控數(shù)據(jù)基礎服務，大大提高了大數(shù)據(jù)分析與處理的工作效率。
同時，高性能數(shù)據(jù)倉庫解決方案適用于PB級以上超大規(guī)模數(shù)據(jù)的實時寫入、實時讀取的OLAP 應用場景，查詢速度較Presto、SparkSQL提升3-6倍，較Hive提升30-100倍。對比 Presto、SparkSQL、Hive等數(shù)據(jù)庫，其具備高可靠的分布式MPP集群架構，使其可以多切片寫入，完成線性擴展等。
此外，在OLAP場景中讀多于寫且經(jīng)常存在多列的大寬表，列數(shù)可以高達數(shù)百甚至數(shù)千列。“為此，我們特地采用列式存儲和向量化執(zhí)行的方式來解決，極大的減低了IO 的消耗，加速了查詢，也縮短了計算耗時。這讓我們的技術優(yōu)勢更為突出。”李求實博士表示。
一直以來，硬核的技術以及貼合用戶需求的創(chuàng)新性解決方案是睿帆科技的立身之本。此次睿帆科技高性能數(shù)據(jù)倉庫解決方案榮獲2020中國信息通信大數(shù)據(jù)最佳創(chuàng)新方案獎，標志著通信運營商行業(yè)對于睿帆科技的更高認可。未來，睿帆科技將再接再厲繼續(xù)深耕通信運營商行業(yè)的同時，把更多優(yōu)秀的產品解決方案帶到更多的行業(yè)中，助力更多的企業(yè)實現(xiàn)高效、低成本的數(shù)字化轉型。
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
