領誠科技大數據日志分析解決方案

日志分析，并非大數據“雕蟲技”

經過長期的信息化建設，企業(yè)積攢了成百上千套系統(tǒng)，每天產生海量的日志信息數據。然而，大量的日志信息往往被遺棄、或存放歷史庫中，未能有效發(fā)揮其價值。部分企業(yè)逐步意識到日志信息的重要性，部署了Tivoli等管理系統(tǒng)，但這種傳統(tǒng)解決方案，對半結構和非結構化數據適應性極差，且局限于歷史數據的統(tǒng)計展示，對日志數據的獲取、使用和價值發(fā)揮均存在較嚴重的能力不足。

造成這些日志分析窘境的原因，主要包含以下幾點：

隨著科技的飛速發(fā)展，大數據技術日趨成熟，在日志分析方面，大數據亦能大展雄威。領誠科技大數據日志分析解決方案，可望有力地改善企業(yè)日志分析的處境，全面發(fā)揮日志分析的業(yè)務價值。

總體解決方案

經過多年的潛心研究和實踐，領誠科技對大數據技術及應用具有深刻的理解。大數據，并不僅是指數據存儲量的巨大，更強調數據維度的全面和更快速的結果反饋。因此，我們需要從數據源的全面性、時效性和預測能力等多方面發(fā)力。

大數據日志分析解決方案的核心思路如下：

基于NoSQL等技術的數據存儲系統(tǒng)，以適應數據源格式多樣性和不統(tǒng)一，極大限度的促進數據的全面性。

設計常規(guī)數據源API，通過拖拽的方式實現大部分數據的接入，降低多樣數據源的接入成本和IT人員維護難度。

采用分布式架構，通過廉價服務器集群方式來存儲和計算海量日志數據。

設計離線與實時分離的數據處理方式，實現對海量歷史數據的和實時數據的分析，協助系統(tǒng)管理人員實現對問題的敏捷洞察，快速排查故障。

集成開源的R、Python實現對日志數據的可視化和深度挖掘，從而完成對生產系統(tǒng)全面預警、監(jiān)控、統(tǒng)計分析和故障排查。充分利用機器學習和人工智能分析方法，實現對關鍵問題預測分析，協助管理決策，全面提升企業(yè)信息化管理水平。

整體架構示例圖：

針對不同企業(yè)的不同數據安全及系統(tǒng)管理要求，我們提供公共云與私有云兩種部署方案。兩種模式均提供豐富的API，可以對多種類型傳統(tǒng)關系型數據庫、非關系型數據庫以及平面文件實現批量和實時的采集、整合和分析。

相比私有云方案，公共云更具性價比，我們提供7×24小時托管服務，無需耗費大量資源運維底層系統(tǒng)。另外，去中心化的架構設計能夠提升服務的穩(wěn)定性。更有價值的是，我們內置大量常規(guī)分析模型和機器學習模型，能夠有效降低企業(yè)預測分析與實時預警的門檻。

公共云方案

云端模式可以通過代理自動上傳日志數據，通過云端分析平臺統(tǒng)計和分析日志數據。

公共云架構：

私有云方案

私有化云模式需要本地部署日志采集和分析平臺，通過企業(yè)網絡總線實現日志數據的集中，再由分析平臺提供分析和預測服務。

私有云架構：

日志采集與整合

針對不同企業(yè)的日志存儲策略，我們提供豐富的API，可以對多種類型關系數據庫、非關系數據庫、XML文件和平面文件實現批量和實時采集。對于特殊日志格式，可以定制接口，最大限度保證數據的完整新。

海量日志收集后經由平臺統(tǒng)一進行分類整合。首先，對日志原始數據進行清洗，提高數據質量;其次，對數據進行標準化轉換，統(tǒng)一格式和口徑;然后，根據維度建模的策略對數據進行轉換;之后，根據需求進行KPI計算;最后，根據分析需求建立不同主題的集市主題。

存儲與計算

整合后的數據由分布式NoSQL和關系數據庫存儲與計算。這也是集中體現大數據優(yōu)勢技術的地方，分布式的策略極大的降低數據存儲成本，相對其它開支幾乎可以忽略不計。另一方面，處理海量數據的計算能力卻極大提升，能夠快速分析日志結果，從而減少系統(tǒng)運行問題帶來的影響。除此以外，我們提出離線和實時數據分流的策略，進一步平衡實時性和成本的平衡。

應用分析

應用層面，提供多種可視化組件，通過拖拽式操作即可實現對日志數據敏捷展示、查詢和多維分析。在此基礎上，提供全面預警功能，可以通過郵件和短信等形式迅速反饋預警信息。同時，集成R和Python，滿足數據挖掘、機器學習和人工智能分析需求，實現對關鍵問題的聚類分析和預測分析，全面提高日志數據的利用效率。

學習示意圖：

日志分析是發(fā)現系統(tǒng)安全問題的重要手段之一，我們利用整合的日志數據，通過安全分析模型，利用機器學習相關算法，可以迅速洞察以下幾種事件：受感染軟件惡意傳播，遭受入侵的系統(tǒng)，成功的攻擊，內部人員違規(guī)操作，隱蔽通道或隱藏后門通信，高頻探查。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。