中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

1.業(yè)務介紹

中國有色工程有限公司暨中國恩菲工程技術有限公司(原中國有色工程設計研究總院,簡稱“中國恩菲”)是中華人民共和國成立后,為恢復和發(fā)展我國有色金屬工業(yè)而設立的專業(yè)設計機構,現(xiàn)為世界五百強企業(yè)中國五礦、中冶集團子企業(yè)。70 年來,中國恩菲在 30 多個國家和地區(qū)參與了 1.2 萬個工程項目,業(yè)務主要包括非煤礦山、有色冶金、新高材料、能源環(huán)境、智能裝備、數(shù)字智能等。

當前,中國恩菲正全力引領行業(yè)新基建變革,以國家戰(zhàn)略為指引,在“雙循環(huán)”格局下,加速“數(shù)字化、平臺化、智慧化、國際化”轉型,引領行業(yè)向智能、生態(tài)、智慧、綠色的方向持續(xù)發(fā)展,致力于成為最值得信賴的國際化工程綜合服務商及能源環(huán)境發(fā)展商。

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

中國恩菲數(shù)字智能技術公司整合自原中國恩菲電氣智能技術公司、信息技術中心、恩菲研究院數(shù)字工程中心的團隊與技術,打造了涵蓋技術創(chuàng)新、產(chǎn)品研發(fā)、工程服務等優(yōu)勢業(yè)務能力,集自動化、信息化、數(shù)字化于一體的智能化業(yè)務體系,劃分四大業(yè)務板塊,相互協(xié)同、融會貫通,為客戶提供恩菲“MIM+”數(shù)字一體化解決方案與“1+1+N”項目定制化實施方案。

1 個平臺:搭建一個集全信息可視化、全流程數(shù)字化、全周期數(shù)字孿生三位功能于一體的工業(yè)互聯(lián)網(wǎng)平臺。

1 個中心:建設一個覆蓋全廠范圍的大規(guī)模集控、無邊界協(xié)同的智慧運營中心。

N 個應用:基于工業(yè)互聯(lián)網(wǎng)平臺開發(fā) N 個智慧應用(含移動 APP),如:生產(chǎn)管理、能源管理、設備管理、質(zhì)計管理、安全管理、環(huán)保管理、物流管理、工程管理、智慧決策、優(yōu)化控制、仿真計算、數(shù)字孿生等,以及 N 個智能終端(含智能裝備)。

在恩菲“MIM+”工業(yè)互聯(lián)網(wǎng)平臺中,時序數(shù)據(jù)庫 IoTDB 介于數(shù)據(jù)采集節(jié)點與大數(shù)據(jù)平臺和業(yè)務系統(tǒng)之間,作為統(tǒng)一數(shù)據(jù)采集管理模塊中的重要組件,主要應用于智能工廠建設中智能裝備和 DCS 系統(tǒng)的數(shù)據(jù)采集、存儲、管理方向,實現(xiàn)了海量時序數(shù)據(jù)的高并發(fā)寫入與低延時查詢,并結合其配套的可視化控制臺 Workbench 等工具,建立了清晰易操作的數(shù)據(jù)模型管理方案。

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

2.選型考量

中國恩菲的有色金屬智能工廠場景,時序數(shù)據(jù)的采集、存儲、管理涉及超過 30 個自動化智能裝備系統(tǒng),設備類型繁多,采集測點數(shù)量超 10 萬,秒級采集頻率下可產(chǎn)生超 80 億條數(shù)據(jù),每天約產(chǎn)生超 50G 數(shù)據(jù)量,數(shù)據(jù)規(guī)模龐大且并發(fā)要求極高。

傳統(tǒng)關系型數(shù)據(jù)庫底層架構不是專門為處理時序數(shù)據(jù)設計,無法實現(xiàn)契合物聯(lián)網(wǎng)設備層級結構的有效管理,開發(fā)人員查找設備測點對應數(shù)據(jù)存在困難,關系型數(shù)據(jù)庫在處理大規(guī)模、高頻率的時序數(shù)據(jù)時也會遇到性能瓶頸。即便可以采用集群分庫分表方式解決性能問題,但該方案需要的服務器數(shù)量較多,開發(fā)運維成本非常高。

面對上述困難,時序數(shù)據(jù)庫 IoTDB 的多項架構與性能優(yōu)勢,為中國恩菲提供了優(yōu)于關系型數(shù)據(jù)庫并契合智能裝備系統(tǒng)監(jiān)控場景的解決方案:

支持集群部署:IoTDB 集群的負載均衡、高可用、動態(tài)擴容等能力有效提高讀寫速度,降低了單節(jié)點宕機情況下業(yè)務系統(tǒng)受到影響的風險。

層級結構的數(shù)據(jù)模型:IoTDB 創(chuàng)新使用樹形時序模型,完美解決了設備管理層級結構的存儲問題,方便開發(fā)運維人員快速定位查找設備測點數(shù)據(jù)。

高效的寫入、查詢、壓縮性能:IoTDB 基于自研時序文件格式 TsFile 支持列式存儲,結合先進的編碼技術與時序友好的索引結構,大大提高了數(shù)據(jù)存儲效率,有效減少磁盤空間的使用量,并能夠保障高并發(fā)、高吞吐寫入與低延遲查詢效能。

豐富的應用編程接口:IoTDB 提供多種應用編程接口(API),如 Golang,Java,Python 等,使不同開發(fā)人員無需擔憂跨語言開發(fā)的復雜性,能夠便捷高效地開展開發(fā)工作。

便捷的數(shù)據(jù)遷移能力:IoTDB 能夠?qū)崿F(xiàn)端-邊-云協(xié)同,基于底層的統(tǒng)一數(shù)據(jù)格式 TsFile,能夠無縫實現(xiàn)不同層級設備與系統(tǒng)間的數(shù)據(jù)流轉,數(shù)據(jù)文件可以一次處理、多次使用,大幅節(jié)省網(wǎng)絡帶寬與接收端 CPU 資源。

功能齊全的可視化客戶端:專為 IoTDB 配套的可視化控制臺工具 Workbench 集成了豐富的數(shù)據(jù)庫操作管理功能,可通過圖形化方式快速完成業(yè)務設計,大大降低數(shù)據(jù)庫使用的學習成本,一站實現(xiàn)時序數(shù)據(jù)可視化管理。

豐富的運維工具和完善的操作文檔手冊:IoTDB 配套提供集群管理、系統(tǒng)監(jiān)控面板等運維工具,結合詳細的用戶使用手冊,方便運維人員以更小的使用成本監(jiān)測系統(tǒng)狀態(tài),并進行性能調(diào)優(yōu)。

3.解決方案

在恩菲“MIM+”工業(yè)互聯(lián)網(wǎng)平臺中,時序數(shù)據(jù)庫 IoTDB 采用分布式集群部署,憑借其強大的橫向擴展能力與性能優(yōu)勢,能夠高效應對工業(yè)場景下海量時序數(shù)據(jù)的復雜管理需求。

首先,通過不同智能裝備系統(tǒng)獲取的各設備測點信息,借助 IoTDB Workbench 的數(shù)據(jù)模型批量導入功能,管理者與業(yè)務人員可批量完成設備測點層級結構的建模,方便對海量設備時序數(shù)據(jù)進行系統(tǒng)性、結構化管理。

建模完成后,各類自動化智能裝備系統(tǒng)上報的時序數(shù)據(jù)匯總至數(shù)據(jù)采集節(jié)點,通過 API 接口寫入時序數(shù)據(jù)庫 IoTDB 中。管理者與業(yè)務人員可以通過 IoTDB Workbench 集成的豐富數(shù)據(jù)庫操作管理功能,對存儲在 IoTDB 中的海量時序數(shù)據(jù)執(zhí)行查詢、計算與分析,實時查看對應設備測點的數(shù)據(jù)趨勢,并根據(jù)業(yè)務需要調(diào)整模型節(jié)點配置。

時序數(shù)據(jù)庫 IoTDB 可以通過 API/SQL 直讀模式,為統(tǒng)一數(shù)據(jù)采集管理模塊的下游業(yè)務系統(tǒng)直接提供數(shù)據(jù)支撐,也可以通過集成的 IoTDB Flink Connector 讀取能力,為大數(shù)據(jù)平臺提供原始數(shù)據(jù)。大數(shù)據(jù)平臺將基于業(yè)務具體需求對原始數(shù)據(jù)進行加工,將加工后的數(shù)據(jù)提供給下游業(yè)務系統(tǒng)。

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

目前,時序數(shù)據(jù)庫 IoTDB 存儲數(shù)據(jù)量級已經(jīng)相當可觀。以電解區(qū)域場景為例,目前 IoTDB 管理設備 359 個,測點 4971 個,采集頻率為秒級,當前存儲數(shù)據(jù)超 327 億條:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

在總數(shù)據(jù)量已達數(shù)百億條,13 個通道并行寫入存儲的情況下,時序數(shù)據(jù)庫 IoTDB 寫入性能仍舊穩(wěn)定保持在毫秒級,集群模式下表現(xiàn)出可靠的性能:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

4.應用場景

場景一:歷史數(shù)據(jù)讀取

時序數(shù)據(jù)庫 IoTDB 可根據(jù)業(yè)務需要,讀取特定設備測點的最新值,并提供給下游組態(tài)界面,應用于該設備測點的數(shù)據(jù)實時展示。

多線程查詢測點數(shù)據(jù)代碼如下:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

以下結果可見,在 5 個線程同時分別查詢 5 個設備測點當前值數(shù)據(jù)的場景中,時序數(shù)據(jù)庫 IoTDB 查詢結果均保持在毫秒級返回:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

時序數(shù)據(jù)庫 IoTDB 數(shù)據(jù)結果有效支持組態(tài)界面實時展示:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

場景二:IoTDB 與 Flink 集成

Flink 是一個功能強大的流處理框架,適用于實時和批處理任務,具備高性能、容錯性和易用性,廣泛應用于多種數(shù)據(jù)處理場景。

通過在 Flink SQL Client 使用時序數(shù)據(jù)庫 IoTDB 定制化集成的 flink-sql-iotdb-connector 軟件安裝包,可以直接應用 Flink 批處理或?qū)崟r處理 IoTDB 中的時序數(shù)據(jù)。

比如調(diào)用 Flink 中的 Sink 操作,在一個 Flink Table 的 Streaming Job 中將數(shù)據(jù)寫入到 IoTDB 中。Flink SQL 如下所示:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

再比如調(diào)用 Flink 中的 Lookup Point 操作,將 IoTDB 中的 device 作為維度表進行 Lookup 查詢。Flink SQL 如下所示:

中國恩菲用IoTDB破解有色金屬行業(yè)數(shù)據(jù)難題

5.未來展望

中國恩菲通過深度應用時序數(shù)據(jù)庫 IoTDB,構建了有色金屬行業(yè)智能制造轉型的核心數(shù)據(jù)底座。IoTDB 強大的數(shù)據(jù)處理能力與豐富的運維工具支持,精準契合了復雜生產(chǎn)流程中對海量數(shù)據(jù)進行實時管理與深度分析的需求,為中國恩菲的數(shù)字化創(chuàng)新實踐提供了堅實有力的支撐。

未來,中國恩菲希望和時序數(shù)據(jù)庫 IoTDB 共同成長,通過技術研發(fā)、應用拓展等多個維度持續(xù)發(fā)力,不斷挖掘 IoTDB 在有色金屬行業(yè)的潛在價值,全力追求更為卓越的應用成效,推進有色礦冶工程國際化、智慧化、數(shù)字化進程。

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。 )