隨著城市快速發展地下管線規模不斷擴大作為城市的地下生命線血管神經發揮的作用越來越突出管理缺位隱患突出拉鏈馬路雨季內澇窖井傷人等問題日益凸顯飽受市民詬病為解決上述城市病各地自2011年開始紛紛開展城區地下管線普查工作不斷完善城市地下管線大數據提升了城市安全管理質量運用大數據技術實現管線運營中海量數據的幾種存儲統一管理高效計算深度挖掘以及可視化應用

管線數據分析旨在通過對互聯網移動應用等外部數據抓取和物聯傳感器實時監測數據集成加強管線運營數據與抓取數據監測數據的融合構建以管線運營數據為核心的數據資源池在此基礎上重點解決多源異構數據融合數據存儲數據處理以及數據計算等方面的問題提高管線運營數據存儲與管理的集成度通過對管線運營大數據挖掘分析模型的研究提供多維度的管線運營數據分析從而為管線運營過程中的決策提供輔助支持

探索分析與管線運營相關的互聯網管線相關數據物聯接入數據等外部數據形成與管線運營相關的外部數據指標體系表并對各指標的參考取值及對管線運營的影響進行分析建立大數據中心通過數據交換平臺及相應的主題數據庫實現管線運營數據的抓取針對外部數據重點研究數據采集處理和分析實現結構化數據非結構化數據及半結構化數據的應用

管線數據體系自動識別傳統的管線數據分析包括人工分析和簡單的程序分析但隨著海量管線數據的采集和積累傳統的分析方式都難以實現對管線大數據指標識別基于大數據技術的管線數據對互聯網物聯接入管線運營應急指揮安全監管等數據進行分析可以實現對管線指標體系自動識別的效果提升管線畫像的分析能力

管線數據高維分析管線數據指標體系中的指標數量眾多指標數據之間可能存在多種相關關系指標分析維度呈現多樣化分析通過高維分析技術可以將指標維度進行匯集合并自動對維度與指標關系進行判斷從而盡可能減少邊緣維度對關鍵維度可能出現安全隱患的管線提前預警提高管線運營整體的工作效率降低管線維修維護成本

管線大數據平臺主要解決面向大數據的采集存儲管理計算和分析應用等應用平臺總體架構包括管線數據采集與處理平臺管線數據儲存與管理平臺管線分布式計算與挖掘平臺管線大數據分析平臺模塊以及用于管理軟件組件以及集群硬件的大數據平臺管理模塊

1基礎設施管理包括服務器計算資源存儲設備資源網絡資源為業務應用系統和大數據分析提供基礎環境

2管線數據采集與處理平臺針對互聯網物聯接入管線運營應急指揮安全監管等數據的采集要求平臺通過集成和開發等方式設計了多種應用場景下的數據庫采集工具根據不同數據特點對數據進行采集清洗轉換和加載

3管線存儲與管理平臺提供對結構化和非結構化數據通過綜合應用關系型數據庫列式數據庫內存數據庫運算并列數據庫等數據庫技術支持海量異構數據統一可靠的儲存管理對外提供統一的分布式調用接口

4管線分布計算與挖掘憑條優化了分布計算框架和分布式內存計算框架并在此基礎上構建面向管線運營管理業務的文本處理引擎流處理引擎數據挖掘引擎搜索引擎等進一步加強了管線數據分析能力的支持

5管線大數據分析平臺利用強大的分析能力從互聯網物聯接入管線運營應急指揮安全監管等數據大量基礎數據中分析獲得規律并利用規律對未知數據進行預測實現對管線數據進行高維分析安全隱患分析應急指揮分析管線預警預測分析等

6大數據平臺管理模塊可以實現大數據平臺的快速部署包括平臺的安裝部署配置運維監控數據操作等以圖形化的方式可以將大數據平臺中各類服務組件的使用情況進行可視化展現

7主數據管理模塊支撐大數據平臺中主數據的管理包括元數據管理主數據模型管理主數據檢索數據質量管理數據字典管理數據接口管理和安全管理

管線運營數據分析應用也可分為3方面

1管線運營時空分析運用GIS手段對地下排水管線給水管線供熱管線供氣管線等市政基礎設施管線不同時間點不同地理位置的運行狀態進行監控通過對同一時間段不同地理位置的流量流速分析適當調配不同區域供水供氣的水壓和氣壓保障區域內人民對水氣暖的正常使用

2管線老化預警分析由于管線材質施工時間表面防腐層的不同直接影響了各類管線的老化程度各異通過對各類管線基礎數據進行分析評價管線的老化情況定量給出管線的老化級別對于老化級別較高的管線進行定期預警形成管線預警分析報告預防管線事故的發生

3管線事故影響分析根據水氣暖等事故影響模型在出現應急事件時通過獲取應急事件的事件類型發生時間事故地點等參數信息從而計算得出事故的影響范圍需要調配的物資人員車輛等資源信息有利支撐應急決策和執行

管線安全關乎社會民生和經濟發展管線運營數據分析意義重大