中國(guó)儲(chǔ)能網(wǎng)訊：
摘要：大數(shù)據(jù)時(shí)代，隨著煤電公司數(shù)字化轉(zhuǎn)型步伐走深走實(shí)，對(duì)海量數(shù)據(jù)進(jìn)行分析、應(yīng)用的需求越發(fā)高漲，對(duì)數(shù)據(jù)治理能力的要求不斷提高。如何有效利用海量數(shù)據(jù)，并將其轉(zhuǎn)化為能支撐管理決策的價(jià)值信息，成為煤電公司新時(shí)代面臨的難題。本文系統(tǒng)闡述國(guó)內(nèi)外數(shù)據(jù)治理現(xiàn)有研究成果，深入分析煤電公司數(shù)據(jù)治理現(xiàn)存問(wèn)題，創(chuàng)新性地提出了以數(shù)據(jù)中臺(tái)為核心的煤電公司數(shù)據(jù)治理框架，以供有參考。
關(guān)鍵詞：數(shù)字化轉(zhuǎn)型，數(shù)據(jù)治理，數(shù)據(jù)中臺(tái)，數(shù)據(jù)資產(chǎn)
為充分利用大數(shù)據(jù)時(shí)代海量數(shù)據(jù)蘊(yùn)含的巨大價(jià)值，社會(huì)各機(jī)構(gòu)積極探索數(shù)字化轉(zhuǎn)型的正確道路。然而，由于能源行業(yè)的傳統(tǒng)性和分散性，且國(guó)內(nèi)尚未形成成熟的數(shù)據(jù)治理知識(shí)體系[1]，煤電公司落實(shí)數(shù)據(jù)治理存在困難。本文結(jié)合國(guó)內(nèi)外數(shù)據(jù)治理實(shí)踐經(jīng)驗(yàn)及相關(guān)信息技術(shù)的最新發(fā)展成果，針對(duì)煤電公司數(shù)據(jù)管理普遍存在的問(wèn)題，創(chuàng)新性地提出了煤電公司數(shù)據(jù)治理框架，指導(dǎo)能源企業(yè)科學(xué)開(kāi)展數(shù)據(jù)治理工作。
1 研究背景
利用信息技術(shù)管理數(shù)據(jù)截止到目前大體經(jīng)歷了人工報(bào)表、報(bào)表系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、大數(shù)據(jù)平臺(tái)等概念階段[2]，數(shù)據(jù)管理和使用的方式更加有效，而數(shù)據(jù)中臺(tái)是現(xiàn)階段實(shí)現(xiàn)數(shù)據(jù)價(jià)值的解決方案之一[3]。中臺(tái)的概念是基于前后臺(tái)架構(gòu)的傳統(tǒng)模式提出的，旨在解決后臺(tái)單獨(dú)定制導(dǎo)致的重復(fù)開(kāi)發(fā)、資源浪費(fèi)等問(wèn)題和前后臺(tái)同時(shí)開(kāi)發(fā)產(chǎn)生的數(shù)據(jù)孤島等問(wèn)題[4]。煤電公司涉及煤炭、火電、新能源等產(chǎn)業(yè)，伴隨著信息技術(shù)的快速發(fā)展，普遍實(shí)現(xiàn)了從機(jī)械化到自動(dòng)化的飛躍，也因此產(chǎn)生了海量數(shù)據(jù)。根據(jù)業(yè)務(wù)特點(diǎn)使用數(shù)據(jù)中臺(tái)有助于煤電公司將數(shù)據(jù)作為戰(zhàn)略資產(chǎn)進(jìn)行管理，貫穿數(shù)據(jù)收集到處理應(yīng)用的全數(shù)據(jù)生命周期，以提高數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)廣泛的數(shù)據(jù)共享，最終實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化。
2 煤電公司數(shù)據(jù)管理存在問(wèn)題
2.1 缺乏數(shù)據(jù)標(biāo)準(zhǔn)
一是未建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和管理規(guī)范。公司各部門(mén)和機(jī)構(gòu)普遍根據(jù)自身需求進(jìn)行系統(tǒng)開(kāi)發(fā)，導(dǎo)致數(shù)據(jù)的來(lái)源、存儲(chǔ)、管理方式各不相同，難以管理。二是公司內(nèi)各業(yè)務(wù)板塊主數(shù)據(jù)不統(tǒng)一[5]。公司的組織、用戶、設(shè)備、供應(yīng)商等主要信息普遍不通過(guò)統(tǒng)一的業(yè)務(wù)管理流程在系統(tǒng)間維護(hù)，相同的數(shù)據(jù)標(biāo)簽在不同的系統(tǒng)、數(shù)據(jù)庫(kù)內(nèi)設(shè)置不同編碼，導(dǎo)致系統(tǒng)間數(shù)據(jù)無(wú)法共享、復(fù)用，主數(shù)據(jù)在整個(gè)業(yè)務(wù)范圍內(nèi)難以保持一致性。
2.2 數(shù)據(jù)治理內(nèi)容不明確
一是數(shù)據(jù)治理人員單一。數(shù)據(jù)治理工作普遍交由公司內(nèi)部的信息管理部門(mén)或科技創(chuàng)新機(jī)構(gòu)，但數(shù)據(jù)的生產(chǎn)者和使用者遍布各業(yè)務(wù)部門(mén)，僅依靠信息專業(yè)人員會(huì)導(dǎo)致數(shù)據(jù)治理內(nèi)容不明確、脫離生產(chǎn)經(jīng)營(yíng)實(shí)際等問(wèn)題。二是過(guò)于依賴數(shù)據(jù)治理工具。部分煤電公司將數(shù)據(jù)治理視為信息技術(shù)問(wèn)題，認(rèn)為只靠購(gòu)買(mǎi)數(shù)字產(chǎn)品就能解決問(wèn)題，忽略了建立跨技術(shù)、業(yè)務(wù)和管理部門(mén)的組織架構(gòu)和制度流程。
2.3 數(shù)據(jù)全生命周期管理不完整
煤電公司普遍關(guān)注數(shù)據(jù)的收集、使用和展示，但對(duì)數(shù)據(jù)產(chǎn)生、使用、維護(hù)、備份、銷毀的全生命周期管理缺乏重視，沒(méi)有制定相關(guān)的規(guī)范和管理辦法，各業(yè)務(wù)數(shù)據(jù)缺少歸口管理，難以識(shí)別過(guò)期數(shù)據(jù)和無(wú)效數(shù)據(jù)。
3 數(shù)據(jù)中臺(tái)概述
數(shù)據(jù)中臺(tái)的建設(shè)與前沿的大數(shù)據(jù)技術(shù)息息相關(guān)，最終目的是實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化。結(jié)合大數(shù)據(jù)技術(shù)的發(fā)展情況和相關(guān)研究成果，數(shù)據(jù)中臺(tái)框架由物理管理層、邏輯管理層、數(shù)據(jù)資產(chǎn)管理層、數(shù)據(jù)服務(wù)層。
處于數(shù)據(jù)中臺(tái)框架底層的是物理管理層，能進(jìn)行系統(tǒng)的數(shù)據(jù)存儲(chǔ)、運(yùn)算、共享等，并搭建具備基礎(chǔ)能力的實(shí)體機(jī)器和軟件操作平臺(tái)。在物理管理的基礎(chǔ)上對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行邏輯管理，即將數(shù)據(jù)經(jīng)過(guò)處理加工，轉(zhuǎn)變?yōu)榧婢呃斫庑院筒僮餍缘木哂幸?guī)范化結(jié)構(gòu)的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)資產(chǎn)管理的主要功能是面向業(yè)務(wù)實(shí)際設(shè)置的管理體系實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值的釋放。數(shù)據(jù)服務(wù)是數(shù)據(jù)資產(chǎn)發(fā)揮價(jià)值的關(guān)鍵。通過(guò)對(duì)全局?jǐn)?shù)據(jù)進(jìn)行統(tǒng)一管理，各部門(mén)能共享數(shù)據(jù)價(jià)值，并利用數(shù)據(jù)中臺(tái)提供的數(shù)據(jù)服務(wù)為各業(yè)務(wù)領(lǐng)域提質(zhì)增效。網(wǎng)絡(luò)的安全防護(hù)是數(shù)據(jù)中臺(tái)平穩(wěn)運(yùn)行的基礎(chǔ)，從數(shù)據(jù)安全和隱私保護(hù)等方面采取相應(yīng)的安全管理技術(shù)手段，為數(shù)據(jù)的處理提供安全保障。
4 建設(shè)方案
4.1 整體架構(gòu)
煤電公司數(shù)據(jù)治理整體架構(gòu)如圖1所示，包括數(shù)據(jù)采集、數(shù)據(jù)治理、數(shù)據(jù)構(gòu)建三部分。
圖1 數(shù)據(jù)治理整體架
4.2 實(shí)施內(nèi)容
4.2.1 全業(yè)務(wù)域數(shù)據(jù)入湖
煤電公司需要搭建各種系統(tǒng)為生產(chǎn)經(jīng)營(yíng)提質(zhì)增效，利用數(shù)據(jù)治理工具將在運(yùn)系統(tǒng)進(jìn)行數(shù)據(jù)入湖，將不同來(lái)源、不同格式的數(shù)據(jù)集中存儲(chǔ)管理，并對(duì)外提供統(tǒng)一的數(shù)據(jù)分析方式，有效解決數(shù)據(jù)孤島問(wèn)題，同時(shí)顯著降低存儲(chǔ)和使用數(shù)據(jù)的成本。
4.2.2 數(shù)據(jù)治理規(guī)范化
數(shù)據(jù)治理團(tuán)隊(duì)要和各業(yè)務(wù)部門(mén)做好調(diào)研、協(xié)商，確定標(biāo)準(zhǔn)主題，制定信息項(xiàng)框架，力求覆蓋全面、重點(diǎn)明確。在調(diào)研階段，根據(jù)煤電公司業(yè)務(wù)范圍進(jìn)行主題定義和分類，明確責(zé)任部門(mén)，做好信息項(xiàng)類別的識(shí)別和劃分。在標(biāo)準(zhǔn)制定階段，完善信息項(xiàng)屬性，確保唯一性、準(zhǔn)確性。在發(fā)布和落地階段，進(jìn)行數(shù)據(jù)管理規(guī)范的發(fā)布，并制定數(shù)據(jù)規(guī)范的管理辦法和更新規(guī)則，記錄相關(guān)規(guī)范的落實(shí)情況，促進(jìn)推廣應(yīng)用。
4.2.3 數(shù)據(jù)管理標(biāo)準(zhǔn)化
一是制定數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范，組織編制公司級(jí)數(shù)據(jù)中臺(tái)搭建規(guī)范、基礎(chǔ)編碼規(guī)范等文件，并在平臺(tái)建設(shè)過(guò)程中嚴(yán)格遵守，保證數(shù)據(jù)的兼容性和規(guī)范性。二是優(yōu)化數(shù)據(jù)校核流程，充分調(diào)研安全生產(chǎn)及經(jīng)營(yíng)管理業(yè)務(wù)填報(bào)數(shù)據(jù)校對(duì)審核的情況，開(kāi)發(fā)配置數(shù)據(jù)審核校對(duì)等功能，保證數(shù)據(jù)的真實(shí)性、可靠性、及時(shí)性。三是明確用戶數(shù)據(jù)權(quán)限，對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行盤(pán)點(diǎn)、展示和管理，并對(duì)用戶數(shù)據(jù)權(quán)限進(jìn)行管理，為數(shù)據(jù)的管理者和使用者提供個(gè)性化數(shù)據(jù)資產(chǎn)管理、資產(chǎn)視圖以及權(quán)限管控功能。
4.2.4 生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)一體化
一是盤(pán)點(diǎn)數(shù)據(jù)資產(chǎn)，對(duì)各業(yè)務(wù)系統(tǒng)按照業(yè)務(wù)場(chǎng)景形成數(shù)據(jù)資產(chǎn)目錄，評(píng)估數(shù)據(jù)資產(chǎn)的重要性和數(shù)據(jù)分布情況。二是進(jìn)行數(shù)據(jù)清洗、加工與存儲(chǔ)，包括對(duì)采集的數(shù)據(jù)進(jìn)行清洗和整合等，然后加載到數(shù)據(jù)倉(cāng)庫(kù)中，支持?jǐn)?shù)據(jù)分析和數(shù)據(jù)挖掘。三是元數(shù)據(jù)管理。元數(shù)據(jù)管理是對(duì)相關(guān)數(shù)據(jù)源定義、目標(biāo)定義、轉(zhuǎn)換規(guī)則等進(jìn)行管理。從數(shù)據(jù)源到后續(xù)的逐層加工以及稽核，元數(shù)據(jù)將各類的數(shù)據(jù)實(shí)體進(jìn)行定義、約束。四是數(shù)據(jù)質(zhì)量管理。具體措施包括數(shù)據(jù)處理過(guò)程監(jiān)控、數(shù)據(jù)稽核、問(wèn)題管理、日志管理等。五是數(shù)據(jù)安全管理。數(shù)據(jù)管理安全保障方面，要求平臺(tái)具備身份認(rèn)證、數(shù)據(jù)加密、數(shù)據(jù)脫敏等功能，保障平臺(tái)的數(shù)據(jù)應(yīng)用安全。
