中國儲(chǔ)能網(wǎng)訊：隨著電網(wǎng)規(guī)模不斷擴(kuò)大，調(diào)控一體化特征凸顯，電力系統(tǒng)運(yùn)行不確定性顯著上升，電網(wǎng)故障分析和處置面臨前所未有的壓力。通過識(shí)別電網(wǎng)信息，快速生成故障處置輔助決策，對(duì)提升故障處置響應(yīng)能力具有重要意義。
《中國電力》2024年第7期刊發(fā)了田波等撰寫的《電網(wǎng)故障處置信息自適應(yīng)理解框架及關(guān)鍵技術(shù)》一文。文章首先分析挖掘故障處置信息語言特點(diǎn)，提出故障處置信息自適應(yīng)理解框架?；贐ERT網(wǎng)絡(luò)對(duì)故障處置信息文本編碼通過Softmax函數(shù)識(shí)別故障處置信息意圖，接入條件隨機(jī)場(chǎng)（conditional random field，CRF）識(shí)別故障處置信息槽位，從而建立基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型。
為了提升電網(wǎng)故障處置響應(yīng)能力，提出一種故障處置信息自適應(yīng)理解框架，該框架基于所構(gòu)建的多任務(wù)協(xié)同理解模型和故障處置知識(shí)圖譜識(shí)別電網(wǎng)故障告警、運(yùn)行狀態(tài)、操作指令等信息，自適應(yīng)推理生成故障處置操作策略。通過建立故障處置信息理解模型評(píng)價(jià)指標(biāo)和試驗(yàn)數(shù)據(jù)集，驗(yàn)證了故障處置信息理解框架和多任務(wù)協(xié)同理解模型的有效性。
01
故障處置信息分析及理解框架
1.1 故障處置信息語言特點(diǎn)
故障處置信息含有大量設(shè)備名詞、操作術(shù)語、特殊表述以及同音異字。故障處置信息具有以下特點(diǎn)。
1）故障處置信息存在大量專業(yè)名詞，這些電力專業(yè)名詞基于通用自然語言理解方法難以準(zhǔn)確辨識(shí)，需要對(duì)電力專業(yè)名詞進(jìn)行特征訓(xùn)練才能有效地辨識(shí)；
2）故障處置信息存在多種特殊表達(dá)方式，常見故障處置信息特殊表達(dá)術(shù)語如“主變”與“變壓器”，詞匯含義相同，但表述不盡相同，要對(duì)故障處置信息進(jìn)行多元化建模；
3）故障處置信息存在同音異字情況，如“長(zhǎng)治”與“長(zhǎng)志”，要考慮故障處置信息語境給出理解結(jié)果；
4）故障處置信息存在同音同字代表不同對(duì)象情況，要綜合考慮調(diào)控機(jī)構(gòu)、地區(qū)、電壓等級(jí)等電網(wǎng)特征信息對(duì)故障處置信息理解。
1.2 故障處置信息自適應(yīng)理解框架
故障處置信息理解框架通過人工智能和自然語言處理技術(shù)理解電網(wǎng)故障告警、運(yùn)行狀態(tài)、操作指令等信息中意圖和槽位，形成可用于執(zhí)行調(diào)度控制系統(tǒng)的畫面調(diào)閱、數(shù)據(jù)查詢和故障輔助操作指令，同時(shí)生成故障處置信息理解結(jié)果和輔助決策，為故障處置提供支撐，具體框架方案如圖1所示。
圖1 電網(wǎng)故障處置信息自適應(yīng)理解框架
Fig.1 The adaptive understanding framework of fault disposal information
故障處置信息理解模塊由故障處置信息領(lǐng)域識(shí)別模型、基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型以及故障處置知識(shí)圖譜3部分組成。故障處置信息領(lǐng)域識(shí)別模型基于文本卷積神經(jīng)網(wǎng)絡(luò)（text convolutional neural networks，TextCNN）對(duì)輸入文本進(jìn)行二分類意圖識(shí)別，判斷文本序列進(jìn)入故障處置信息多任務(wù)協(xié)同理解模型或者故障處置知識(shí)圖譜。基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型與故障處置知識(shí)圖譜并行使用，多任務(wù)協(xié)同理解模型采用“多任務(wù)協(xié)同”神經(jīng)網(wǎng)絡(luò)聯(lián)合識(shí)別故障處置信息意圖和槽位，支撐故障處置信息自適應(yīng)理解。
故障處置交互信息管理模塊分為交互狀態(tài)跟蹤和交互策略判別部分。交互狀態(tài)跟蹤基于有限狀態(tài)機(jī)判定故障處置信息文本意圖及槽位是否填滿，將當(dāng)前交互狀態(tài)和歷史交互狀態(tài)輸入到交互策略判別中。交互策略判別模型基于長(zhǎng)短期記憶網(wǎng)絡(luò)訓(xùn)練故障處置場(chǎng)景業(yè)務(wù)語料建立，該模型通過交互狀態(tài)判定交互策略動(dòng)作。
故障處置信息理解結(jié)果反饋模塊接收到故障處置信息交互狀態(tài)跟蹤模塊和交互策略判別模塊的判定結(jié)果給出故障處置信息理解結(jié)果，理解回復(fù)語言。這些故障處置信息理解結(jié)果通過語音合成模塊轉(zhuǎn)為音頻播報(bào)給調(diào)度員。
故障處置信息理解輔助模塊包括電網(wǎng)故障、運(yùn)行狀態(tài)及操作指令獲取、故障處置信息預(yù)處理和故障處置輔助決策操作執(zhí)行功能。故障處置信息預(yù)處理功能采取規(guī)則修正和語言拼音修正相結(jié)合的方法對(duì)電力特殊符號(hào)、專業(yè)術(shù)語、設(shè)備名詞等信息進(jìn)行修正，以保證故障處置信息理解模型的識(shí)別準(zhǔn)確率。故障處置輔助決策操作執(zhí)行功能在理解故障處置信息后，實(shí)現(xiàn)系統(tǒng)畫面調(diào)閱、數(shù)據(jù)查詢和故障處置輔助決策生成。
02
電網(wǎng)故障處置信息理解關(guān)鍵技術(shù)
2.1 基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型
BERT是基于海量語料建立的預(yù)訓(xùn)練模型，其模型結(jié)構(gòu)如圖2所示。
圖2 BERT模型結(jié)構(gòu)
Fig.2 Structure of BERT model
BERT利用雙層Transformer編碼器中的多頭注意力機(jī)制使輸入文本序列各字符得到不同的關(guān)注權(quán)重，提升調(diào)度專業(yè)語言字符間依存能力。通過對(duì)輸入文本字符進(jìn)行向量矩陣非線性變換得到每個(gè)字符的查詢向量Q、鍵向量K和值向量V，輸入文本每個(gè)字符的Q向量與K向量做內(nèi)積計(jì)算，計(jì)算值越大，說明關(guān)聯(lián)程度越大。通過對(duì)關(guān)聯(lián)程度縮放和Softmax函數(shù)歸一化處理，得到輸入文本中每個(gè)字符與其他字符的關(guān)聯(lián)程度，最后與各個(gè)字符的V向量加權(quán)融合，計(jì)算得到每個(gè)字符在全局的語義字向量。
基于BERT-CRF的多任務(wù)協(xié)同理解模型通過同時(shí)兼顧故障處置信息意圖和槽位識(shí)別損失函數(shù)收斂性，克服故障處置信息特殊符號(hào)多、專業(yè)術(shù)語強(qiáng)、表述模糊等難點(diǎn)，在保留故障處置信息意圖和槽位完整性的同時(shí)提高了故障處置信息識(shí)別準(zhǔn)確率，其模型結(jié)構(gòu)如圖3所示。
圖3 故障處置信息多任務(wù)協(xié)同理解模型結(jié)構(gòu)
Fig.3 Structure of fault disposal information multi-task collaborative understanding model
故障處置信息經(jīng)過BERT模型計(jì)算后得到輸出向量，CRF綜合分析單個(gè)字符中各電力實(shí)體標(biāo)簽得分和相鄰字符標(biāo)簽之間轉(zhuǎn)移得分對(duì)故障處置信息中槽位進(jìn)行評(píng)分。故障處置信息槽位正確標(biāo)注總分?jǐn)?shù)除以所有可能標(biāo)注得分總和，得到當(dāng)前故障處置信槽位正確標(biāo)注序列的概率。
2.2 故障處置知識(shí)圖譜與多任務(wù)協(xié)同理解模型
電網(wǎng)模型、運(yùn)行規(guī)程、事故預(yù)案等數(shù)據(jù)中含有大量的故障處置信息，基于混合神經(jīng)網(wǎng)絡(luò)抽取上述數(shù)據(jù)中故障處置要點(diǎn)及要點(diǎn)關(guān)系，通過“實(shí)體-關(guān)系-實(shí)體”形成故障處置知識(shí)語義網(wǎng)絡(luò)，從而建立故障處置知識(shí)圖譜，該知識(shí)圖譜具體形態(tài)如圖4所示。
圖4 故障處置知識(shí)圖譜形態(tài)
Fig.4 The form of fault disposal knowledge graph
故障處置知識(shí)圖譜在感知到故障處置信息時(shí)，基于文本相似度算法計(jì)算故障處置信息與知識(shí)圖譜中關(guān)鍵信息實(shí)體的語義距離，通過語義距離比較，選擇語義距離最近的知識(shí)圖譜實(shí)體所對(duì)應(yīng)的解釋內(nèi)容作為對(duì)故障處置信息的理解結(jié)果。
故障處置信息多任務(wù)協(xié)同理解模型與故障處置知識(shí)圖譜兩者相輔相成實(shí)現(xiàn)故障處置信息理解和輔助決策生成，多任務(wù)協(xié)同理解模型用于理解畫面調(diào)閱、數(shù)據(jù)查詢、預(yù)案查詢、應(yīng)用操作等故障處置操作指令，故障處置知識(shí)圖譜用于理解故障處置規(guī)程、故障處置細(xì)則等信息查詢指令，同時(shí)存儲(chǔ)結(jié)構(gòu)化的預(yù)案、規(guī)程規(guī)定等知識(shí)。通常情況下，基于BERT-CRF的多任務(wù)協(xié)同理解模型對(duì)建模意圖范圍內(nèi)的故障處置信息具有準(zhǔn)確地理解能力，超出故障處置操作涵蓋意圖將基于故障處置知識(shí)圖譜推理相應(yīng)的理解答案。
03
實(shí)例分析
3.1 故障處置信息理解模型評(píng)價(jià)指標(biāo)
為了對(duì)故障處置信息理解模型進(jìn)行綜合評(píng)估，提出故障處置信息多任務(wù)協(xié)同理解模型指標(biāo)。從意圖識(shí)別、槽位提取以及輔助決策生成3個(gè)維度評(píng)估故障處置信息理解效果，通過對(duì)上述評(píng)價(jià)維度的精準(zhǔn)率、召回率和平衡F分?jǐn)?shù)（F1）加權(quán)組合評(píng)價(jià)故障處置信息理解模型識(shí)別性能。
3.2 調(diào)度專業(yè)試驗(yàn)數(shù)據(jù)
根據(jù)故障處置場(chǎng)景特征，構(gòu)建故障處置信息理解試驗(yàn)標(biāo)準(zhǔn)數(shù)據(jù)集，共梳理24種故障處置操作意圖，將每種操作意圖泛化為多種故障處置信息表述，生成17560條故障處置信息，其中12898條為訓(xùn)練樣本集，4300條作為驗(yàn)證樣本集，362條作為測(cè)試樣本集。部分?jǐn)?shù)據(jù)如表1所示。
表1 部分故障處置試驗(yàn)數(shù)據(jù)
Table 1 Partial fault disposal test data
對(duì)表1中24種故障處置操作意圖下的17560條故障處置信息進(jìn)行標(biāo)記，標(biāo)記每條信息的意圖和槽位，部分標(biāo)記語料如表2所示。
表2 部分故障處置信息標(biāo)記數(shù)據(jù)
Table 2 Partial fault disposal information label data
3.3 模型效果分析
通過BERT-CRF訓(xùn)練標(biāo)記后的故障處置信息樣本，建立故障處置信息意圖識(shí)別和槽位識(shí)別模型，采用“多任務(wù)協(xié)同”神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)訓(xùn)練故障處置信息意圖識(shí)別和槽位提取模型。采用362條測(cè)試樣本對(duì)意圖模型進(jìn)行驗(yàn)證，24種故障處置信息意圖識(shí)別效果如圖5所示。
圖5 故障處置信息意圖識(shí)別效果
Fig.5 Identification effect of fault disposal information intention
通過圖5數(shù)據(jù)可知，所提故障處置信息多任務(wù)協(xié)同理解模型對(duì)22種操作意圖的識(shí)別精準(zhǔn)率、召回率、F1值均為100%，具有較高的識(shí)別精度和泛化能力，能夠滿足現(xiàn)場(chǎng)實(shí)用要求。進(jìn)一步分析上圖中混淆矩陣數(shù)據(jù)，可以看出意圖6（查詢機(jī)組開機(jī)臺(tái)數(shù)）對(duì)應(yīng)的故障處置信息測(cè)試指令中有1條理解錯(cuò)誤，將其識(shí)別為意圖3（查詢機(jī)組備用出力），影響了兩種意圖精準(zhǔn)率和召回率。為了全面評(píng)估基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型性能，采用所提故障處置信息多任務(wù)協(xié)同理解模型評(píng)價(jià)指標(biāo)計(jì)算24種故障處置信息理解效果，如表3所示。從表3可以看出，多任務(wù)協(xié)同理解模型對(duì)意圖識(shí)別、槽位識(shí)別以及輔助決策生成整個(gè)故障處置信息理解過程每個(gè)環(huán)節(jié)均具有較高的識(shí)別準(zhǔn)確率和泛化能力，能夠?yàn)殡娋W(wǎng)故障處置提供安全可靠的輔助決策。
表3 故障處置信息多任務(wù)協(xié)同理解模型識(shí)別效果
Table 3 Recognition effect of fault disposal information multi-task collaborative understanding model
3.4 模型效果對(duì)比
為了進(jìn)一步驗(yàn)證文中所提故障處置信息多任務(wù)協(xié)同理解模型性能，將其與基于BiLSTM-CRF的多任務(wù)協(xié)同理解模型以及其他管道模型對(duì)比，管道模型中的意圖識(shí)別分別基于文本卷積神經(jīng)網(wǎng)絡(luò)（TextCNN）、深層金字塔卷積網(wǎng)（deep pyramid convolutional neural networks，DPCNN）構(gòu)建，槽位提取分別基于BiLSTM-CRF、迭代膨脹卷積神經(jīng)網(wǎng)絡(luò)（iterated dilated convolutional neural networks，IDCNN）構(gòu)建，各模型對(duì)測(cè)試樣本的理解效果如表4所示。
表4 各模型評(píng)價(jià)指標(biāo)計(jì)算結(jié)果
Table 4 Calculation results of evaluation indicators for each model
從表4數(shù)據(jù)可知，所提基于BERT-CRF的故障處置信息多任務(wù)理解模型對(duì)意圖識(shí)別、槽位識(shí)別以及輔助決策生成各環(huán)節(jié)的精準(zhǔn)率、召回率、F1值要均高于基于BiLSTM-CRF的多任務(wù)協(xié)同理解模型以及其他管道模型。與基于BiLSTM-CRF的多任務(wù)協(xié)同理解模型相比，BERT能夠更深層次地表示電網(wǎng)故障處置信息專業(yè)信息的特征和差異，適合處理調(diào)度專業(yè)信息復(fù)雜建模問題；兩種故障處置信息多任務(wù)協(xié)同理解模型與DPCNN+IDCNN、TextCNN+BiLSTM-CRF管道模型相比，同時(shí)考慮故障處置信息意圖識(shí)別和槽位提取多任務(wù)損失函數(shù)收斂能力，有利于更好地表征故障處置信息意圖和槽位特征依存關(guān)系，克服故障處置信息理解難題，提高故障處置信息理解模型應(yīng)用效果。
3.5 故障處置信息自適應(yīng)理解框架實(shí)際應(yīng)用
基于故障處置信息自適應(yīng)理解框架研發(fā)了故障智能處置系統(tǒng)，該系統(tǒng)能夠主動(dòng)感知電網(wǎng)故障、運(yùn)行狀態(tài)及操作指令等信息，通過故障處置信息多任務(wù)理解模型、故障處置知識(shí)圖譜以及多輪理解反饋機(jī)制自適應(yīng)推理故障處置信息，實(shí)現(xiàn)了系統(tǒng)畫面調(diào)閱、故障處置數(shù)據(jù)查詢、故障設(shè)備臺(tái)賬查詢、故障處置預(yù)案推送、故障處置輔助操作等功能的智能執(zhí)行，改變了傳統(tǒng)依靠人工經(jīng)驗(yàn)理解和操作的處置模式。
以“查詢大侯雙回線跳閘預(yù)案”故障處置指令為例，意圖為“查詢事故預(yù)案”，槽位為“大侯雙回線”，故障處置信息自適應(yīng)理解框架感知“查詢事故預(yù)案”指令后，框架通過理解確定指令缺少槽位信息，主動(dòng)生成故障處置信息引導(dǎo)策略“查詢哪個(gè)事故預(yù)案”，在反饋“大侯雙回線跳閘”調(diào)度指令后，框架將綜合理解當(dāng)前條指令與歷史條指令，分析得出“查詢大侯雙回線跳閘預(yù)案”指令，然后在故障處置知識(shí)圖譜中查詢相應(yīng)的預(yù)案進(jìn)行推送，至此完成了整個(gè)故障處置信息自適應(yīng)理解和推理過程。目前故障智能處置系統(tǒng)已經(jīng)在多個(gè)省級(jí)及以上電網(wǎng)應(yīng)用，大幅度縮短了故障處置時(shí)間，提升了電網(wǎng)故障處置響應(yīng)能力。
04
結(jié)語
結(jié)合故障處置業(yè)務(wù)需求及故障處置信息語言特征，本文構(gòu)建了電網(wǎng)故障處置信息自適應(yīng)理解框架，能夠識(shí)別和理解電網(wǎng)故障告警、運(yùn)行狀態(tài)、操作指令等信息，通過交互狀態(tài)推理自適應(yīng)生成故障處置策略。提出基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型，在訓(xùn)練過程中同時(shí)兼顧意圖和槽位識(shí)別損失函數(shù)的收斂能力，實(shí)現(xiàn)故障處置信息的準(zhǔn)確理解。建立故障處置信息多任務(wù)協(xié)同理解模型評(píng)價(jià)指標(biāo)和試驗(yàn)樣本集，在某調(diào)控中心驗(yàn)證了故障處置信息自適應(yīng)理解框架和多任務(wù)協(xié)同理解模型的有效性。
