一種基于火災圖像和人工智能的熱釋放速率計算方法

王自龍，張天航，黃鑫炎

一種基于火災圖像和人工智能的熱釋放速率計算方法

王自龍，張天航，黃鑫炎

(香港理工大學建筑環境與能源工程學系，香港 900777)

火焰的熱釋放速率是描述火災行為和危險性的重要參數之一，然而由于火災場景的復雜性，傳統的火災熱釋放速率測量方法無法適用．本文旨在探索一種基于人工智能和圖像的火災熱釋放速率預測方法，用于火災場景下火災強度的識別，進而為消防應急救援提供依據．用于火災熱釋放速率識別的深度學習模型(Swin Transformer)由美國國家標準技術研究所公開的火災圖像量熱數據庫訓練而成，其中包含火災測試89例，不同時刻的5萬多張火災圖像．所得模型可根據火災場景下拍攝的火災圖像實時識別火災的大?。漕A測結果表明，即使在不同火源的場景下，深度學習模型可以通過當前的火災圖像對火災熱釋放速率進行有效識別，這將為未來的智慧消防系統開發提供有效的支持．

火災圖像；人工智能；火災量熱；Swin Transformer

火災是生活中最常見的事故之一(見圖1)．根據應急管理部消防救援局統計，2020年全國消防部門共接報火災25.2萬起，造成1183人死亡，775人受傷，直接財產損失40.09億元．在實際火災場景中，火災的熱釋放速率(HRR)是衡量火災發展和火災規模的有效指標[1]，已被廣泛用于消防行動中[2]．然而，由于大多數火災場景中缺乏設備的支持，消防人員只能根據自己的經驗判斷或猜測火災的發展．由于缺乏準確的火災信息，會導致消防人員對火災場景和關鍵事件的誤判，延誤滅火和救援的時機，并造成不必要的傷亡．為了確保消防員的安全和有效的消防決策，需要對火災場景進行實時的識別，以便更好地了解火災的發展．

（a）建筑火災 （b）車輛火災

圖1 建筑火災與車輛火災

Fig.1 Building fire and vehicle fire

在大多數火災實驗或實際火災場景中，通常采用相機或手機攝像頭對火焰和煙氣進行拍攝，以確定相關的火災參數[3-5]．對火焰圖像的深入分析可以提供有關火災發展的各種信息．然而，這些信息的獲得需要經過復雜的圖像處理過程，其準確性和可靠性對相機設置、背景光和實驗干擾很敏感，因此無法用于真實火災場景下的火災實時熱釋放速率識別．

隨著人工智能(AI)技術的發展，特別是深度學習方法的發展，人工智能方法已被廣泛應用于識別隱藏的火災信息和預測火災煙氣的發展．Wu等[6-7]使用深度學習算法準確預測了隧道內的火源位置和溫度分布．Su等[8]將人工智能方法用于中庭的性能化消防設計，可以快速確定消防設計的極限，極大地縮短了設計周期．Zhang等[9]將人工智能用于腔室火災發展的識別，最終實現了腔室內溫度和轟燃現象的預測．蔣亞強等[10]通過對不同外立面形態的火災場景的訓練，實現了不同外立面構造形式下開口溢流火焰溫度的實時預測，為外立面的設計和火災防控提供支撐．然而，這些工作大多是基于模擬數據庫或傳感器數據來識別和預測火災發展．然而火災場景中很難提前安裝傳感器，即使預先安裝了傳感器，它也會很快被燒毀．為了實現安全可靠的火災信息獲取，人們把研究目光轉向了圖像信息．陳培豪等[11]通過采用輕量級神經網絡 MobileNetv3 自動提取疑似火災區域特征，實現了實時的視頻火災識別．蔣珍存等[12]基于深度遷移學習實現了火災場景圖片的準確分類．筆者前期對基于煙霧和火焰圖像來識別火災熱釋放速率的可能性進行了初步的探索[13-14]，但是沒有探索不同深度學習算法的有效性．

為了實現更便捷有效的火災熱釋放速率識別，本文從美國國家標準技術研究所(NIST)公開的火災量熱數據庫中選取了火災測試89例，據此構建了火災圖像量熱數據庫，并將其用于火災熱釋放速率識別模型(Swin Transformer)的訓練，最終實現了基于圖像的火災熱釋放速率識別．

1 預測方法

1.1 火災圖像數據庫

為了獲取有效的火災熱釋放速率識別模型，筆者使用NIST火災圖像量熱數據庫[15]對深度學習模型進行訓練．NIST火災圖像量熱數據庫為NIST國家火災研究實驗室(NFRL)進行火災實驗的匯總，其中包含每個火災實驗的實驗記錄，測試樣本包含組分單一的可燃物、設備齊全的房間、受控的燃燒器和未知組分的復合燃料等．所有的火災實驗在使用攝像機對燃料的燃燒過程進行記錄的同時，還使用了100kW、1MW、3MW和20MW的耗氧量熱儀對燃燒過程的熱釋放速率進行測量，測量結果的不確定性為11%[16]．

由于所訓練的深度學習模型主要通過火焰的行為對火災熱釋放速率進行識別，因此在構建火災圖像數據庫的過程中主要選取了火焰形態較為明顯的的火災測試共89例，包含不同時刻的5萬多張火災圖像用于深度學習模型的訓練，訓練樣本可以充分反映不同熱釋放速率下的火焰形態，足以實現有效的模型訓練．燃燒測試的樣本包含紙箱、木垛、垃圾桶、塑料椅、吸塵器、木質托盤等常見可燃物，其最大熱釋放速率為3240kW，如圖2所示．

1.2 數據庫的生成

獲取到火災圖像數據庫后，需要將視頻中的火災圖像與耗氧量熱儀測量的實時熱釋放速率匹配，以形成用于深度學習模型訓練的數據庫，其生成過程如圖3所示．數據匹配后得到有效圖像51013張，所有圖像對應的熱釋放速率分布如圖4所示．從圖中可以看出，訓練樣本中不同熱釋放速率圖像的分布并不平衡，較小熱釋放速率對應的火焰圖像在數據庫中的分布較多．

（a）紙箱 （b）木垛

（c）垃圾桶 （d）塑料椅

圖2 NIST火災圖像量熱數據庫中的典型燃料

Fig.2 Typical fuel in NIST fire calorimetry database

圖3 數據庫的生成和劃分

圖4 數據庫熱釋放速率分布

同時，為了提高模型訓練的效率，需要對原始火焰圖像進行縮放．本文將分辨率為1920×1080像素的火焰圖像縮放到224×224像素，縮放后的圖像仍保留火焰的主體特征．數據庫中的火災圖像將被劃分為測試集(80%)和驗證集(20%)兩部分，分別用于神經網絡的訓練和訓練過程中模型的驗證．

1.3 Swin Transformer

盡管人眼可以直觀地對火焰的大小進行判斷，卻無法識別火焰圖像的微小變化，無法準確地判斷火焰的熱釋放速率，因此筆者通過深度學習的方式建立火焰圖像與火災熱釋放速率的關系．Swin Transformer作為當前最先進的深度學習算法之一[17]，同時具有卷積神經網絡(CNN)層次化的構建方式以及在無重合窗口區域的自注意力機制等特點，已被廣泛應用于醫療診斷[18]、缺陷檢測[19]和面部識別[20]等任務中．筆者將其用于基于火災圖像的熱釋放速率識別，所采用的結構如圖5所示．

Swin Transformer采用類似于卷積神經網絡的層次化設計，共包含4個階段，通過圖像拼接不斷降低圖像的尺度以提取火焰圖像的特征．在將火焰圖像輸入該模型后，首先將圖像切分成為7×7的圖塊，再經過線性嵌入圖像維度變為56×56×48，其結果將被輸入Swin Transformer模塊中進行窗口注意力和移動窗口注意力的計算．移動窗口注意力機制的引入可以更好地和其他窗口進行信息交換并極大地降低了計算的復雜度．最終通過多層感知機輸出火災熱釋放速率的數值．

（a）Swin Transformer （b）移動窗口

（c）Swin Transformer模塊

（d）Swin Transformer結構

圖5 Swin Transformer模型的4個階段

Fig.5 The 4 stages of the Swin Transformer model

整個網絡結構共包含2800萬個參數，以充分反映火焰圖像與熱釋放速率之間的關系．模型的訓練在一臺包含有32個CPU核心和一塊Tesla P100 GPU卡的服務器上進行，50步的訓練步長共需要6h．模型訓練完成后，深度學習模型可以根據輸入的火災場景圖像實現對火災熱釋放速率的實時預測．

2 預測結果

2.1 模型訓練

模型訓練過程中的表現如圖6所示．經過50步的訓練，深度學習模型達到收斂，驗證集中最小均方誤差損失為0.01，最大決定性系數2為0.98，這表明深度學習模型在訓練集和驗證集中已實現準確的火災熱釋放速率識別．

圖6 模型訓練過程中的均方誤差損失與決定性系數

2.2 模型驗證

基于圖像的火災熱釋放速率模型訓練完成后，需要對模型的性能進行測試．本節選取了3個火災測試場景對模型性能進行測試，分別為浸庚烷的棉布火災，塑料吸塵器火災以及木質托盤火災，對應著大中小3種熱釋放速率的火災類型．這3種火災測試場景完全沒有參與深度學習模型的訓練，這意味著深度學習模型將通過從訓練集中所學的知識對位置場景進行識別，最終的識別結果如圖7所示．

總的來說，深度學習模型可以有效地對大中小不同熱釋放速率的火災進行識別．其中該模型對中熱釋放速率的火災(即塑料吸塵器火災)的識別效果最好，其識別結果與實際測試值的決定性系數達0.98，識別結果的平均絕對誤差為12.32kW．在對小熱釋放速率火災(即浸庚烷)的棉布火災場景進行識別時，由于其火焰的尺寸較小，在使用圖像對其熱釋放速率進行識別時容易受到噪聲的影響，識別結果與實際值的決定性系數僅達到0.66，然而該模型仍舊能準確識別火災的發展，其預測結果的平均絕對誤差為4.49kW.

對于極大熱釋放速率的火災場景，以木質托盤火災為例，深度學習模型在小中熱釋放速率的火災階段預測效果較好，當火災充分發展達到較大的熱釋放速率時，模型將極大地低估實際的火災熱釋放率．其原因可能是由于訓練數據集熱釋放速率分布不平衡導致，小中熱釋放速率的火災場景圖像較多，大熱釋放速率的火災場景較少甚至沒有，模型傾向于低估較大火災的熱釋放速率．這種低估可以通過擴充圖像數據庫進行緩解．盡管如此，深度學習模型識別結果與實際熱釋放速率的決定性系數仍達到0.72，可以反映實際火災場景的發展．

2.3 模型在隨機火災場景的應用

基于火災實驗的測試，筆者完成了深度學習模型識別性能的驗證．本節中筆者將該模型應用于真實的火災場景中．筆者在實驗室環境下進行了一個沙發火災的實驗，整個測試持續6min．實驗開始階段使用少量的乙醇將其從中間點燃，當火勢在沙發表面充分發展時出于安全考慮對其進行了撲滅．

深度學習模型對沙發火災發展過程的識別結果如圖8所示，在測試開始的前2min，主要燃料為用于點燃沙發的乙醇，隨著乙醇的逐漸燃盡，火災的熱釋放速率出現下降趨勢．2min后，沙發的表面開始劇烈燃燒，熱釋放速率直線上升，直到6min后火災測試被終止，在這個過程中，深度學習模型可以很好地識別沙發火災的發展過程．模型識別的火災峰值熱釋放速率為600kW，為前人火災測試[21]測得峰值熱釋放速率992kW的3/5．此時，僅沙發的表面在發生燃燒，因此人工智能的預測結果整體上具有合理性.

圖7 深度學習模型預測與實際實驗結果對比

圖8 基于圖像的沙發火災熱釋放速率預測

3 結 論

筆者對基于Swin Transformer深度學習和圖像火災熱釋放速率識別進行了探索，通過NIST的火災量熱數據庫對深度學習模型進行訓練，實現了不同火災場景下火災熱釋放速率的實時識別．測試結果表明，即使在不同火源的場景下，深度學習模型仍可以通過當前的火災圖像對火災熱釋放速率進行有效識別，對于中等尺度火災，其熱釋放速率識別與實際測量值的決定性系數可達0.98．該方法的提出為復雜火災場景中火災熱釋放速率的識別提供了依據，通過擴大火災圖像數據庫，該模型的測量范圍和測量精度可以得到進一步改善．這種簡單方便的火災熱釋放速率識別方法將為智慧消防系統的構建和開發提供有效的支持．

［1］ Tewarson A. Heat release rate in fires[J].，1980，4(4)：185-191.

［2］ Johansson N，Svensson S. Review of the use of fire dynamics theory in fire service activities[J].，2019，55(1)：81-103.

［3］ Sun P，Wu C，Zhu F，et al. Microgravity combus-tion of polyethylene droplet in drop tower[J].，2020，222：18-26.

［4］ Xiong C，Fan H，Huang X，et al. Evaluation of burning rate in microgravity based on the fuel regres-sion，flame area，and spread rate[J].，2022，237：111846.

［5］ Sun X，Hu L，Zhang X，et al. Experimental study on flame pulsation behavior of external venting facade fire ejected from opening of a compartment[J].，2021，38(3)：4485-4493.

［6］ Wu X，Park Y，Li A，et al. Smart detection of fire source in tunnel based on the numerical database and artificial intelligence[J].，2020，57：657-682.

［7］ Wu X，Zhang X，Huang X，et al. A real-time forecast of tunnel fire based on numerical database and artificial intelligence[J].，2022，15(4)：511-524.

［8］ Su L，Wu X，Zhang X，et al. Smart performance-based design for building fire safety：Prediction of smoke motion via AI[J].，2021，43：102529.

［9］ Zhang T，Wang Z，Wong H Y，et al. Real-time forecast of compartment fire and flashover based on deep learning[J].，2021：100310.

［10］ 蔣亞強，王自龍，黃鑫炎. 基于人工智能的外立面開口火溢流溫度場預測[J]. 消防科學與技術，2021，40：827-830.

Jiang Yaqiang，Wang Zilong，Huang Xinyan. Artificial intelligence based facade spilled flame temperature field prediction[J].，2021，40：827-830(in Chinese).

［11］ 陳培豪，肖 鐸，劉 泓. 基于深度學習的視頻火災識別算法[J]. 燃燒科學與技術，2021，27(6)：695-700.

Chen Peihao，Xiao Duo，Liu Hong. Video fire detec-tion algorithm based on deep learning[J].，2021，27(6)：695-700(in Chinese).

［12］ 蔣珍存，溫曉靜，董正心，等. 基于深度學習的VGG16 圖像型火災探測方法研究[J]. 消防科學與技術，2021，40：375-377.

Jiang Zhencun，Wen Xiaojing，Dong Zhengxin，et al. Research on fire detection of improved VGG16 image recognition based on deep learning[J].，2021，40：375-377(in Chinese).

［13］ Wang Z，Zhang T，Wu X，et al. Predicting transient building fire based on external smoke images and deep learning[J].，2022，47：103823.

［14］ Wang Z，Zhang T，Huang X. Predicting real-time fire heat release rate based on flame images and deep learning[J].，2023，39(3)：4115-4123.

［15］ Bundy M. User’s Guide for Fire Calorimetry Database (FCD)[R]. Gaithersburg：National Institute of Stan-dards and Technology，2020.

［16］ Bryant R A，Ohlemiller T J，Johnsson E L，et al. The NIST 3 Megawatt Quantitative Heat Release Rate Facility[R]. Gaithersburg：National Institute of Standards and Technology，2003.

［17］ Liu Z，Lin Y，Cao Y，et al. Swin transformer：Hierarchical vision transformer using shifted windows[C]//. 2021，10012-10022.

［18］ Zhang L，Wen Y. A transformer-based framework for automatic COVID19 diagnosis in chest CTs[C]//. 2021：513-518.

［19］ Gao L，Zhang J，Yang C，et al. Cas-VSwin transformer：A variant swin transformer for surface-defect detection[J].，2022，140：103689.

［20］ Kim J H，Kim N，Won C S. Facial Expression Rec-ognition with Swin Transformer[EB/OL]. https://doi. org/10.48550/arXiv.2203.13472.2022.

［21］ Zou G W，Huo Y，Chow W K，et al. Modelling of heat release rate in upholstered furniture fire[J].，2018，42(4)：374-385.

A Method for Calculating Heat Release Rates Based on Fire Images and Artificial Intelligence

Wang Zilong，Zhang Tianhang，Huang Xinyan

(Department of Building Environment and Energy Engineering，The Hong Kong Polytechnic University，Hong Kong 900777，China)

The heat release rate(HRR)of a fire is one of the critical parameters in describing the fire behavior and hazard. However，due to the complexity of fire scenarios，traditional methods of measuring HRR cannot be applied. This study aims to explore a HRR prediction method based on artificial intelligence in fire scenarios，which will facilitate the identification of fire intensity and provide support for fire emergency rescue. The deep learning model(Swin Transformer)for HRR calculation is trained on the publicly available fire calorimetric database from the National Institute of Standards and Technology，which contains 89 fire tests and over 50000 fire images taken at different times. The obtained model can identify the size of the fire in real time based on the fire images taken in the fire scenario.The results show that even in different fire scenarios，the deep learning model can effectively identify HRR based on the fire images，which will provide effective support for the development of future intelligent fire systems.

fire images；artificial intelligence；fire calorimetry；Swin Transformer

TK16

A

1006-8740(2024)01-0069-06

2023-02-28．

香港研究資助局資助項目(T22-505/19-N)．

王自龍(1996— )，男，博士后，zilong.wang@connect.polyu.hk.

黃鑫炎，男，博士，副教授，博士生導師，xy.huang@polyu.edu.hk.

(責任編輯：梁 霞)