基于參考圖像的原子模型渲染方法

吳 晨，曹 力，秦 宇，吳苗苗，顧兆光

基于參考圖像的原子模型渲染方法

吳 晨1，曹 力1，秦 宇1，吳苗苗1，顧兆光2

(1. 合肥工業大學計算機與信息學院，安徽 合肥 230601； 2. 香港量子人工智能實驗室有限公司，香港 999077)

伴隨著生物學的發展與納米電子器件仿真技術的進步，原子結構在現代化科技領域發揮至關重要的作用。原子結構的復雜細節使得渲染效果受光源位置影響較大，導致了原子模型渲染工作的困難?；诖?，提出了一種基于參考圖像的原子模型渲染方法，計算出參考圖像的光照參數用于原子模型的渲染。首先，通過改變光源位置，利用POV-Ray腳本實現不同光源角度下的批量模型渲染，采集光源位置參數及渲染圖像得到對應光源位置的渲染圖像數據集；接著，以殘差神經網絡為主干設計光源估計網絡，并在網絡中嵌入注意力機制提升網絡準確性，使用優化后的光源估計網絡對數據集進行訓練，回歸光源位置參數；最后將訓練好的卷積神經網絡應用于參考圖像的渲染參數估計中，利用渲染參數渲染目標模型。實驗結果顯示。通過網絡預測的參數與真實照明參數誤差極小，具有高度可靠性。

原子結構；模型渲染; 光源位置; 參考圖像; 光源估計網絡

原子結構依賴其化學特性存在細節多、結構復雜等特點，在渲染過程中若不經考慮地施加光照會對渲染效果造成一定影響，如圖1所示。

圖1 不同光源位置的原子模型渲染圖像

目前原子模型的渲染主要依靠通用三維模型渲染軟件和專業化學可視化軟件實現。然而在模型渲染過程中，往往需要專業人員經過多次交互調整材質、光照、相機等環境參數，對非計算機專業使用者操作和渲染工作存在一定難度。

在混合現實光照研究中，JACOBS和LOSCOS[1]針對真實場景下的幾何模型的渲染技術做了詳細介紹與分類。在對渲染參數估計的研究中，劉萬奎和劉越[2]總結了目前的最新研究進展，其中，圖像分析法不需要借助多余的硬件設備，運用神經網絡、圖像處理等技術分析光照，是近年來光照估計領域的重要發展方向。FU等[3]提出了一種基于形態閉合的光照估計算法。估計的光照參數代表了自然度和亮度，適用于單幅圖像。與傳統光照參數估計不同，GUO等[4]只估計了一個光照參數，首先通過找到RGB通道中每個像素的最大亮度來構造光照圖，然后利用光照的結構來細化光照貼圖。此舉雖然降低了計算成本，但僅適用于一個小求解空間。SHI等[5]將一種新的深度專門網絡用于估計局部光源，使用假設網絡和選擇網絡構成一個新的卷積網絡架構，假設網絡生成多個以其獨特的雙分支結構捕獲不同模式光源的假設，然后選擇網絡自適應地從這些假設中選擇有信心的估計。LORE等[6]提出了一種訓練數據生成方法，使用伽馬校正并添加高斯噪聲來模擬低光環境，證明了用合成數據訓練的模型的有效性。提供的關于模型學習到特征的見解，使網絡權值可視化。MARQUES等[7]提出了對混合現實場景的光源位置估計，用于估計位于HMD設備中的單個RGB相機的照明特性，有效地減少了在混合現實應用中照明不匹配的影響。KáN和KAUFMANN[8]提出了一種基于RGB-D圖像的光照估計方法。其訓練數據集來源于5個簡單的場景用隨機的光源位置和攝像機位置進行渲染得到，訓練神經網絡從RGB-D圖像中估計光的方向。CUI等[9]基于殘差學習對光源顏色進行了估計，在精度與穩健性水平上有較大提升。在對非均勻光照圖像進行光照估計中，傳統的光照估計算法往往不能在保持自然的同時有效地估計光照?；诖?，GAO等[10]提出了一種基于聯合邊緣保持濾波器的自然保持光照估計算法，綜合考慮空間光滑性、光照邊界邊緣尖銳、光照范圍有限等約束條件。LI等[11]采用了整體逆渲染框架，提出了新的方法來映射復雜的材料到現有的室內場景，使用基于物理的GPU渲染器創建的真實室內數據集來訓練深度卷積神經網絡，從單個圖像中估計出分離的形狀、非郎伯表面反射率和光照，但在真實數據集上訓練的效果并不突出。

針對不同類型的模型，采用特定的渲染方法[12-14]通常能達到更好的效果。原子模型渲染圖像主要應用于量子物理與材料化學領域的書籍雜志附圖，撰稿人與編輯往往對計算機渲染技術掌握了解甚少。目前現有原子模型渲染工具如POV-Ray和Pymol等雖然能產生較好的渲染效果，但對于非專業用戶來說，想根據已有原子模型得到預期的渲染效果相當困難。因此，本文提出了一種基于參考圖像的原子模型渲染方法，根據需求者提供的參考圖像學習其光源參數，對目標原子模型進行渲染。首先對原子模型渲染進行分析，提出采用殘差神經網絡對參考圖像的光源渲染參數進行預測。其次對所采用的神經網絡進行分析與優化，接著對數據集、損失函數和其他訓練細節展開詳細介紹，最后從各個方面對該方法進行評估。

1 相關工作

1.1 原子模型生成

原子模型是物體內部構成的原子結構的模型化表達。由于物體內部各個粒子的分布排列遵循一定的化學規律，因此能夠建立三維模型清晰地展現出物體內部粒子結構與排布狀態。原子結構的渲染效果有多種表現形式，其中球棍模型與空間填充模型是最具代表性的2種分布形式，如圖2所示。球棍模型中用球模型代表原子，棍模型則代表原子之間的化學鍵；與球棍模型相對，空間填充模型不依賴化學鍵作用，且由許多重復的結構單元組成，根據其不同特性呈線狀結構或枝狀結構。

圖2 原子結構模型((a)球棍模型；(b)空間填充模型)

現有的原子模型仿真技術更多將功能聚焦于原子處理，如HASEM[15]和Atomsk[16]，在原子模型生成與編輯上效率較低。曹力等[17]利用高效生成原子模型的方法，預先將各種材料和不同粒子間的相互關系設計成預制結構；創建模型前，只需創建若干基本的圖元，再選擇各圖元相應材料并將其組合成一個復合圖元；依據復合圖元的材料信息選擇合適的界面預制結構，最終生成設計器件的原子模型。在調研過程中發現硅原子結構因其化學特性，擁有周期性排列風格。同時，作為復雜的晶體模型結構，硅原子結構在半導體研究中廣泛使用。本文利用該方法以硅原子結構為基準制作了5個球棍模型，如圖3(a)所示。美國礦物學家晶體結構數據庫收錄了發表在包括Chemistry of Minerals等期刊文獻上的每個原子結構，本文根據排列形態、元素包含的異同在其中選擇涵蓋了構成生物大分子的基本元素的5個空間填充模型，如圖3(b)所示。以此5個模型制作的圖像數據集按照2.1節的數據集制作方法制作圖像數據集作為訓練數據，分別對非同類型的空間填充模型進行測試，測試結果均達90%以上，實驗結果顯示，本文所選空間填充模型具有一定的泛化能力。

圖3 原始原子模型((a)球棍模型；(b)空間填充模型)

1.2 殘差神經網絡

殘差神經網絡(residual neural network，ResNet)[18]作為最經典的卷積神經網絡模型之一，發現并解決了卷積神經網絡中的退化現象。ResNet以殘差塊為基本結構，將學習目標轉為對網絡殘差的學習，網絡依舊可以通過端到端的反向傳播訓練。由于其簡單高效的特性，極大程度上減少了深度過大時神經網絡訓練困難的問題。

ResNet18 網絡結構如圖4所示，首先經過一個卷積模塊，然后依次連接2個stage，每個stage由2個常規殘模塊組成，最后是平均池化和全連接層。其中，跳層連接中的實線表示網絡輸入和經前向神經網絡映射后的輸入通道相同，可以直接相加，虛線箭頭表示將網絡輸入的維度調整之后再相加。相較于其他卷積神經網絡層次較深時無法訓練的情況，ResNet18網絡從本質上解決了此問題，保證了訓練的正常進行。

圖4 ResNet18網絡結構

2 本文方法

在原子模型的渲染過程中，光源位置異同對渲染效果有顯著影響。在深度學習日漸成熟的同時，卷積神經網絡在計算機視覺與圖像圖形領域中的應用較為廣泛[19-22]。通過訓練一個卷積神經網絡，從大量數據集中學習圖像特征，典型的有深度圖預測[19]、放射率圖預測[20]等。但針對原子模型的渲染方法尚未被提出。傳統方法聚焦于真實圖像的光照估計研究，側重于光照強度與顏色估計。然而真實場景中的光照信息只能根據預測后的渲染效果進行主觀評價，無法定量評估。目前，想要得到渲染效果優秀的原子模型圖像，仍需要用戶與渲染工具間持續交互與迭代，效率低下。

基于此，本文提出了一種基于參考圖像的原子模型渲染參數估計方法。選擇已渲染好的原子模型渲染圖像作為參考圖像，估計其光照參數信息并應用于目標模型的渲染，在提升了原子模型渲染效率的同時還簡化了模型渲染的交互過程。具體方法為：選取理想的光源渲染圖像作為參考，分析預測參考圖像中的光源特征，估計其渲染參數，用該參數信息對原子模型進行渲染。具體地，通過改變光源位置，利用POV-Ray腳本實現原子模型的批量渲染，收集原子模型渲染圖像，得到對應光源位置的渲染圖像數據集。以ResNet18網絡為主干網絡設計光源估計網絡，并在網絡中嵌入注意力機制提升網絡性能。使用優化后的光源估計網絡對數據集進行訓練。將訓練好的卷積神經網絡應用于參考圖像的渲染參數估計中，利用渲染參數渲染目標模型。渲染流程如圖5所示。

圖5 基于參考圖像的原子模型渲染流程示意圖

2.1 數據集設置

POV-Ray[23]是一個使用光線跟蹤繪制三維圖像的開放源代碼免費軟件，其根據文本的場景描述語言生成渲染圖像。圖像格式支持紋理渲染和輸出，功能簡單、使用方便。首先編寫腳本生成 POV-Ray軟件可執行的場景描述文件；接著使用 POV-Ray批量執行文件，生成渲染圖像。

在三維坐標系中，可以用一對二元組(，)來表示點光源相對于待渲染模型的位置[8]。其中，和分別表示偏角和傾角，取值范圍分別為0～360°與0～180°之間。將原子模型中心固定在三維坐標系原點，攝像機位置置于軸負向，朝向為軸正向。光源初始位置固定于軸正向，通過改變偏角與傾角的大小改變光源位置。在實驗中發現，光照位置參數差值在10°以內的對渲染效果影響較小，如圖6所示。故本文實驗中以5°為間隔設置采樣區間，在保證實驗精度的同時減少訓練時間。采樣位置示意圖如圖7所示，其中曲線的交點為光源位置的采樣點，通過均勻改變偏角與傾角的大小，對點光源位置參數進行采集，得到2 592組參數對{(0，0)，(0，5)，···，(α，β)，···，(355，175)}，并以此對原子模型進行渲染得到圖像庫。對1.1節中提到的10個原始原子模型按照上述方式進行渲染，得到共25 920幅原子模型光照渲染圖像，各個渲染圖像對應特定光照位置參數，得到三維光照模型渲染數據集。

圖6 光照參數相差5?渲染效果對比圖

圖7 光源采樣位置示意圖

2.2 光源估計網絡

光源估計網絡選取ResNet18作為主干卷積神經網絡來提取圖像特征，學習參考圖像與渲染參數之間的聯系。如圖8所示，網絡架構包含1個卷積層、4個殘差網絡塊和2個全連接層。網絡輸入為224×224×3的渲染參考圖像，輸出為光源位置參數。卷積核大小為7×7，步長設為2。卷積層后連接1個使用最大池化方法的池化層，能顯著減少參數誤差引起的估計均值的偏移。殘差網絡部分由4 組殘差網絡結構組成，每組包含2個殘差塊。其中，第一組殘差網絡的輸入通道和輸出通道相同，不需要下采樣層，其他3組由于經過跳層連接，均需要連接下采樣層調整網絡輸入維度。經過殘差模塊之后連接1個平均池化進行特征選擇和信息過濾。然后經過2層全連接層，提高網絡模型的非線性表達能力。

本文選取Relu函數[24]作為激活函數，對除全連接層以外的每一個卷積層進行激活，Relu函數提供了更加高效的梯度下降以及反向傳播，避免了梯度爆炸和梯度消失問題；省去了其他復雜激活函數中諸如指數函數的影響，簡化了計算過程；同時活躍度的分散性使得神經網絡整體計算成本下降。輸出層包含2個神經元，分別代表光照參數和。將實際圖像作為輸入，網絡回歸二維向量(，)。

圖8 光源估計網絡

2.3 網絡優化

在光源估計網絡中，網絡根據原子模型的渲染情況對光照進行估計。在圖像中，原子模型根據不同光照位置所反映的情況是網絡更值得關注的內容。注意力機制[25]主要包括2個方面：決定需部分；有限的信息處理資源分配給重要的部分。對于原子模型渲染圖像來說，需要關注的點在于圖像中受不同位置所反映的原子模型情況?；诖?，本文考慮在光源估計網絡中引入注意力機制。

注意力機制可劃分為空間注意力和通道注意力，空間注意力[26]涉及一個空間轉化器模塊，可找出圖片信息中需要被關注的區域，同時該模塊具有旋轉、縮放、變換的功能，圖片局部的重要信息能夠通過變換被提取出來。在本文中，可旋轉的空間轉化器會對光照位置的估計產生誤判，故不適用，在實驗部分對此進行了論證。SENet[27]是最經典的通道注意力機制之一，其所設的SE模塊核心思想是通過網絡根據損失函數去學習特征權重，放大有效特征圖權重，減少無效或效果差的特征圖權重，通過此方式訓練模型使其達到更好的結果。按照圖9的方式調整殘差塊，首先對空間維度進行擠壓，然后通過2個全連接層學習到通道注意力，再經過Sigmoid歸一化得到權重矩陣；將其與原矩陣相乘得到空間維度加權之后的特征。

圖9 SE-Net模塊架構

2.4 損失函數設置

均方誤差(mean square error，MSE)與平均絕對誤差(mean absolute error，MAE)是最常用的回歸損失函數。MSE是目標變量與預測值之間距離平方之和；MAE是目標變量和預測變量之間差異絕對值之和。具體為

為了使回歸模型更快收斂，在圖像集預處理時需要將參數標簽和渲染圖像做歸一化處理。由于參數范圍是范圍的2倍，如果使用上述2種回歸損失函數，會導致傾角參數的回歸誤差比偏角參數的回歸誤差大一倍?；诖?，本文使用平衡量綱的方式對均方誤差損失函數進行了改進，即

3 實 驗

3.1 網絡訓練細節

實驗在CPU為酷睿i7-7700K/4.2 GHz、內存16 GB的計算機上運行，使用開源深度學習框架Pytorch進行網絡訓練，訓練時間和測試時間分別為49 482 s和36 s。初始學習率設置為0.001，批尺寸設置為32，訓練次數epoch設置為100。實驗使用的圖像數據集是25 920幅原子模型光照渲染圖像以及每幅圖像對應的2個光源位置參數。其中隨機抽取數據集中90%圖像作為訓練集，其余作為測試集。光源位置估計網絡為回歸型網絡，在訓練開始之前，需要對數據集的圖像和標簽統一做歸一化處理。

3.2 網絡性能評估

實驗選取了4種經典深度學習網絡模型作為實驗對照，分別將原子模型渲染圖像數據集在LeNet[28]，AlexNet[29]，VggNet[30]和GhostNet[31]網絡框架下進行訓練，以驗證本文所采用的光照估計網絡的性能。圖10顯示了原子模型渲染圖像數據集在4種卷積神經網絡框架下訓練時損失函數隨網絡迭代的變化曲線?？梢悦黠@看出本文所采用的網絡收斂速度顯著優于其他網絡。

表1顯示了渲染數據集在本文與4種經典卷積神經網絡框架下進行訓練后的預測效果。表格中數值分別表示光照參數與經預測的準確率，實驗設置以10°大小為誤差范圍，即預測值與真實值之差在10°以內，認為預測結果正確。通過相同的訓練集與測試集計算網絡的準確率可以看到本文選用的網絡預測準確率達到最高。

圖10 不同網絡框架下損失函數變化曲線對比

表1 不同網絡框架下渲染參數預測效果對比

3.3 網絡優化分析

實驗對光源估計網絡中的注意力機制的選取進行了消融實驗。針對光源估計網絡，設置對比項：添加空間注意力與通道注意力。實驗結果見表2，引入通道注意力后的光源估計網絡對渲染參數預測結果在誤差小于2?范圍內有顯著的提升，驗證了2.3節的觀點。實驗結果證明：在引入通道注意力機制后，網絡對于渲染參數的預測性能有了顯著提升。

表2 不同注意力機制下光源估計網絡效果對比

3.4 誤差分析

為了更好地顯示光照網絡預測結果，本文統計測試了誤差數據并以直方圖的形式展示，結果如圖11所示。其中，圖11(a)和圖11(b)分別為參數和的測試誤差分布直方圖；橫縱坐標分別代表誤差區間與測試圖像數量，由圖11可知，絕大多數測試圖像的誤差小于10°。通過觀察分析預測角度與實際角度，發現和誤差相對較大的圖像聚集在渲染參數為0，360和0，180附近，這是由于在空間坐標系中，0°和360°為同一位置，導致在其附近的誤差較大。經統計測試誤差均值為4°。實驗數據充分證明本文網絡對參考圖像的渲染參數預測效果良好，提出的方法穩定可靠。

3.5 渲染效果分析

為了更好地展示效果，從納米技術領域國際著名期刊雜志[32-34]上找到若干張渲染效果較好的圖像作為參考圖像，送入訓練好的網絡，預測得到每張圖像的光源參數，再將該參數作為渲染軟件的輸入，對原始模型進行渲染，最終得到渲染圖像，并對比了3.2節中不同回歸網絡的渲染效果，結果見表3。本文列舉了不同類別的原子模型各2種。實驗結果顯示，即便使用與原作者不同的繪制軟件，本文方法也可以產生較好的渲染效果，并且同其他回歸方法相比，渲染效果與穩定性能都達最優。

圖11 誤差分布直方圖((a) α誤差分布；(b) β誤差分布)

表3 基于參考圖像的原子模型渲染效果

4 結束語

本文提出一種基于參考圖像的原子模型渲染方法。通過卷積神經網絡估計理想圖像的光源參數，快速渲染目標模型。首先闡述該方法的總體思路，其次介紹神經網絡的架構和數據集的獲取方式，以及其他實驗細節設置。最后對訓練結果進行分析對比。實驗結果表明，訓練的光源預測網絡具有高度的可靠性，通過網絡預測的參數與真實照明參數誤差極小，可應用于渲染系統中。主要貢獻包括：

(1) 一個原子模型渲染圖像數據集；

(2) 一個光照參數估計網絡；

(3) 一種基于參考圖像的原子模型渲染方法。

由于數據集來源于有限的三維模型，所以該方法適用范圍存在局限。對于復雜模型或包含多個光源的渲染圖像，可能會存在較大的誤差，為了解決這些問題，未來需要擴展三維模型，增加數據集的復雜性，使得該方法具有足夠的通用性，以應對各種三維模型的渲染。

[1] JACOBS K, LOSCOS C. Classification of illumination methods for mixed reality[J]. Computer Graphics Forum, 2006, 25(1): 29-51.

[2] 劉萬奎, 劉越. 用于增強現實的光照估計研究綜述[J]. 計算機輔助設計與圖形學學報, 2016, 28(2): 197-207.

LIU W K, LIU Y. Review on illumination estimation in augmented reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(2): 197-207 (in Chinese).

[3] FU X Y, ZENG D L, HUANG Y, et al. A fusion-based enhancing method for weakly illuminated images[J]. Signal Processing, 2016, 129: 82-96.

[4] GUO X J, LI Y, LING H B. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.

[5] SHI W, LOY C C, TANG X O. Deep specialized network for illuminant estimation[M]//Computer Vision - ECCV 2016. Cham: Springer International Publishing, 2016: 371-387.

[6] LORE K G, AKINTAYO A, SARKAR S. LLNet: a deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662.

[7] MARQUES B A D, DRUMOND R R, VASCONCELOS C N, et al. Deep light source estimation for mixed reality[C]//The 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications. Setúbal: SCITEPRESS - Science and Technology Publications, 2018: 873-883.

[8] KáN P, KAUFMANN H. Correction to: DeepLight: light source estimation for augmented reality using deep learning[J]. The Visual Computer, 2020, 36(1): 229.

[9] CUI S, ZHANG J AND GAO J. Illuminant estimation via deep residual learning[J]. Journal of Image and Graphics, 2019, 24(12): 2111-2125.

[10] GAO Y Y, HU H M, LI B, et al. Naturalness preserved nonuniform illumination estimation for image enhancement based on retinex[J]. IEEE Transactions on Multimedia, 2018, 20(2): 335-344.

[11] LI Z Q, SHAFIEI M, RAMAMOORTHI R, et al. Inverse rendering for complex indoor scenes: shape, spatially-varying lighting and SVBRDF from a single image[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 2472-2481.

[12] BERGER M, LI J X, LEVINE J A. A generative model for volume rendering[J]. IEEE Transactions on Visualization and Computer Graphics, 2019, 25(4): 1636-1650.

[13] LI L, QIAO X Q, LU Q, et al. Rendering optimization for mobile web 3D based on animation data separation and on-demand loading[J]. IEEE Access, 2020. 8: 88474-88486.

[14] 王貝貝, 樊家輝. 均勻參與介質的渲染方法研究[J]. 中國圖象圖形學報, 2021, 26(5): 961-969.

WANG B B, FAN J H. Survey of rendering methods for homogeneous participating media[J]. Journal of Image and Graphics, 2021, 26(5): 961-969 (in Chinese).

[15] 姜勝利, 張蕾, 趙寒月, 等. 含能材料第一性原件計算軟件HASEM的簡介與展望[C]//2014’(第六屆)含能材料與鈍感彈藥技術學術研討會論文集. 成都: 國防工業出版社, 2014: 107-110.

JIANG S L, ZHANG L, ZHAO H Y, et al. Introduction and perspectives of HASEM, the software for calculating first principles of energy-containing materials[C]//2014’ 6th Symposium on Energetic Materials and Insensitive Munitions. Chendu: National Defence Industry Press, 2014:107-110 (in Chinese).

[16] HIREL P. Atomsk: a tool for manipulating and converting atomic data files[J]. Computer Physics Communications, 2015, 197: 212-219.

[17] 曹力, 顧兆光, 孫健, 等. 界面預制: 一種高效生成原子模型的方法[J]. 計算機輔助設計與圖形學學報, 2016, 28(10): 1622-1629.

CAO L, GU Z G, SUN J, et al. Pre-constructed interface: an easy approach for generating nano-scale-device atomistic models[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(10): 1622-1629 (in Chinese).

[18] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

[19] BANSAL A, RUSSELL B, GUPTA A. Marr revisited: 2D-3D alignment via surface normal prediction[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 5965-5974.

[20] REMATAS K, RITSCHEL T, FRITZ M, et al. Deep reflectance maps[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 4508-4516.

[21] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[M]//Computer Vision - ECCV 2018. Cham: Springer International Publishing, 2018: 3-19.

[22] TAN M X, LE Q V. EfficientNet: rethinking model scaling for convolutional neural networks[EB/OL]. [2022-04-22]. https:// arxiv.org/abs/1905.11946v4.

[23] ZHANG H Y, SHA Z L, CUI S H, et al. Application of POV-ray software in the molecular symmetry[J]. University Chemistry, 2015, 30(2): 78-82.

[24] GLOROT X, BORDES A, BENGIO Y. Deep sparse rectifier neural networks[C]//The 14th International Conference on Artificial Intelligence and Statistics. Chicago: Medical Library Association, 2011:315-323.

[25] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all You need[EB/OL]. [2022-06-10]. https://arxiv.org/abs/1706.03762.

[26] WANG H R, FAN Y, WANG Z X, et al. Parameter-free spatial attention network for person re-identification[EB/OL]. [2022-05-02]. https://arxiv.org/abs/1811.12150.

[27] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]// The IEEE conference on computer vision and pattern recognition. New York: IEEE Press, 2018: 7132-7141.

[28] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[29] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[30] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2022-04-30]. https://arxiv.org/abs/1409.1556v5.

[31] HAN K, WANG Y H, TIAN Q, et al. GhostNet: more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 1577-1586.

[32] TANG J B, LAMBIE S, MEFTAHI N, et al. Unique surface patterns emerging during solidification of liquid metal alloys[J]. Nature Nanotechnology, 2021, 16(4): 431-439.

[33] DANOWSKI W, VAN LEEUWEN T, ABDOLAHZADEH S, et al. Unidirectional rotary motion in a metal–organic framework[J]. Nature Nanotechnology, 2019, 14(5): 488-494.

[34] ZHANG Y, KERSELL H, STEFAK R, et al. Simultaneous and coordinated rotational switching of all molecular rotors in a network[J]. Nature Nanotechnology, 2016, 11(8): 706-712.

Atomic model rendering method based on reference images

WU Chen1, CAO Li1, QIN Yu1, WU Miao-miao1, Koo SiuKong2

(1. School of Computer and Information, Hefei University of Technology, Hefei Anhui 230601, China; 2. Hong Kong Quantum AI Lab, Hong Kong 999077, China)

Along with advances in biology and the simulation of nano electronic devices, atomic structures play a crucial role in modern science and technology. The complex details of the atomic structure result in the far-reaching impact of the position of the light source on the rendering effect, incurring difficulties in rendering atomic models. On this basis, an atomic model rendering method based on a reference image was proposed, in which the lighting parameters of the reference image were calculated for the rendering of the atomic model. First, a POV-Ray script was used to render a batch of models at different light angles by changing the light source positions, and the light source position parameters and rendered images were collected to obtain a dataset of rendered images corresponding to the light source positions. Then, the light source estimation network was designed with the residual neural network as the backbone, and the attention mechanism was embedded in the network to enhance the network accuracy. The optimized light source estimation network was employed to train the dataset and regress the light source location parameters. Finally, the trained convolutional neural network was used to estimate the rendering parameters of the reference image, and the target model was rendered using the rendering parameters. The experimental results show that the parameters predicted by the network are highly reliable with minimal error compared with the real lighting parameters.

atomic structure; model rendering; light source position; reference image; light source estimation network

TP 391

10.11996/JG.j.2095-302X.2022061080

A

2095-302X(2022)06-1080-08

2022-07-29；

：2022-10-17

國家自然科學基金項目(61602146)

吳 晨(2000-)，男，碩士研究生。主要研究方向為計算機圖形學。E-mail：chen124@mail.hfut.edu.cn

曹 力(1982-)，男，副教授，博士。主要研究方向為計算機輔助設計、幾何分析等。E-mail：lcao@hfut.edu.cn

29 July，2022；

17 October，2022

s：National Natural Science Foundation of China (61602146)

WU Chen (2000-), master student. His main research interests cover model rendering and model reconstruction. E-mail：chen124@mail.hfut.edu.cn

CAO Li (1982-), associate professor, Ph.D. His main research interests cover computer aided design, computer vision, etc. E-mail：lcao@hfut.edu.cn