流媒體中的非音視頻信息及其與流媒體信息的同步顯示

陽昌珠+康正海+李海濤+吳金+覃娟媚

摘 要：本文提出了一種利用流媒體作為載體存儲和記錄非音視頻信息的方法，以及一種在顯示流媒體信息的時候同步顯示非音視頻信息的方法。利用這種方法，不僅可以利用流媒體做為信息加密的載體，還可以利用靜態數字圖像作為信息加密的載體，即，這種方法實際上是一種數字信息加密和傳輸的方法。

關鍵詞：信息加密，多信息同步，流媒體，圖像，載波，載體

一、概論

眾所周知，流媒體這個概念在過去通常是特指在傳輸過程中的音、視頻信息流，現在泛指一切可以通過電磁方式傳播的正在傳輸介質上的動態信息和在可以交換的電磁介質上存儲著的靜止信息，這些被存儲著的靜止信息通常又是以電子文件的形式存在著。本文所述的流媒體是特指傳輸中的音、視頻信息或存儲著的音、視頻文件和單張圖像文件或由單張圖像集合構成的包含有多張圖像的文件。

本文介紹一種以流媒體作為載體存儲和記錄非音頻、非視頻信息或非圖像信息的方法以及一種在顯示流媒體信息的時候同步顯示其上存在的非音頻、非視頻信息或非圖像信息的方法。利用這種方法，還可以利用流媒體做為信息加密的載體，亦即從中也揭示了另一種數字信息加密和傳輸的方法。

二、原理

根據人類的視覺特性，在一幅圖像當中，如果失真是平均分布的，特別是在顏色方面，只要不大于1%，是不容易分辨出來的。也就是說，在數字圖像的記錄與還原的過程，如果在圖像文件當中記錄有不大于1%的不是原來圖像應該有的信息，那么在還原之后顯示出來時，人眼是難以辨別得出來的。

同理，人類的聽覺也一樣具有其局限性，在一段音頻流中，如果失真也是平均分布的，特別是低頻部分，只要不大于0.1%，那么也是是不容易分辨出來的。也就是說，在數字音頻的記錄與還原的過程，如果在音頻文件當中記錄有不大于0.1%的不是原來音頻信息所應該有的信息，那么在還原之后再通過電聲系統播放出來時，人的耳朵也是難以辨別得出來的。

在模擬電視時代，根據電視的傳播與電視機的工作原理，我們在電視機前看到的PAL制式電視圖像是以25幀每秒的速度出現的，當采用隔行掃描時，顯示在我們眼前的實際上是50幅每秒的圖像信息，而每幅圖像又是以一行一行地從上到下進行掃描顯示的。在這過程中，兩幅圖像信息之間須要有一組叫做場同步號的同步信號，如圖2，1所示，兩行圖像之間也須要一組叫做行同步的同步信號，如圖2.2所示。

在數字多媒體時代，雖然音頻、視頻的傳輸不完全象過去的電視信號傳輸那樣，但類似行、場同步信號的信息是少不了的，即同樣有表示幀開始和行開始的信息。在計算機顯示屏上顯示時，雖然不一定滿屏顯示，但在窗口顯示時，也少不了幀同步信息和行同步信息，要不然無法地看到一幅穩定的視頻圖像。記錄和播放音頻時也同樣須要同步信息。

三、記錄方法

3.1、在流媒體中設置非音頻、非視頻信息幀

在數字多媒體里，哪幀為音頻、哪幀為視頻是需要明確表示出來的，不然就無法正確地還原、播放出來。也就是說，在解碼流媒體或播放多媒體文件時，遇到本幀數據是音頻數據時，播放器就會用音頻方式把它播放出來；如果遇到本幀數據是視頻數據，播放器就會用視頻方式把它播放出來；如果不知道本幀數據是音頻還是視頻，那么就會把它忽略掉，即不把它們還原出來。

利用多媒體播放器會自動忽略那些非音頻、非視頻的數據這一基本功能，我們就可以制造一些多媒體播放器不認識的數據幀，從而把那些非音頻、非視頻的信息數據加載其上，如圖3.1所示。

在圖3.1中展示的是在錄制視頻信息數據時插入非視頻信息幀的例子。如果要使這些非視頻信息在播放視頻信息時，在時間上同步于視頻信息出現的時刻再現出來，一方面需要使用能夠解析這些非視頻信息幀的專用播放器，另一方面就是要在錄制時，在需要記錄的“非視頻信息”出現的時刻及時插入一幀“非視頻信息幀”。

同理，當記錄“非視頻信息”的載體是音頻信息流時，同樣可以插入包含記錄的“非音頻信息幀”，達到異曲同工的效果。

3.2、在流媒體幀中加載非音頻、非視頻信息塊

我們知道，在一幅圖像當中，如果失真是平均分布的，特別是在顏色方面，只要不大于1%，是不容易分辨出來的。因此，在視頻幀內部加載非視頻信息塊是可行的，如圖3.2所示。

在圖3.2中，非視頻信息是以“塊”的形式嵌入到視頻幀內部的。在同步再現方面，這種方法相對于3.1提出的方法來說，非視頻信息出現的時間相對于視頻信息出現的時間之間的相對誤差會更小。

如果在某個時刻同時出現的非音頻信息量太大，那么上述提出的方法3.2就不太適用于把非音頻信息加載到音頻媒體上。

3.3、在視頻同步信號出現期間插入非視頻信息

當需要加載到流媒體的非視頻信息在同一時刻出現的量不大時，我們還可以把它嵌入到視頻信號的同步區域，這樣在播放時，非視頻信息出現的時間相對于視頻信息出現的時間之間的誤差會更小，更適合于應用到對時間同步的要求更高的領域。

圖3.3是一種把非視頻信息插入到視頻信息的場同步區域的方法示意圖，圖3.4是一種把非視頻信息插入到視頻信息行同步區域的方法示意圖。如果要求在播放時非視頻信息出現的時間相對于視頻信息出現的時間之間的誤差更小，那么后者方法會比前者方法更佳。

四、展現方法

在第三部份介紹的加載有非音頻、非視頻的流媒體或對應的電子存儲文件，沒有相應功能的播放器在播放時會自動地把那些非音頻、非視頻信息忽略掉而只播放正常的音頻、視頻信息，要把那些非音頻、非視頻信息正確地提取出來，并且還要保持與音頻、視頻出現的時間同步地再現出來，必需要由專用的多信息同步播放器來播放才行。

前述的加載在流媒體的非音頻、非視頻信息，是指原本不應存在于其中的音頻和/或視頻信息，但它們仍然可以是表示某種音頻和/或視頻的信息數據，也可是表示某種圖像信息的數據，或者是某些物理量的開、關狀態以及反映某些物理量的強弱或大小的信息數據，甚至還可以是一系列文檔信息數據等等。在同步再現時要根據不同信息種類要求來制作相應人機界面。如：

4.1、加載在流媒體非音頻、非視頻信息為圖像信息數據時，那么從在流媒體中取出來的非音頻、非視頻信息就需要在人機界面上實時顯示這些數據對應的圖像，當這些數據表示的是多幅圖像時，表現出來的現象也許象動畫或短、小視頻。

4.2、加載在流媒體非音頻、非視頻信息為MIS系統的管理信息時，那么從在流媒體中取出來的非音頻、非視頻信息就需要顯示在相應的信息管理系統界面上。如柳州桂通科技股份有限公司研發的“桂通駕駛人駕駛技能考試與培訓系統”。

4.3、加載在流媒體非音頻、非視頻信息為自動生產線的檢測或控制數據信息時，那么從在流媒體中取出來的非音頻、非視頻信息就需要相應的儀器、儀表和控制設備來支持，使這些檢測數據能夠實時地通過儀器、儀表和控制設備反映出來。

五、應用實例

本文介紹的流媒體中的非音視頻信息及其與流媒體信息的同步顯示的方法，可以廣泛地應用在數字信息加密、數字保密信息傳輸、自動控制過程監控、工業無紙記錄儀、行車記錄儀、交通道路及路口紅綠燈等指揮信號監視、機動車駕駛人駕駛技能考試系統等。

在工業自動控制生產線上，特別是研發、調試過程中，對那些不同的控制數據所產生的不同的表現現象，在過去是用肉眼觀察和人腦記憶并結合筆錄設置參數的，后來有了錄像機就用它代替人腦對現象進行記錄。這些記錄下來的現象數據和影響這些現象的過程控制參數的實際值之間，在事后離線分析時，它們之間再次出現時的時間差是難以得到穩定的相對值的。但用本文介紹的方法就不同了，它不管什么時候回放所記錄的音頻、視頻數據，只要有相應的人機界面設備，那么當時現場的產生聲音和視頻現象、儀器和儀表數據、執行機構接收到的控制數據、執行機構的動作等現場實時數據和現象，除了時間是回放時間而不過去錄制時這些信息產生的實時時間外，它們之間是同步的，即具有穩定的相對時間差值。

利用本文介紹的流媒體中的非音視頻信息及其與流媒體信息的同步顯示的方法，還可以通過播放所記錄的音像文件實現對不很復雜的自動程序控制生產線進行復制，降低控制中心的主控設備投資成本和縮短安裝、調試等建設周期。

六、結束語

本文介紹技術已在柳州桂通科技股份有限公司生產的“桂通駕駛人駕駛技能考試與培訓系統”上得到了應用，并已獲得了國家知識產權局頒發的多件軟件著作權證書，也已獲得了國家專利局受理的多項發明專利申請（申請號2015 1 1018182.6、2015 1 0125236.2、2015 1 0125158.6、2015 1 0124128.3、2015 1 0124127.9、2015 1 0124129.8、2015 1 0311512.4、2015 1 0310713.2），還提交了PCT申請（受理號PCT/CN2016/076796）。其應用產品均已通過了“公安部交通安全產品質量監督檢測中心”檢驗。

參考文獻：

[1]清華大學出版社《數字圖像處理與分析》 趙榮椿 等著

[2]清華大學出版社《數字圖像處理與圖像通信》 藍章禮 等著

[3]中國傳媒大學出版社《電視攝像》任金州 等著

[4]中國傳媒大學出版社《數字視頻壓縮及其標準》 胡國榮 著

[5]中國傳媒大學出版社《數字聲音廣播》 李 棟 著

[6]浙江大學出版社《電視機原理與實踐》 應伯根 著