一種全高清CMOS相機的設計與實現

許逸飛　樊超

摘要：為了獲得高精度的圖像，同時在滿足微型化的要求下，本文使用CMOS圖像傳感器與FPGA構建了相機系統，本文在分析CMOS圖像傳感器MT9J003原理的基礎上設計和實現一種基于FPGA的全高清CMOS相機，利用FPGA作為相機系統控制及系統時序生成的核心部件，最終輸出HDMI全高清彩色視頻。

關鍵詞：圖像傳感器；CMOS相機；全高清；FPGA

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2016）03-0270-02

隨著CMOS成像技術的不斷發展， CMOS圖像傳感器工藝的不斷進步，當前CMOS相機不斷進步，CMOS圖像傳感器在功耗、成本以及集成度方面體現的優勢越來越明顯，CMOS圖像傳感器不斷向主流和高端方向挺進[1]。CMOS圖像傳感器由于采用標準CMOS制造工藝，集成了A/D轉換器以及底層驅動電路，使得CMOS圖像傳感器非常有利于FPAG對其像元進行操作，本文在分析Aptina公司CMOS圖像傳感器MT9J003原理的基礎上設計和實現一種基于FPGA的全高清CMOS相機，相機通過HDMI接口輸出全高清視頻，分辨率可達到1920X1080（60Hz）。

1 系統結構

CMOS相機的系統結構如圖所示，前端CMOS成像電路主要是圖像傳感器MT9J003的外圍電路，保證MT9J003可以正常工作；系統控制及處理電路主要是對MT9J003的HiSPi[2]的數據進行串并轉換同時實現MT9J003的功能配置以滿足不同的應用需求；后端顯示電路主要是根據相應的視頻接口輸出相應制式的視頻格式；供電電路用于將輸入系統的28V直流電轉換成系統中其他電路所需的電壓，以保證系統正常工作。按照系統的整體功能，CMOS相機可以分為以下幾個部分：前端CMOS成像電路、系統控制及處理電路、后端視頻顯示電路、供電電路。

為了使相機輸出全高清視頻，MT9J003需工作在1080P模式下并且能通過HiSPi接口輸出視頻數據；為了使系統微型化，集成度更高，采用CMOS傳感器中集成的A/D轉換器，A/D的精度可達12bit，CMOS傳感器將A/D轉換器集成在每一個像素單元里，每一個像素單元輸出的是數字信號，這樣工作速度才能更快，功耗更低；對于1080p 60Hz的視頻，每個像素點用12bit表示，其一副圖像的大小為：1920X1080X12=24883200bit，1秒的數據量就是1424Mbps，因此系統處理的視頻信號數據量非常大，所以需要采用FPGA等高速器件來進行系統控制及視頻處理。

2 系統設計

根據上述電路功能的劃分，CMOS相機的具體實現框圖如下：

CMOS相機共包括以下功能電路：

1）圖像傳感器電路，主要是圖像傳感器的外圍電路；

2）串并轉換電路，主要是將圖像傳感器輸出的串行HiSPi數據轉換成并行數據，采用Lattice公司的FPGA實現；

3）系統控制電路，可以通過E2PROM配置圖像傳感器工作在需要的模式；

4）視頻處理電路，主要是將圖像傳感器輸出的并行數據進行線性化、濾波、白平衡、Gamma校正、Bayer格式解析、色彩空間轉換以及視頻時序重組以滿足后端視頻輸出電路的要求，采用DDRII作為視頻緩存電路；

5）視頻輸出電路，主要由HDMI編碼器組成以滿足系統的視頻輸出接口要求；

6）復位、時鐘及供電電路。

2.1 CMOS傳感器電路

MT9J003是一款循序掃描以輸出固定幀頻數據流的數字圖像傳感器，它采用片上鎖相環產生內部時序，輸入時鐘為6～48MHz，片上ADC分辨率為12bit[3]。傳感器的核心是1000萬像素的像素單元陣列，在時鐘和控制電路的作用下，逐行對像素陣列進行讀取數據和復位，而像元則在復位和讀取數據的間隙感光成像。讀取的數據經過模擬信號鏈進行排序，進而通過分辨率為12位的ADC，陣列中每個像素的值對應一個12位的數據輸出，ADC輸出的數據進而經過一系列的數字化處理后輸出。MT9J003的圖像數據是以循序掃描的方式讀出的，有效圖像數據被水平消隱和垂直消隱所包圍，其中水平消隱和垂直消隱的數量可以由編程控制。MT9J003 的數據輸出是由PIXCLK進行同步的，當LV為高電平時，一個像素的值在一個PIXCLK周期內通過12位的DOUT輸出，像素時鐘頻率可以由傳感器的主輸入時鐘和內部PLL配置決定。

2.2 串并轉換

MT9J003要輸出系統所要求的高清視頻分辨率，需通過CMOS圖像傳感器的高速串行HiSPi接口。HiSPi接口是由Aptina公司開發的一種開放存取、可擴展的高速串行像素接口。為了使系統能輸出正確的視頻，必須將HiSPi接口的串行數據轉換成并行數據，然后才能在FPGA里進行相關的視頻處理操作。HiSPi的解串工作用Lattice公司的FPGA完成。

串并轉換之后的信號包括時鐘信號、數據信號、場同步信號及行同步信號。

2.3 視頻處理電路

視頻處理電路主要是對傳感器輸出的視頻信號進行處理以滿足系統對視頻質量及視頻接口的要求，該部分電路由Lattice公司的FPGA ECP3-70實現，該型FPGA具有豐富的圖像處理IP庫，通過使用外掛DDRII存儲資源實現線性化、濾波、Bayer序列解析、校正、降噪、白平衡、色彩空間轉換以及VESA時序生成等功能[4]，具體實現如下圖所示：

經過FPGA處理之后的視頻已經是符合VESA制式的數字RGB信號，同時包括行同步信號、列同步信號以及數據有效信號，這一組數字信號送入到相應的HDMI編碼器ADV7513即可輸出1080p的HDMI視頻。

3 結束語

本文介紹了一種CMOS圖像傳感器與FPGA構建的相機系統，該系統采用的高性能圖像傳感器配合FPGA實現的圖像處理算法，最終能成功輸出高質量的HDMI全高清視頻，該系統由于采用了性能強大的FPGA，使得系統功能非常容易擴展[5]，可以廣泛應用在多功能顯示系統、視景增強等領域。

參考文獻：

[1] 劉新明.基于CMOS圖像傳感器的相機系統設計[D].中國科學院研究生院西安光學精密機械研究所.2009.

[2] High-Speed Serial Pixel （HiSPi） Interface Specification Data Sheet[Z]. www.aptina.com，2011.

[3] CMOS Digital Image Sensor MT9J003 Data Sheet[Z].www.aptina.com，2009.

[4] 張濤，王成龍，趙新宇.一種CMOS相機色彩還原算法[J].液晶與顯示.2014，29（5）.

[5] 劉美瑩，王虎等.FPGA的大面陣CMOS相機系統的設計[J].紅外與激光工程.2013，（Z2）.