FPGA的CameraLink視頻開(kāi)發(fā)案例｜基于Kintex-7、Zynq-7045/7100開(kāi)發(fā)板

peng85246

前言
4 V; k, H& f0 @/ K* bCameraLink協(xié)議

8 X! p! W( a% gCameraLink協(xié)議是一種專門針對(duì)機(jī)器視覺(jué)應(yīng)用領(lǐng)域的串行通信協(xié)議，它使用低壓差分信號(hào)(LVDS)進(jìn)行數(shù)據(jù)的傳輸和通信。CameraLink標(biāo)準(zhǔn)是在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上多加了6對(duì)差分信號(hào)線，其中4對(duì)用于并行傳輸相機(jī)控制信號(hào)，另外2對(duì)用于相機(jī)和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。
1 b" P+ W7 z9 [" N9 }: n  Z7 D
CameraLink標(biāo)準(zhǔn)的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個(gè)端口為8位數(shù)據(jù)，CameraLink標(biāo)準(zhǔn)的規(guī)定標(biāo)準(zhǔn)時(shí)鐘頻率最大為85MHz。

. J  F' W+ R. g" _; T
/ C1 Q$ A8 B7 j​
, ~8 h' K, h6 N+ C6 a; ~: ~
/ D+ m" Y1 N: D% z; l! m4 {圖1

CameraLink + FPGA架構(gòu)視頻采集系統(tǒng)
+ {; F) R. ?5 B5 c( Y  Y
% {  z4 T( D% X2 J- y; h$ M采用CameraLink + FPGA架構(gòu)的視頻采集與傳輸系統(tǒng)，既可實(shí)現(xiàn)符合CameraLink協(xié)議的數(shù)字相機(jī)，采集卡之間的通信與控制，同時(shí)實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實(shí)時(shí)處理、輸出等。該架構(gòu)系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強(qiáng)的通用性、實(shí)用性和擴(kuò)展性，靈活性也大大增強(qiáng)。CameraLink技術(shù)現(xiàn)已廣泛應(yīng)用于航空航天、軍事、醫(yī)療、交通等領(lǐng)域。

, m( j- T2 [) v7 l% V+ o​
9 x6 k; j6 A0 p7 \1 E( `& X
# u4 I2 H# w! J5 O圖2

創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實(shí)現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評(píng)估板的CameraLink視頻開(kāi)發(fā)案例。

1 硬件平臺(tái)
本文基于創(chuàng)龍科技TLK7-EVM評(píng)估板進(jìn)行演示。
8 S' ~- O+ b* m5 C
1 R5 K3 T; @' H4 @5 k2 v2 C" n7 x* Z0 ATLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設(shè)計(jì)的高端評(píng)估板，由核心板和評(píng)估底板組成。核心板經(jīng)過(guò)專業(yè)的PCB layout和高低溫測(cè)試驗(yàn)證，穩(wěn)定可靠，可滿足各種工業(yè)應(yīng)用環(huán)境。
評(píng)估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進(jìn)行產(chǎn)品方案評(píng)估與技術(shù)預(yù)研。

9 p  _7 T3 H  @# v. h+ Y​

1 S8 v9 n1 p, R8 u  g! m圖3 TLK7-EVM評(píng)估板

% D2 C/ F6 D+ y* Q1 I) u5 s開(kāi)發(fā)案例主要包括：
+ `2 X& t7 E8 q  d% h( ?7 D8 AØ CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
% r1 ?0 |+ O# {0 \- vØ 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
Ø AD9361軟件無(wú)線電案例
% ?3 b" U2 O4 F  |4 k" nØ UDP(10G)光口通信案例
Ø UDP(1G)光口通信案例
Ø Aurora光口通信案例
Ø PCIe通信案例
; W2 n4 V' L% ~! i5 e- a% E& Q
3 H/ b, U6 M, G/ g# ?案例源碼、產(chǎn)品資料（用戶手冊(cè)、核心板硬件資料、產(chǎn)品規(guī)格書(shū)）可點(diǎn)site.tronlong.com/pfdownload獲取。
. E0 Z& ^. W! d$ @3 U找廠家可申請(qǐng)TLK7-EVM評(píng)估板進(jìn)行快速評(píng)估，免費(fèi)哦！
2 u/ y0 r. n" [5 u& P
2 案例功能案例功能：評(píng)估板通過(guò)FMC視頻模塊TLCameraLinkF的CameraLink接口進(jìn)行分辨率為1280x1024的視頻采集，并通過(guò)TLCameraLinkF模塊的HDMI接口將采集到的視頻進(jìn)行輸出。


2 _. M; B7 ~7 d, m0 B​

: |0 i9 B# @: e3 e  T圖6 程序功能框圖

! S0 H9 S, K, O9 D' t  K
; I0 t) o& \8 G! g& ]2 N; B3 案例演示
" E3 ~* }3 S' K- Z" w本案例支持三款CameraLink相機(jī)，具體說(shuō)明如下。

廠家 : w  h1 G( `' q3 {4 ]5 b* E- g	相機(jī)型號(hào)	支持模式	相機(jī)性能 ! U4 u" I2 g- G
Microview （北京微視）	RS-A5241-CM107-S00 （黑白CameraLink相機(jī)） - O, t$ I, c) g	Full 7 r  V% K" \6 ^" G. [	全幅面2560*2048下，幀率可達(dá)107fps 9 ~3 ^: Y- ~9 L1 c+ s
		Base + Q8 |, P" k3 o8 ^# T
	RS-A5241-CC107-S00 5 h/ X( R/ V: _3 k# f（彩色CameraLink相機(jī)）	Full ) n2 r/ i& }8 |	全幅面2560*2048下，幀率可達(dá)107fps * J6 @/ P( Q1 M9 B/ \
		Base 7 y; C" O/ s% a" e$ _
	MVC1381SAM-CL60-S00 （黑白CameraLink相機(jī)）	Base	全幅面1280*1024下，幀率可達(dá)60fps

/ f) K7 L/ d, eFull模式硬件連接方法

9 A# G) h6 I! ]6 F如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評(píng)估板FMC2接口，評(píng)估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機(jī)的CL0通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機(jī)的CL1通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
1 p. [8 o  x2 X3 F​
圖7

Base模式硬件連接方法
+ Z' t" Q& Q+ A5 Y' a
/ z( ]2 n8 ~7 t4 x如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評(píng)估板FMC2接口，評(píng)估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機(jī)的CL0通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。

) u- C3 z+ J( u! _5 Y# ~* ~- R4 t​
圖8


6 v5 L0 b; `3 U; z+ b# _5 G7 j5 }. L下面對(duì)三款不同型號(hào)的CameraLink相機(jī)在Full/Base模式下的操作進(jìn)行演示。

（1） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，F(xiàn)ull模式

請(qǐng)運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"1"選擇相機(jī)型號(hào)為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
. X% J, P" B1 F5 X8 n2 U​
圖9
% U. B- u$ s; G( h" D! y" F3 |6 M, n5 r​
圖10

（2） 彩色CameraLink相機(jī)RS-A5241-CC107-S00，F(xiàn)ull模式
" E  T  |7 R% O
3 h3 L: m" ?2 ]1 L  @* x3 {. Q請(qǐng)運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"2"選擇相機(jī)型號(hào)為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
* k5 U) d+ Q% E! a; ]. _( m: `% s​
7 A+ o3 W9 b* A圖11
% Q3 _2 N! l/ n1 \) n" G​
( @; s) F; E( j) _. _  @! z 圖12
& b6 s7 f; w/ l& [/ s備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無(wú)白平衡功能，故圖像顏色偏綠。

' r+ n( K3 ]3 l7 R& q4 K# s6 l. f（3） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，Base模式

5 ^8 O) j7 j8 Y1 D  q! H2 v請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"1"選擇相機(jī)型號(hào)為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
) p! O1 O! ]. E0 g( h( t0 v
( ~5 N+ u5 ^4 I! u/ }2 r​
圖13
, L, s" F+ R8 w" N  X1 S​
圖14
) M& T) W9 J2 Y! s4 k1 K- i
9 M( P, e  u! a" g; d; f! {( Z! r（4） CameraLink相機(jī)RS-A5241-CC107-S00，Base模式

8 N# V! w' k7 _+ u請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"2"選擇相機(jī)型號(hào)為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
) h' M9 H  _6 a) u6 b5 z* e; Y1 [' A​
圖15
​
圖16
; _% H: y6 f1 H9 ^
" R# w, r, ?' j) ~) E! Q4 i備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無(wú)白平衡功能，故圖像顏色偏綠。

. y* [  ]7 S2 S5 \9 {( o
) g' |6 @6 x3 v  i9 W) j2 V& @（5） 黑白CameraLink相機(jī)MVC1381SAM-CL60-S00，Base模式

; V$ U8 f, w' k0 M/ a$ |; ~請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)輸入"3"選擇相機(jī)型號(hào)為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
5 O4 e# u: Z# E0 K8 g$ w​
圖17
​
. _' ~8 D! G( }& q圖18
7 y# C* d6 s' q  T. u

8 x( b4 B4 q4 t8 ^4 關(guān)鍵代碼(MicroBlaze)
4 G# V7 }) P. B+ a( KMicroBlaze裸機(jī)源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關(guān)鍵代碼說(shuō)明如下。

$ d& Y* n7 o! w' w（1） main函數(shù)。

​

3 \1 W8 a  A  z  m圖19
/ @" R0 `6 ~/ Z3 r* Q" L; E​
+ z9 ]  `# ~) W7 R; I! k7 l
: y, J/ f3 D) \. U* ?& b7 ^: A圖20
% u  P# y3 e# R7 [3 I- p
- j: d8 H: k+ M1 g
$ V, g  e' |4 V​
2 @1 @3 X  I0 `- J- G+ n' r2 L' `
/ f( _1 D9 j# \) x  \圖21

（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進(jìn)行HDMI視頻輸出。


​

圖22
, v* z& E( C2 T+ h/ `; k  J
- d7 `8 e2 b! M, x* x$ F7 m3 N（3） 初始化Sil9022A。
* Z9 H" u  I; H
! P- i1 I6 W( ^+ f6 g$ v+ g5 _7 Q
​

圖23
9 K; W* r, i# w, w8 O
（4） 初始化AXIS Switch IP核。

​
* ^6 E: F# w, O3 i  S 圖24
" M2 K( Z5 g& Z* F% A- J

% s7 q( g* |8 A3 J1 H初始化Sensor Demosaic IP核，以將彩色CameraLink相機(jī)的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。

8 K6 O; c& h9 z7 Q5 Q1 |, z5 e
  U. z3 {5 [: o/ f0 d​

圖25

$ w8 a  D( x7 Z- ~/ W- h7 [（5） 初始化Video Mixer IP核。
. y3 z$ C; U) }( t+ x1 M( n
​
圖26
6 W7 w2 ^+ r+ z  j
, q1 M/ L: w0 {, a1 V
備注：關(guān)于Vivado工程說(shuō)明及模塊/IP配置詳細(xì)內(nèi)容，可下載產(chǎn)品資料進(jìn)行查看。

) f7 P" F7 H, R5 X
: }8 Q4 F) \9 _3 b1 y6 更多推薦
新品推薦：TL6678ZH-EVM評(píng)估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
: m( j/ ^! y0 [
7 }* k5 V; s, F9 Q! o​

lyl

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

peng85246

lyl 發(fā)表于 2021-1-30 08:32
很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

大家互相學(xué)習(xí)和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666
8 p- o; s- I8 N+ w0 c

hebinbin

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

ispy520

很好的資料，多多學(xué)習(xí)