FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

前言
5 R0 w) _  p! Y" `CameraLink協(xié)議
* f- s: w6 B0 o9 B% P, m
CameraLink協(xié)議是一種專門針對機器視覺應(yīng)用領(lǐng)域的串行通信協(xié)議，它使用低壓差分信號(LVDS)進行數(shù)據(jù)的傳輸和通信。CameraLink標(biāo)準(zhǔn)是在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上多加了6對差分信號線，其中4對用于并行傳輸相機控制信號，另外2對用于相機和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。

CameraLink標(biāo)準(zhǔn)的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個端口為8位數(shù)據(jù)，CameraLink標(biāo)準(zhǔn)的規(guī)定標(biāo)準(zhǔn)時鐘頻率最大為85MHz。
. O4 f7 G5 P  @7 y
/ k( z; ]( M9 M. H) F6 |7 d
​
) N. N: `+ l3 \0 t1 ?7 v7 V
圖1
  D5 G! g- ~6 u) q1 {2 t( I
CameraLink + FPGA架構(gòu)視頻采集系統(tǒng)

  t7 Q% k. m8 E  X采用CameraLink + FPGA架構(gòu)的視頻采集與傳輸系統(tǒng)，既可實現(xiàn)符合CameraLink協(xié)議的數(shù)字相機，采集卡之間的通信與控制，同時實現(xiàn)對圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實時處理、輸出等。該架構(gòu)系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強的通用性、實用性和擴展性，靈活性也大大增強。CameraLink技術(shù)現(xiàn)已廣泛應(yīng)用于航空航天、軍事、醫(yī)療、交通等領(lǐng)域。
" w/ h! Q- X) m: n( i. `3 j* B% d
4 p( T6 F9 W- a1 W* H​

& U& B' {1 C# o: N圖2

創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評估板的CameraLink視頻開發(fā)案例。

$ I6 Q, C5 u5 n4 w6 E1 硬件平臺
本文基于創(chuàng)龍科技TLK7-EVM評估板進行演示。

TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設(shè)計的高端評估板，由核心板和評估底板組成。核心板經(jīng)過專業(yè)的PCB layout和高低溫測試驗證，穩(wěn)定可靠，可滿足各種工業(yè)應(yīng)用環(huán)境。
& Y) e$ |/ G( Z; b1 g2 C! U評估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進行產(chǎn)品方案評估與技術(shù)預(yù)研。

/ U4 ^& }& M, q: W​

圖3 TLK7-EVM評估板

開發(fā)案例主要包括：
- a# s# ?( R3 M" K8 pØ CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
Ø 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
6 _/ b* v+ B5 ~* t3 b: iØ AD9361軟件無線電案例
Ø UDP(10G)光口通信案例
; K  o, g2 k  n  @" M- IØ UDP(1G)光口通信案例
Ø Aurora光口通信案例
Ø PCIe通信案例

案例源碼、產(chǎn)品資料（用戶手冊、核心板硬件資料、產(chǎn)品規(guī)格書）可點site.tronlong.com/pfdownload獲取。
找廠家可申請TLK7-EVM評估板進行快速評估，免費哦！

0 r) S! M3 D; E) c  T6 V  r' j/ D2 案例功能案例功能：評估板通過FMC視頻模塊TLCameraLinkF的CameraLink接口進行分辨率為1280x1024的視頻采集，并通過TLCameraLinkF模塊的HDMI接口將采集到的視頻進行輸出。


​
/ a, U2 n$ c, f- _% O; i9 M
圖6 程序功能框圖

  L  s" D( m7 ~0 \) J( f# j
3 案例演示
, S" I9 z4 W, H+ q8 ]5 y本案例支持三款CameraLink相機，具體說明如下。
% ~# ~# s# g1 z+ h9 z5 ]7 Q( H
# N* _, \: \6 e* f

廠家 & f" S0 o( H4 F* U/ }, }7 u: X- e	相機型號 5 C* [3 _. m* a$ p. r	支持模式	相機性能
Microview ( l4 g. _$ M$ l9 e) A' N（北京微視） ; r: d  {4 B) ^' P# M( r6 X, b	RS-A5241-CM107-S00 （黑白CameraLink相機）	Full	全幅面2560*2048下，幀率可達107fps : l& m: `5 n- V8 t# r
		Base ; I; |  R) f3 O* @; Z7 `9 F! E% V
	RS-A5241-CC107-S00 （彩色CameraLink相機） - F( Z' U, Y0 q) Q	Full ' b  E  h. ^' d0 Y	全幅面2560*2048下，幀率可達107fps
		Base ; ]- s" a: L! K) F" y' s
	MVC1381SAM-CL60-S00 : ]" P& s, }- p' \0 L（黑白CameraLink相機） . ~. k5 Q& H* C! C' D7 A6 p	Base	全幅面1280*1024下，幀率可達60fps

" ?4 e) l: P; n8 b& Y, E$ uFull模式硬件連接方法
" W0 y( h8 m3 d
) z0 s  A- {6 I' a* A如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
2 e3 e+ J+ h0 z* W% x- G
8 R( e: `, n" H* |4 R8 T將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機的CL1通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
​
' N( I: j$ m; n! C/ y/ j; l- ?圖7

9 z' f; `( P# `7 ]; f% mBase模式硬件連接方法

: p! _6 G5 Z. i" v" P+ O1 G# \如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
1 e/ s8 i1 l9 k, ]
​
4 G" e- `7 X; D5 A圖8
- ]( Y. |& N. o: ?9 p1 [
5 t: R) W' [' o# g
下面對三款不同型號的CameraLink相機在Full/Base模式下的操作進行演示。
7 I" G( D# h7 F$ G. T5 d  u
（1） 黑白CameraLink相機RS-A5241-CM107-S00，F(xiàn)ull模式

請運行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
/ C5 v) t# ]4 a# F3 [​
圖9
% m( }; Z8 j3 U$ q* Z( C​
圖10
; i9 U1 k) B- }: K
（2） 彩色CameraLink相機RS-A5241-CC107-S00，F(xiàn)ull模式
" ]) Y' l( s0 C- C
請運行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖11
; H% y, m1 s$ n& x​
) J, {4 Y* ^2 i- D 圖12
- M3 I" y; N& g  e- I$ [備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
! a9 H$ @) h/ E" B1 V: y7 ^
（3） 黑白CameraLink相機RS-A5241-CM107-S00，Base模式
5 X1 d5 ^! o9 g# P1 U
請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
8 l( ~& t2 b; l# l( i
​
圖13
! i  {+ X# c) r/ }( ?) s. p​
: X/ h9 |; F- F! l' n4 T圖14

（4） CameraLink相機RS-A5241-CC107-S00，Base模式
4 @3 O+ e& X! p" |
請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖15
​
圖16
" J. `9 l  a2 ?: U
備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
7 d7 U# d+ a1 w- M

（5） 黑白CameraLink相機MVC1381SAM-CL60-S00，Base模式

: l3 h) t! w) O" k2 [4 b請運行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請輸入"3"選擇相機型號為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
& l0 ~6 F6 `+ @2 a% t! M# L) l​
圖17
, N$ e, @& c* c  ~​
" n- ?' S  D* Y( o圖18


, Y$ N% V7 _! \- l& E" w3 O/ p4 關(guān)鍵代碼(MicroBlaze)
0 d6 l& V( a8 S; w: NMicroBlaze裸機源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關(guān)鍵代碼說明如下。

9 R3 i! [2 O. ]6 C0 ]3 ~9 s& z（1） main函數(shù)。
5 T6 R* \  A( @) `4 @3 y
5 L0 o% M/ I  E" Q# E- N/ |​

3 v; L; b. t( z: d! i: s- p/ a圖19
3 E2 j+ o2 |+ O9 a& C( z​
9 V" l+ V: e7 x
6 w! @/ b- ~4 `) D圖20
8 G; V/ o( ]# E6 U( T' ?

8 z4 {! Q9 c( _$ {. N8 M) J​

圖21
+ }* ^; S3 w/ W5 A
（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進行HDMI視頻輸出。

- G$ p& B  f, F) Z$ \
; m5 t, q5 y: j4 r' U3 u​

( e6 C: `' i' N: ^圖22
% w( p7 p+ C3 X+ f; j: C; k# {- \
（3） 初始化Sil9022A。
8 x8 c" p, X  I9 V

​

3 N, [# ~3 a0 G  y. G2 ?+ w. I6 l圖23
% j8 L0 \4 U) K) k
  g' u6 I" g% O8 _（4） 初始化AXIS Switch IP核。
. L2 Y2 ]% I* z
​
! C+ T  o! v0 O3 P 圖24
" N4 F# T" f4 l- A
/ l; S6 U; Z7 O4 S' b+ A' d
0 I; b: R$ o5 U/ D4 g: O* P初始化Sensor Demosaic IP核，以將彩色CameraLink相機的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。

8 ^8 l# ^9 o7 Z8 L% I
​
% E/ @! S9 o1 S+ [1 c
0 @. O1 L7 V1 p5 q, o  w圖25

' }! }8 y! G! k7 Q: e9 J/ K+ b（5） 初始化Video Mixer IP核。
, X9 W2 e8 R& P
​
/ y7 `0 U( A" d 圖26
: M. D9 [( U7 S$ @/ }

備注：關(guān)于Vivado工程說明及模塊/IP配置詳細(xì)內(nèi)容，可下載產(chǎn)品資料進行查看。
5 _3 }$ A1 m4 ~3 [

8 p- P  B! A0 y& a1 J6 更多推薦
' k8 |; s* c$ c" D4 O( x7 q, A新品推薦：TL6678ZH-EVM評估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）

) C2 T% X( U/ h- h, p0 z; g​

2 U$ V9 l4 ^4 U! z8 x

lyl

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

peng85246

lyl 發(fā)表于 2021-1-30 08:32
: [* w( b- N6 i- O很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

大家互相學(xué)習(xí)和交流O(∩_∩)O哈！
  V* W5 O" W5 Z4 ^, A1 l" y

IZH

6666666666666666666666666666666666666
/ `7 u9 ?+ I! f: E/ k4 X  Y8 V; R

hebinbin

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

ispy520

很好的資料，多多學(xué)習(xí)