FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

前言
CameraLink協(xié)議
4 D& R3 \( t' k5 U
CameraLink協(xié)議是一種專門針對機器視覺應用領域的串行通信協(xié)議，它使用低壓差分信號(LVDS)進行數(shù)據(jù)的傳輸和通信。CameraLink標準是在ChannelLink標準的基礎上多加了6對差分信號線，其中4對用于并行傳輸相機控制信號，另外2對用于相機和圖像采集卡之間的串行通信(本質就是UART的兩根線)。

CameraLink標準的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個端口為8位數(shù)據(jù)，CameraLink標準的規(guī)定標準時鐘頻率最大為85MHz。
( U$ P! q  z( j, g. G
0 H5 O8 T7 g+ J. v) w
+ n  N! J  H# X* @3 _​
* S" R5 o" G* \* k) X
9 }; s6 [4 Y+ k/ J5 K圖1
, b: Q8 X2 q/ H8 I% `
CameraLink + FPGA架構視頻采集系統(tǒng)

. e1 {" v5 x( W' n1 P7 Z4 ^采用CameraLink + FPGA架構的視頻采集與傳輸系統(tǒng)，既可實現(xiàn)符合CameraLink協(xié)議的數(shù)字相機，采集卡之間的通信與控制，同時實現(xiàn)對圖像數(shù)據(jù)采集、轉換、緩存、實時處理、輸出等。該架構系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強的通用性、實用性和擴展性，靈活性也大大增強。CameraLink技術現(xiàn)已廣泛應用于航空航天、軍事、醫(yī)療、交通等領域。

​
# B5 w  M4 Z9 E5 i
圖2
* P1 G5 v7 V/ s( T; R5 C& f( q0 ~
" I% U0 x. X- J8 F7 X+ B7 F7 H創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評估板的CameraLink視頻開發(fā)案例。
) @1 q% c$ \  L" d: e, S0 t$ i) k9 q
1 硬件平臺
- X3 O' K6 h; ~# L7 K% }, n: a本文基于創(chuàng)龍科技TLK7-EVM評估板進行演示。

, c! W: y5 r# S& ~, ^TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設計的高端評估板，由核心板和評估底板組成。核心板經過專業(yè)的PCB layout和高低溫測試驗證，穩(wěn)定可靠，可滿足各種工業(yè)應用環(huán)境。
評估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進行產品方案評估與技術預研。
- G" w- D9 i( G# R$ z
​

圖3 TLK7-EVM評估板
# m8 Z! M5 Y+ ~1 G- a8 K
開發(fā)案例主要包括：
Ø CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
) z; q! U) K9 \" ~  PØ 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
Ø AD9361軟件無線電案例
; A0 w3 W# d# hØ UDP(10G)光口通信案例
$ V" ~5 q( Y; G: H3 HØ UDP(1G)光口通信案例
Ø Aurora光口通信案例
9 L/ @! N$ ^9 N# [2 |) ]6 r4 |Ø PCIe通信案例

案例源碼、產品資料（用戶手冊、核心板硬件資料、產品規(guī)格書）可點site.tronlong.com/pfdownload獲取。
9 h1 ?+ k# E& p7 Q找廠家可申請TLK7-EVM評估板進行快速評估，免費哦！

* h7 C9 ?( }" T2 案例功能案例功能：評估板通過FMC視頻模塊TLCameraLinkF的CameraLink接口進行分辨率為1280x1024的視頻采集，并通過TLCameraLinkF模塊的HDMI接口將采集到的視頻進行輸出。


+ b  m2 V6 s; G​
" J- s* @, ^2 g9 I% }/ m- n
圖6 程序功能框圖


3 案例演示
5 `7 ^6 N5 S7 V: [3 _本案例支持三款CameraLink相機，具體說明如下。

( ~+ x  {3 h" O+ l2 n: P+ n  _

廠家 ; R5 C- K5 J1 P* G+ y	相機型號	支持模式 4 G% D4 S4 E" y5 ^	相機性能
Microview （北京微視）	RS-A5241-CM107-S00 （黑白CameraLink相機） 4 e4 F+ ^; W2 a$ F. L	Full 1 W' y# O0 p5 c" P	全幅面2560*2048下，幀率可達107fps " @. d( @4 ~/ X9 f% Y; }. k+ a
		Base 8 i2 R; e* b$ h1 P& t9 Z% @: T
	RS-A5241-CC107-S00 （彩色CameraLink相機）	Full	全幅面2560*2048下，幀率可達107fps ! X1 G# _) P! A3 q" |- ^
		Base 0 x- l* Z4 w, y2 c8 U6 ?
	MVC1381SAM-CL60-S00 （黑白CameraLink相機）	Base	全幅面1280*1024下，幀率可達60fps 1 a+ p7 T- s# |$ O

" o) \& {4 K. h1 l: C3 z# \Full模式硬件連接方法
* L( Q9 w' ]- F# r
* p: z4 q/ v' \  ?/ N* Y# c2 h8 u" n如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
' I; C: R+ ?6 a
將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機的CL1通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
​
圖7
. E& E, R2 C- B' ]
Base模式硬件連接方法
: ?- a* D5 r* W$ L
如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評估板FMC2接口，評估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。

​
圖8
. u( M# B) G' ]1 S

下面對三款不同型號的CameraLink相機在Full/Base模式下的操作進行演示。

9 l1 f% o# i6 O# J- s0 \（1） 黑白CameraLink相機RS-A5241-CM107-S00，F(xiàn)ull模式

6 w0 |% _& W: ?: _請運行Full模式程序，即可看到串口調試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
5 ^- O5 s( f; K* Y- `7 w; v3 i圖9
$ J9 }( C( B+ r4 N0 F​
; h  r% O- N/ L3 ]5 n圖10

* |* r( L0 Q2 l, ^( H+ Q（2） 彩色CameraLink相機RS-A5241-CC107-S00，F(xiàn)ull模式
, U6 O3 g1 s- O. [0 i7 T# U
2 g2 Y0 R2 W! @& o請運行Full模式程序，即可看到串口調試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
% ~& x8 ^, m4 i. E7 W, x圖11
2 _1 ?3 B( x: \+ K​
6 M0 o7 j6 x. o 圖12
備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
0 d/ j$ F: h  t3 l! m  j) L2 l
5 `! @6 p/ D4 x9 C+ l1 e（3） 黑白CameraLink相機RS-A5241-CM107-S00，Base模式

. X+ W( ^9 G& k* X- x$ E請運行Base模式程序，即可看到串口調試終端打印如下信息。請先輸入"1"選擇相機型號為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
* O- Z" _. \( e. g; l9 f
8 Q, M  [( D8 d: L' R( ^1 f/ p​
圖13
​
圖14
) z& L" U3 n* I2 P/ Z
2 d  m* H# O& X" D, ?: O% E! R+ f' U（4） CameraLink相機RS-A5241-CC107-S00，Base模式

請運行Base模式程序，即可看到串口調試終端打印如下信息。請先輸入"2"選擇相機型號為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
" T7 }: e- P) M9 _# c​
9 E  X5 M9 W5 t2 X$ p/ F4 V1 \ 圖15
0 C& r1 B9 f% k0 d# W​
4 e8 ^4 l& L+ n; E- ]6 ^% D圖16

+ J# _' d/ G# y4 c; U備注：由于彩色CameraLink相機RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
9 F) ?/ }" J. c
( \6 }( z0 z7 M  V7 ]) S- p; m' P
7 R4 C% S/ ~( Z+ Z! @1 |% R/ c' x（5） 黑白CameraLink相機MVC1381SAM-CL60-S00，Base模式
# p# Q$ D9 L/ J+ q  @
請運行Base模式程序，即可看到串口調試終端打印如下信息。請輸入"3"選擇相機型號為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
$ c& X( [# k0 [" v$ q; c3 {: Z​
) B1 \$ G) P1 e) S; f) @4 U圖17
​
% d, Q; k1 _3 v# e) P! t圖18
$ F- ]; n. X# X) z: n

4 關鍵代碼(MicroBlaze)
MicroBlaze裸機源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關鍵代碼說明如下。
5 C8 G% L) m" M5 {
' |) X- H/ `! ~5 f0 F% Q（1） main函數(shù)。

4 p: T% [! W9 H​

' d- W& ?' C7 y4 Y$ N. n圖19
: f  l( }, n" K+ R- T1 D" d; G​

圖20


' \0 H; K1 ]; @8 n% g​
2 {$ z& u# r# S
% P! y3 C$ k8 R  u5 }圖21

7 H3 x: C" y/ ?% |0 k. o. H（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進行HDMI視頻輸出。


% P5 D! V8 u& I7 m& |( s​
+ _9 a: |7 ~) T9 W
. p* I) Z1 n0 Y圖22
& A" b! P0 W% ?0 b/ T, F* U# m7 r
（3） 初始化Sil9022A。


+ e# h" c& t2 j3 h. b& Q​
! S( Z7 z) C  ]8 h; N
. z- @9 g5 S; `0 C, [2 F3 o圖23
3 l5 V. X, J- K- ~: I- a
2 y8 ?# y0 u$ c# r+ H. ^, L4 M（4） 初始化AXIS Switch IP核。

  H  b9 I2 ^" N7 R3 m​
. V0 e) e1 d" n* @$ \ 圖24
6 v* r  Q8 c; t

初始化Sensor Demosaic IP核，以將彩色CameraLink相機的Bayer格式視頻數(shù)據(jù)轉化為RGB格式。
' r; M) Z2 D0 {" E6 v; _% L1 ~
& u3 A9 i* f5 w/ Q% m5 L* u( W0 m
​

/ R! s% [: A9 Y7 D8 v圖25
4 W8 ^5 \: _; F& b
8 o! g+ b1 W! v9 n8 e  }* J（5） 初始化Video Mixer IP核。
  `, x& m- ?' I! h0 _
​
- C5 @  j; E# S. Y$ n! c) w# | 圖26
6 ?9 Y. K& p* O9 r7 K

6 a" J- m  `) V1 F備注：關于Vivado工程說明及模塊/IP配置詳細內容，可下載產品資料進行查看。
/ D0 s+ a! ^7 _
$ a9 Y- Y6 x) Y6 o& J9 Q( `* c
) f% B9 k) M# v9 j' v6 更多推薦
新品推薦：TL6678ZH-EVM評估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
( c2 l& g/ `# {* f9 _/ e
​

: ~8 p8 ^8 D7 A9 n. k5 R& S

lyl

很好的資料，好好的學習學習

peng85246

lyl 發(fā)表于 2021-1-30 08:32
6 B, w- _& ^6 t* ?1 i; A很好的資料，好好的學習學習

/ X+ r! L& U' E' F% P. ]大家互相學習和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666

hebinbin

很好的資料，好好的學習學習

ispy520

很好的資料，多多學習