FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

前言
CameraLink協(xié)議

' ^4 \- w9 V2 cCameraLink協(xié)議是一種專門針對(duì)機(jī)器視覺應(yīng)用領(lǐng)域的串行通信協(xié)議，它使用低壓差分信號(hào)(LVDS)進(jìn)行數(shù)據(jù)的傳輸和通信。CameraLink標(biāo)準(zhǔn)是在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上多加了6對(duì)差分信號(hào)線，其中4對(duì)用于并行傳輸相機(jī)控制信號(hào)，另外2對(duì)用于相機(jī)和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。

CameraLink標(biāo)準(zhǔn)的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個(gè)端口為8位數(shù)據(jù)，CameraLink標(biāo)準(zhǔn)的規(guī)定標(biāo)準(zhǔn)時(shí)鐘頻率最大為85MHz。


​
5 \; G7 F/ ^+ [7 Q/ p) Y
圖1
+ g4 m) j4 z1 z9 ?6 Q& e; W
CameraLink + FPGA架構(gòu)視頻采集系統(tǒng)

  E3 C' q, c, J# M# J采用CameraLink + FPGA架構(gòu)的視頻采集與傳輸系統(tǒng)，既可實(shí)現(xiàn)符合CameraLink協(xié)議的數(shù)字相機(jī)，采集卡之間的通信與控制，同時(shí)實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實(shí)時(shí)處理、輸出等。該架構(gòu)系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強(qiáng)的通用性、實(shí)用性和擴(kuò)展性，靈活性也大大增強(qiáng)。CameraLink技術(shù)現(xiàn)已廣泛應(yīng)用于航空航天、軍事、醫(yī)療、交通等領(lǐng)域。
+ h7 _5 ~4 p8 k) s
$ F7 `, `1 ~  {; W​

圖2

創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實(shí)現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評(píng)估板的CameraLink視頻開發(fā)案例。
4 E7 O3 G0 @5 ]+ V* O" Q: M
1 硬件平臺(tái)
1 ?0 [: _: Z# s9 V" S0 T! @5 t本文基于創(chuàng)龍科技TLK7-EVM評(píng)估板進(jìn)行演示。

- G5 q& m( u5 r' A9 dTLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設(shè)計(jì)的高端評(píng)估板，由核心板和評(píng)估底板組成。核心板經(jīng)過專業(yè)的PCB layout和高低溫測(cè)試驗(yàn)證，穩(wěn)定可靠，可滿足各種工業(yè)應(yīng)用環(huán)境。
評(píng)估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進(jìn)行產(chǎn)品方案評(píng)估與技術(shù)預(yù)研。
3 F  b) f; _" u5 `  _% B; A
​

  [+ Y+ a( v% j& Y- l5 H9 `% X: c圖3 TLK7-EVM評(píng)估板
3 B6 o# n) v; ^# f
+ X) J0 U# r7 G6 F4 G6 A開發(fā)案例主要包括：
) z: M7 V0 q4 IØ CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
* I5 G3 X  s9 Y" S' RØ 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
Ø AD9361軟件無線電案例
3 u# j& o3 V4 n! pØ UDP(10G)光口通信案例
Ø UDP(1G)光口通信案例
. p- a% |  ~8 s/ q: U( I0 @; OØ Aurora光口通信案例
Ø PCIe通信案例

案例源碼、產(chǎn)品資料（用戶手冊(cè)、核心板硬件資料、產(chǎn)品規(guī)格書）可點(diǎn)site.tronlong.com/pfdownload獲取。
" L$ K4 s% Z/ C找廠家可申請(qǐng)TLK7-EVM評(píng)估板進(jìn)行快速評(píng)估，免費(fèi)哦！
5 a( ~. M, G# D) Z0 n- m0 C
7 f3 e( A+ {; r2 案例功能案例功能：評(píng)估板通過FMC視頻模塊TLCameraLinkF的CameraLink接口進(jìn)行分辨率為1280x1024的視頻采集，并通過TLCameraLinkF模塊的HDMI接口將采集到的視頻進(jìn)行輸出。


& V; j  ^* b9 C; p​

- z* s, T) h2 o/ I3 [7 k圖6 程序功能框圖
) }- J) X5 u# X
' }$ \& ~' e5 E& V
% d5 d0 a8 ~1 B! {6 T, W3 案例演示
本案例支持三款CameraLink相機(jī)，具體說明如下。

廠家 8 A' z+ T) E* Q, ~2 Y/ d( A. W; |: Z	相機(jī)型號(hào) . G9 r# B4 ?* j5 Q/ w& S7 S: w	支持模式 , P0 I  _/ o( Z% ]9 J, K3 t9 D  j	相機(jī)性能 ) M3 @0 K5 s* w
Microview （北京微視）	RS-A5241-CM107-S00 2 ]7 t' E% f* Y+ w（黑白CameraLink相機(jī)） 8 D4 e  F; `, u# K3 m& V	Full	全幅面2560*2048下，幀率可達(dá)107fps 0 o! Y3 K5 y6 @4 ?0 q4 ?1 V6 }
		Base $ p- q4 A. x; G% D
	RS-A5241-CC107-S00 6 N$ f: o  Z: `$ B! R（彩色CameraLink相機(jī)）	Full	全幅面2560*2048下，幀率可達(dá)107fps
		Base
	MVC1381SAM-CL60-S00 （黑白CameraLink相機(jī)） ' b) }! d, ]# O" a% a  V# B7 b	Base	全幅面1280*1024下，幀率可達(dá)60fps

Full模式硬件連接方法

: y$ z. i" E4 }. U4 z5 @; H如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評(píng)估板FMC2接口，評(píng)估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機(jī)的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機(jī)的CL1通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
​
) U8 ?4 H9 ]1 k! P) {5 C3 o圖7

  c9 W- n& C) P. {Base模式硬件連接方法
+ C; M- W9 o5 m# K
4 }5 i' m' p* e4 X2 R. E如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評(píng)估板FMC2接口，評(píng)估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機(jī)的CL0通過數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
3 N- k+ N; J) I  W% g
& C+ z- ^. e- M# m: Q' d9 k​
圖8


下面對(duì)三款不同型號(hào)的CameraLink相機(jī)在Full/Base模式下的操作進(jìn)行演示。
4 d  F+ U3 l' N
* u' c% r, o2 [! G6 F* E4 i（1） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，F(xiàn)ull模式

1 Z" @) T# [; N/ H/ y請(qǐng)運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"1"選擇相機(jī)型號(hào)為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
( F( [" g& s3 `4 I) L4 V# c圖9
- a. s7 ^& ^& N0 z​
3 u. Q) L  X% `$ @圖10
/ i! h0 z' o8 N4 B( A) N5 L0 l$ k- D% T# c
（2） 彩色CameraLink相機(jī)RS-A5241-CC107-S00，F(xiàn)ull模式
1 j6 @" B3 ]$ t* y. s2 [1 K
+ v1 ~- ~/ _+ {7 T6 l/ d請(qǐng)運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"2"選擇相機(jī)型號(hào)為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖11
​
2 f2 N- d9 C7 I  v' y 圖12
/ ?9 b/ S/ u$ \' T; z" k備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
1 Z% S# M# X& C0 y% j/ [( z- Y
（3） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，Base模式
# R: S4 h# J; v9 q* F' F
請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"1"選擇相機(jī)型號(hào)為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
& s  e* J2 F9 x. A4 D1 v: f
​
圖13
& ~5 j, Z1 f+ t6 ?* i' q​
# _& C6 A# w" y9 ^圖14
* P) Z% ]7 B- {1 f: e
（4） CameraLink相機(jī)RS-A5241-CC107-S00，Base模式
% _. f9 v/ l, w9 }( r3 @& G
! \5 P+ D" ~5 a$ C請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"2"選擇相機(jī)型號(hào)為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖15
​
圖16
; z4 _) Y$ Z: F
備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無白平衡功能，故圖像顏色偏綠。
& d' P/ S6 D+ G$ _. s0 Z! n
1 @+ r& m" U- d/ b. r% }& R
( v( ~0 L3 j& ~* ]8 l2 O4 Z1 H' ^" }（5） 黑白CameraLink相機(jī)MVC1381SAM-CL60-S00，Base模式
: e/ T" Q* W4 s2 N1 G5 M& @
# [2 z7 h% Q8 Q/ J7 V請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)輸入"3"選擇相機(jī)型號(hào)為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
圖17
1 U1 }5 v4 A  H6 \) s​
圖18

) Q# d; K, a& Y0 a& y
4 關(guān)鍵代碼(MicroBlaze)
MicroBlaze裸機(jī)源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關(guān)鍵代碼說明如下。
: e4 c" l$ f8 A1 e; q8 T
（1） main函數(shù)。
" b! R+ x' _5 [1 A  g3 r& V
' P& V$ v* m3 q( V​

* M+ w3 a% v4 Q$ z圖19
* |) E& n+ ~! _" b, g2 E0 }1 U, s: b​
# O" r% c  `# @' @0 w: z
6 L" t% c: O5 ?; Y圖20

7 d& z3 |5 W6 K( G1 p
​

圖21

0 j4 X+ `3 O6 d+ [5 a, K# _（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進(jìn)行HDMI視頻輸出。
' u; m) y" c7 f/ e8 }
" w' {& F$ u: _1 J& a9 R
​

圖22
" R: v) o' ~6 X7 s
7 u  Q9 v- S4 N: w# j0 K6 [! i（3） 初始化Sil9022A。

# o/ K& R8 b8 K8 `5 g
​

. @- E+ C! M" ~2 t  s% d: P& g圖23
" H1 `, t$ b0 J6 G4 F5 f
1 M8 r" Y! J1 s/ \2 C3 B! m（4） 初始化AXIS Switch IP核。
) x2 H1 `% Z4 a0 {9 b9 w8 h
4 V2 C+ z+ r( u7 D( B3 I( c4 A​
圖24

. N: ~7 P) K$ _3 [
初始化Sensor Demosaic IP核，以將彩色CameraLink相機(jī)的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。
. S# x) r1 [9 @+ F4 {3 ?/ R
3 W- p; G, u5 P
/ \- Y) I# X/ w1 M) Y3 Y" K+ O​
$ i7 p1 g. p6 E+ P! ~3 W
圖25
( x: L7 ~5 ^0 H. ]
（5） 初始化Video Mixer IP核。

2 _% {; R, D7 U​
5 G# V$ i- X" Y 圖26
3 t) B; E- h. n3 }9 U' M

; x, p5 X- i" a# t. S) [備注：關(guān)于Vivado工程說明及模塊/IP配置詳細(xì)內(nèi)容，可下載產(chǎn)品資料進(jìn)行查看。
  n3 J3 C- T( u- {- J0 i" ^* S
/ W3 s* j$ {, W
6 更多推薦
新品推薦：TL6678ZH-EVM評(píng)估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
3 F1 F: r9 k7 G6 m
) @0 f5 j# o8 p2 z  v​
4 o" j9 g+ }4 ]  V9 Q8 T
, b) ~1 A& u/ E' g4 q

lyl

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

peng85246

lyl 發(fā)表于 2021-1-30 08:32
; `" _( U* Y$ A# \9 q8 F很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

% g3 Q. d1 r7 U- v+ V' |' H大家互相學(xué)習(xí)和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666

hebinbin

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

ispy520

很好的資料，多多學(xué)習(xí)
* y) m& W3 D& t1 G) u) `. M8 v