FPGA的CameraLink視頻開(kāi)發(fā)案例｜基于Kintex-7、Zynq-7045/7100開(kāi)發(fā)板

peng85246

' M# L# X6 N( b& p# o- h( ~  E前言
CameraLink協(xié)議
8 m* C$ i5 o8 c& T
CameraLink協(xié)議是一種專(zhuān)門(mén)針對(duì)機(jī)器視覺(jué)應(yīng)用領(lǐng)域的串行通信協(xié)議，它使用低壓差分信號(hào)(LVDS)進(jìn)行數(shù)據(jù)的傳輸和通信。CameraLink標(biāo)準(zhǔn)是在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上多加了6對(duì)差分信號(hào)線(xiàn)，其中4對(duì)用于并行傳輸相機(jī)控制信號(hào)，另外2對(duì)用于相機(jī)和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線(xiàn))。

CameraLink標(biāo)準(zhǔn)的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個(gè)端口為8位數(shù)據(jù)，CameraLink標(biāo)準(zhǔn)的規(guī)定標(biāo)準(zhǔn)時(shí)鐘頻率最大為85MHz。

, t4 c6 W8 M$ e, w1 D
0 M. z- Q' c% G% {4 Y& c% u​

圖1

" V+ c6 g+ ?8 _3 d0 k' oCameraLink + FPGA架構(gòu)視頻采集系統(tǒng)
5 e8 v( D9 q( p
采用CameraLink + FPGA架構(gòu)的視頻采集與傳輸系統(tǒng)，既可實(shí)現(xiàn)符合CameraLink協(xié)議的數(shù)字相機(jī)，采集卡之間的通信與控制，同時(shí)實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實(shí)時(shí)處理、輸出等。該架構(gòu)系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強(qiáng)的通用性、實(shí)用性和擴(kuò)展性，靈活性也大大增強(qiáng)。CameraLink技術(shù)現(xiàn)已廣泛應(yīng)用于航空航天、軍事、醫(yī)療、交通等領(lǐng)域。

​
6 O$ A3 P. T0 w! Q" X+ S/ F1 q, r
5 k2 ^! [4 E0 d1 @7 X圖2
, s3 f9 Z$ [6 O  V/ B+ n+ K
* F9 p0 u! p% ?4 e$ ?$ {# M6 j8 G創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實(shí)現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評(píng)估板的CameraLink視頻開(kāi)發(fā)案例。
% L! s1 ?3 d$ i/ L7 n' x
1 硬件平臺(tái)
4 X$ h+ @$ @& C! J本文基于創(chuàng)龍科技TLK7-EVM評(píng)估板進(jìn)行演示。

4 {; g' p3 f& F# y0 }: \+ d9 V% tTLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設(shè)計(jì)的高端評(píng)估板，由核心板和評(píng)估底板組成。核心板經(jīng)過(guò)專(zhuān)業(yè)的PCB layout和高低溫測(cè)試驗(yàn)證，穩(wěn)定可靠，可滿(mǎn)足各種工業(yè)應(yīng)用環(huán)境。
評(píng)估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶(hù)快速進(jìn)行產(chǎn)品方案評(píng)估與技術(shù)預(yù)研。
* R6 q5 h. |. C0 M4 n
7 D% l8 j, E5 p4 R" u​
1 M& `) `/ @5 G8 [' N
, A$ o; B! V2 O% s( V圖3 TLK7-EVM評(píng)估板

: G+ q1 Y6 h* u. T8 M! _- e7 S- Z開(kāi)發(fā)案例主要包括：
Ø CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
2 S. _: k! q, G; q  i( OØ 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
6 n" ]6 Q: o0 b+ @' m! G* \Ø AD9361軟件無(wú)線(xiàn)電案例
Ø UDP(10G)光口通信案例
" M3 z# ^* J( K- V4 M* D$ o- [# b! IØ UDP(1G)光口通信案例
Ø Aurora光口通信案例
Ø PCIe通信案例
( Q" w' _- |: ]2 n: f7 c) d
$ j5 M  h9 D! P& t) @* G9 U! S案例源碼、產(chǎn)品資料（用戶(hù)手冊(cè)、核心板硬件資料、產(chǎn)品規(guī)格書(shū)）可點(diǎn)site.tronlong.com/pfdownload獲取。
/ |9 L8 Q  u# |2 u找廠家可申請(qǐng)TLK7-EVM評(píng)估板進(jìn)行快速評(píng)估，免費(fèi)哦！
6 h: p# J/ Z: G$ _
4 F  B' C% ?( n5 _" J; s2 案例功能案例功能：評(píng)估板通過(guò)FMC視頻模塊TLCameraLinkF的CameraLink接口進(jìn)行分辨率為1280x1024的視頻采集，并通過(guò)TLCameraLinkF模塊的HDMI接口將采集到的視頻進(jìn)行輸出。
! I" j: J8 i9 h/ y' ~; _
0 A9 X, Q4 K6 w! i5 u
5 \2 W' Z3 u( o3 q8 d​
( m7 L2 [+ f, y( q2 M
圖6 程序功能框圖
- Y% ?& Y) _3 ]# ^- H
7 e+ T- \* |9 J& ?. X, ^/ G9 `
3 案例演示
0 A, V% |0 S; \) E8 P" T% k+ c- f本案例支持三款CameraLink相機(jī)，具體說(shuō)明如下。

廠家 4 D' d2 N% f( [; r6 ]	相機(jī)型號(hào)	支持模式	相機(jī)性能 1 y; r! j( E0 Z9 {3 ^
Microview （北京微視）	RS-A5241-CM107-S00 9 K1 S4 m$ |( n3 Y5 a: l（黑白CameraLink相機(jī)）	Full + r. n  h# Z3 H, \7 s6 @	全幅面2560*2048下，幀率可達(dá)107fps . K8 n. |7 Z+ l! e
		Base
	RS-A5241-CC107-S00 - U; Q0 T# v4 z" e7 O( n6 ^（彩色CameraLink相機(jī)）	Full , y+ ?: M( I6 V$ z8 d0 j	全幅面2560*2048下，幀率可達(dá)107fps 5 Y; H* f+ G. \$ p  e9 {
		Base
	MVC1381SAM-CL60-S00 7 X+ `: z& {& ]- r（黑白CameraLink相機(jī)） - a- u3 n& S( f	Base	全幅面1280*1024下，幀率可達(dá)60fps

Full模式硬件連接方法
, P' }" \8 {9 H
如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評(píng)估板FMC2接口，評(píng)估板J1跳線(xiàn)帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
! k8 M/ K1 o% H" r4 v6 ~
9 i1 y' i: _: ~2 c* K將CameraLink相機(jī)的CL0通過(guò)數(shù)據(jù)線(xiàn)連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機(jī)的CL1通過(guò)數(shù)據(jù)線(xiàn)連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過(guò)數(shù)據(jù)線(xiàn)連接至TLCameraLinkF模塊的HDMI OUT接口。
0 E: U; F, x/ D​
* x5 s/ I$ T" B5 Z+ d2 b圖7

Base模式硬件連接方法

/ k! j2 o6 j. a( Y, I/ O如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評(píng)估板FMC2接口，評(píng)估板J1跳線(xiàn)帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
' L/ f: L3 G3 e' w; n9 [$ K
將CameraLink相機(jī)的CL0通過(guò)數(shù)據(jù)線(xiàn)連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過(guò)數(shù)據(jù)線(xiàn)連接至TLCameraLinkF模塊的HDMI OUT接口。
8 G* M6 H( ]9 f/ X3 g
8 [1 r4 |% r0 z. {6 ]) E+ U( ~  i5 D- M5 @​
  j% _9 l* T  K8 h5 [& j+ s5 A圖8


下面對(duì)三款不同型號(hào)的CameraLink相機(jī)在Full/Base模式下的操作進(jìn)行演示。
+ n: b7 E# A, O& \- i) X7 n7 U
0 J5 n" _4 N; M1 A5 c+ @: V（1） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，F(xiàn)ull模式

9 V' T. d- W+ _' s$ D請(qǐng)運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"1"選擇相機(jī)型號(hào)為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
, V7 K* b( O# Q# P+ I​
圖9
​
+ s9 W6 @+ B8 l3 ]圖10
% b  e  s' l# J1 j- C3 _* j; b
: \% n. J" ^& T/ R, J5 j+ S$ Z（2） 彩色CameraLink相機(jī)RS-A5241-CC107-S00，F(xiàn)ull模式

請(qǐng)運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"2"選擇相機(jī)型號(hào)為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖11
​
+ ~, ~! ]! q* p  E2 j! R 圖12
. s/ i) p  A' s' b備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無(wú)白平衡功能，故圖像顏色偏綠。
& x8 e& O* l9 R+ G  N
（3） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，Base模式
# J6 J  b' f/ v2 @2 H
請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"1"選擇相機(jī)型號(hào)為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
  _8 s" b8 w2 f) D) t1 Z2 x% w
​
7 f, F- \, n/ t( h+ s' g圖13
0 g/ ^. [, o2 F9 [% c; _% w1 u​
0 |) S% j, Z! B( G3 D圖14

（4） CameraLink相機(jī)RS-A5241-CC107-S00，Base模式

請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"2"選擇相機(jī)型號(hào)為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
: s. b' e3 G% a( ~9 ^- r​
* Q5 K: y; b% D8 ^ 圖15
​
6 C3 U: ^- _' k圖16

備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無(wú)白平衡功能，故圖像顏色偏綠。

8 G$ O% S, ~8 D9 v
（5） 黑白CameraLink相機(jī)MVC1381SAM-CL60-S00，Base模式
7 {) h" w8 }4 J8 ~4 k+ a
請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)輸入"3"選擇相機(jī)型號(hào)為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
" i( i! q( o2 k​
圖17
/ d0 I. \- a6 i: s​
- A9 ~/ C% s$ @圖18

: ]' i+ f/ z. R7 z* d& O: l
4 關(guān)鍵代碼(MicroBlaze)
MicroBlaze裸機(jī)源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關(guān)鍵代碼說(shuō)明如下。

（1） main函數(shù)。
9 |& g3 x; @+ Z
​
' N5 o; K) G* i
- s; A/ y* U/ u圖19
1 o7 v+ g2 d. ~' F. ~' c​
  |& L4 b9 g. f) {( u0 N! ?
圖20

* U6 g  p0 n2 _: F
​
6 r; P( Y2 p/ b6 m
圖21
2 N$ Z& r% V/ R
" J& i3 `/ `9 |+ ]  Z( R( E* _1 ^! M（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進(jìn)行HDMI視頻輸出。
" T( V% j, u; o; z+ |( K: G0 D

/ c4 M( j4 @8 C​

圖22

7 @; W" p3 {7 \+ \（3） 初始化Sil9022A。
) j) _/ w) X, _9 e! z
; U* |1 `$ ?' v
​

9 {' k( D, V7 T圖23
( N+ f; E" K- v9 A$ d  ?3 M
（4） 初始化AXIS Switch IP核。

​
0 ]) I2 l# I& h9 d; r- c. g: U 圖24
% ^( |8 i: N5 }' w5 q2 ?" h; A

初始化Sensor Demosaic IP核，以將彩色CameraLink相機(jī)的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。
! z$ Y2 v; u. ]- P9 t

" Y+ a2 {: h/ k) a6 P​

+ l4 Y, T) J7 z4 x) ^! I' N+ f圖25

（5） 初始化Video Mixer IP核。
- E: b6 C+ [$ W$ z" e
​
圖26


備注：關(guān)于Vivado工程說(shuō)明及模塊/IP配置詳細(xì)內(nèi)容，可下載產(chǎn)品資料進(jìn)行查看。


6 更多推薦
* G; ^! j- N. j( g- |) d4 L新品推薦：TL6678ZH-EVM評(píng)估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
, v& J5 g# `3 d; o. O' D& f6 f$ u
, |% a% j; F1 e$ r​
# Y. ~4 L) _( A8 R

lyl

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

ispy520

很好的資料，多多學(xué)習(xí)
1 B% Q6 \7 A- y/ Y

hebinbin

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

IZH

6666666666666666666666666666666666666

peng85246

lyl 發(fā)表于 2021-1-30 08:32
很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

0 |' l2 o4 l3 B- U4 X大家互相學(xué)習(xí)和交流O(∩_∩)O哈！
8 q* z/ X9 j" A9 q3 A3 f