FPGA的CameraLink視頻開發(fā)案例｜基于Kintex-7、Zynq-7045/7100開發(fā)板

peng85246

前言
) m) _, `' [- p6 B! N' C& {/ \( Z2 x  BCameraLink協(xié)議

CameraLink協(xié)議是一種專門針對(duì)機(jī)器視覺(jué)應(yīng)用領(lǐng)域的串行通信協(xié)議，它使用低壓差分信號(hào)(LVDS)進(jìn)行數(shù)據(jù)的傳輸和通信。CameraLink標(biāo)準(zhǔn)是在ChannelLink標(biāo)準(zhǔn)的基礎(chǔ)上多加了6對(duì)差分信號(hào)線，其中4對(duì)用于并行傳輸相機(jī)控制信號(hào)，另外2對(duì)用于相機(jī)和圖像采集卡之間的串行通信(本質(zhì)就是UART的兩根線)。
2 K* O# l' {# y: s+ a* p2 S
CameraLink標(biāo)準(zhǔn)的視頻傳輸模式分為三種：Base模式、Medium模式、Full模式。其中每個(gè)端口為8位數(shù)據(jù)，CameraLink標(biāo)準(zhǔn)的規(guī)定標(biāo)準(zhǔn)時(shí)鐘頻率最大為85MHz。

# o) k3 u* A* j$ Z5 W) z- p0 _
& z. G+ _4 U# q' g​

3 T! v0 ?5 M; P# C: m圖1

# \8 i7 ?3 s1 g6 y3 hCameraLink + FPGA架構(gòu)視頻采集系統(tǒng)

采用CameraLink + FPGA架構(gòu)的視頻采集與傳輸系統(tǒng)，既可實(shí)現(xiàn)符合CameraLink協(xié)議的數(shù)字相機(jī)，采集卡之間的通信與控制，同時(shí)實(shí)現(xiàn)對(duì)圖像數(shù)據(jù)采集、轉(zhuǎn)換、緩存、實(shí)時(shí)處理、輸出等。該架構(gòu)系統(tǒng)穩(wěn)定性可靠，精度高，不易受干擾，具有較強(qiáng)的通用性、實(shí)用性和擴(kuò)展性，靈活性也大大增強(qiáng)。CameraLink技術(shù)現(xiàn)已廣泛應(yīng)用于航空航天、軍事、醫(yī)療、交通等領(lǐng)域。
* K. J; G) |! W) Y
  i- D; F& c# F& x! u3 G- N* S​

圖2

創(chuàng)龍科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已實(shí)現(xiàn)CameraLink視頻采集與處理方案。本文將為您分享基于Kintex-7 FPGA評(píng)估板的CameraLink視頻開發(fā)案例。

1 硬件平臺(tái)
' o  n& T, j& e' V  h本文基于創(chuàng)龍科技TLK7-EVM評(píng)估板進(jìn)行演示。

  N( O( |: @7 B- JTLK7-EVM是一款基于Xilinx Kintex-7系列FPGA設(shè)計(jì)的高端評(píng)估板，由核心板和評(píng)估底板組成。核心板經(jīng)過(guò)專業(yè)的PCB layout和高低溫測(cè)試驗(yàn)證，穩(wěn)定可靠，可滿足各種工業(yè)應(yīng)用環(huán)境。
評(píng)估板接口資源豐富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用戶快速進(jìn)行產(chǎn)品方案評(píng)估與技術(shù)預(yù)研。
0 n; [- u7 a( O7 h( t' P' H
9 }" f& m1 T0 X  ~# i​
3 a+ N$ k/ n7 f
圖3 TLK7-EVM評(píng)估板
& r2 V% ~/ l6 H( T- q
* W" B. Q- z3 D開發(fā)案例主要包括：
Ø CameraLink、SDI、HDMI、PAL視頻輸入/輸出案例
/ D1 m$ ~% ]7 M  ^3 V; _. EØ 高速AD(AD9613)采集+高速DA(AD9706)輸出案例
9 U' c" l4 Q8 T% q, OØ AD9361軟件無(wú)線電案例
Ø UDP(10G)光口通信案例
5 N' B! o  P' i' ^2 P, ~. r# zØ UDP(1G)光口通信案例
, G; v7 H% b7 U$ XØ Aurora光口通信案例
* y$ p& o8 E! z' B/ b8 mØ PCIe通信案例

案例源碼、產(chǎn)品資料（用戶手冊(cè)、核心板硬件資料、產(chǎn)品規(guī)格書）可點(diǎn)site.tronlong.com/pfdownload獲取。
找廠家可申請(qǐng)TLK7-EVM評(píng)估板進(jìn)行快速評(píng)估，免費(fèi)哦！
; s1 c1 V8 |2 }% \9 q- j, G
2 案例功能案例功能：評(píng)估板通過(guò)FMC視頻模塊TLCameraLinkF的CameraLink接口進(jìn)行分辨率為1280x1024的視頻采集，并通過(guò)TLCameraLinkF模塊的HDMI接口將采集到的視頻進(jìn)行輸出。


# l5 F, ?$ z- Y) e/ i: V​

圖6 程序功能框圖

. b) h8 }  E! b6 I
3 案例演示
本案例支持三款CameraLink相機(jī)，具體說(shuō)明如下。
$ C5 ~0 x& F( Q% y6 A/ z9 R" r9 `
$ d; A8 |6 u" N6 z: b

廠家	相機(jī)型號(hào) - W6 Q: P+ z4 {" [' U# x	支持模式 ; b- Q( b+ x  ?3 \; r) |7 q	相機(jī)性能 # n2 S: Y/ G" E* ?- ~( i
Microview （北京微視） " L. o& Z+ N* a4 Q0 f! u" n	RS-A5241-CM107-S00 / @" ?8 B4 k( y6 j5 j& M5 z（黑白CameraLink相機(jī)） ; x8 U- ?; g" i4 w. I	Full	全幅面2560*2048下，幀率可達(dá)107fps $ ?6 \% D; D+ B: p" I# n% V
		Base / O- m* a0 [& W' G, k/ Q
	RS-A5241-CC107-S00   F7 u5 \) y# H/ {! p. ~+ w9 W3 }* K（彩色CameraLink相機(jī)） ; d" d" p4 C/ H" p	Full 7 i* Z1 g0 k9 @5 o8 ?- I9 W	全幅面2560*2048下，幀率可達(dá)107fps ) _/ C8 a; @9 a* L# l" y6 y$ R
		Base 7 }1 Q9 V4 m  f! i3 l) g
	MVC1381SAM-CL60-S00 （黑白CameraLink相機(jī)）	Base " X* Y' z! a# F: Q, T2 T" q	全幅面1280*1024下，幀率可達(dá)60fps 5 B  @# z. X. a- p7 ^

Full模式硬件連接方法
( D" _+ v8 @4 t
" K. I7 f4 X2 \( z, c如采用Full模式，創(chuàng)龍科技的TLCameraLinkF模塊連接至評(píng)估板FMC2接口，評(píng)估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。

將CameraLink相機(jī)的CL0通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將CameraLink相機(jī)的CL1通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink2接口，將HDMI顯示屏通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。
​
圖7

$ A* d5 {3 }  nBase模式硬件連接方法
; {: G+ `  Q1 u
如采用Base模式，將創(chuàng)龍科技的TLCameraLinkF模塊連接至評(píng)估板FMC2接口，評(píng)估板J1跳線帽選擇1.8V檔位，以配置FMC IO的BANK電壓為1.8V。
/ S2 c! l) C, y4 |. D4 V6 m+ h) s
將CameraLink相機(jī)的CL0通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的CameraLink1接口，將HDMI顯示屏通過(guò)數(shù)據(jù)線連接至TLCameraLinkF模塊的HDMI OUT接口。

. g# j2 B! C1 d' J​
* _$ O( B3 A5 t0 e& F8 s圖8

/ N/ O/ M4 F) x% d2 W# v
下面對(duì)三款不同型號(hào)的CameraLink相機(jī)在Full/Base模式下的操作進(jìn)行演示。

（1） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，F(xiàn)ull模式

請(qǐng)運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"1"選擇相機(jī)型號(hào)為RS-A5241-CM107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
4 y2 n; H, S+ y6 ^. S# M# q圖9
2 f: t0 j- {, [' M% R2 s/ K3 G​
8 N) g) q# ]+ ]# y2 r0 J圖10

（2） 彩色CameraLink相機(jī)RS-A5241-CC107-S00，F(xiàn)ull模式

請(qǐng)運(yùn)行Full模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"2"選擇相機(jī)型號(hào)為RS-A5241-CC107-S00，再輸入"1"選擇為Full模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
+ m5 h* L# K; B$ q. R; R圖11
% Z: I( O: z; r7 E' m​
/ h! J& n, }" n& n# | 圖12
- p  j: m1 _+ t5 V3 R備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無(wú)白平衡功能，故圖像顏色偏綠。
- {: }3 v+ s" V# J0 L- `
+ Z  U- @0 P0 I5 b! Y* }（3） 黑白CameraLink相機(jī)RS-A5241-CM107-S00，Base模式

  ]0 b& t) I& Z- Q* s6 d請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"1"選擇相機(jī)型號(hào)為RS-A5241-CM107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
' y+ |+ T% v) Q- |. s' S5 U% e" u
3 }6 o& _, J9 B6 n2 u: z, [& Q​
9 L& R  f; O$ D# G+ J圖13
, m0 B# y; }  |! P/ s: y​
圖14
3 f5 T3 j6 j- B  f% A7 g! S# a# m
  \5 o5 C; {0 E* e$ K（4） CameraLink相機(jī)RS-A5241-CC107-S00，Base模式

請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)先輸入"2"選擇相機(jī)型號(hào)為RS-A5241-CC107-S00，再輸入"2"選擇為Base模式。配置完成后，即可看到HDMI顯示屏輸出彩色圖像。
​
圖15
​
圖16

備注：由于彩色CameraLink相機(jī)RS-A5241-CC107-S00無(wú)白平衡功能，故圖像顏色偏綠。


（5） 黑白CameraLink相機(jī)MVC1381SAM-CL60-S00，Base模式
$ @6 D! q5 [- X9 Z
/ |; v# y3 f5 {0 n: Y5 B+ v& Q3 z請(qǐng)運(yùn)行Base模式程序，即可看到串口調(diào)試終端打印如下信息。請(qǐng)輸入"3"選擇相機(jī)型號(hào)為MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI顯示屏輸出黑白圖像。
​
. R( P& D, D9 Q7 U1 J# e圖17
+ t, Y* |# b7 n/ c1 d​
圖18


4 關(guān)鍵代碼(MicroBlaze)
9 {9 m- O/ ~( [MicroBlaze裸機(jī)源碼為"sw\baremetal_demo\project\cameralink_display\src\"，關(guān)鍵代碼說(shuō)明如下。

9 C4 ^( o8 `: ]8 Y: G% l（1） main函數(shù)。

​
6 s  M0 G2 J% `$ Q& ^  M
圖19
" e4 ?! q/ A+ b) x$ i4 f# e; J' X$ J​

圖20


& V8 c1 [" l! B2 U. o* {​
. K3 x" P+ K- @# l
圖21

0 r4 {) t9 S; X（2） 初始化VDMA，將采集到的視頻數(shù)據(jù)緩存至DDR，再進(jìn)行HDMI視頻輸出。
/ S6 Z4 G$ H% K4 E; I4 Q" C
4 h3 K/ Y9 w9 e" e. _
! Y" I0 ]3 n& k1 [/ O8 e3 W​
, v: @7 c( \5 I# x7 p
圖22

5 K( m$ n7 j- I0 J  ~3 z（3） 初始化Sil9022A。


8 a! u! X0 I4 p5 M# @​

圖23
7 Z! ]% V6 A4 u; e6 g# t
（4） 初始化AXIS Switch IP核。
* M. v+ p' ^# X' b1 B
2 @! G0 I: Y# M* _/ l​
! b- D8 U: {2 F 圖24


: d# p) C* u+ Z2 t& X9 h初始化Sensor Demosaic IP核，以將彩色CameraLink相機(jī)的Bayer格式視頻數(shù)據(jù)轉(zhuǎn)化為RGB格式。

' ^/ E$ H7 [4 m/ c+ {
​

圖25
. q3 f" t) q$ l0 W* a3 k5 M' z* H
（5） 初始化Video Mixer IP核。

​
; d' E( X" S, V0 S 圖26
; `+ s: R& D6 D) n7 e
; D/ l- a9 J  `; v" y
( c( I) U2 t0 S* \5 P# K備注：關(guān)于Vivado工程說(shuō)明及模塊/IP配置詳細(xì)內(nèi)容，可下載產(chǎn)品資料進(jìn)行查看。


6 T: x6 q! u! f) e! O, o! ]. @6 更多推薦
: d; K& q+ N1 x( i新品推薦：TL6678ZH-EVM評(píng)估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）

* d  k" T2 W# G; H  r3 a​

) w. \5 P3 j, a

lyl

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

peng85246

lyl 發(fā)表于 2021-1-30 08:32
很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

大家互相學(xué)習(xí)和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666
3 O5 n" ?  S. a8 Q

hebinbin

很好的資料，好好的學(xué)習(xí)學(xué)習(xí)

ispy520

很好的資料，多多學(xué)習(xí)
  o1 m  k) n4 `4 {