樹(shù)莓派默默發(fā)力AI，你怎么看？

嵌入式專欄

關(guān)注+星標(biāo)公眾號(hào)，不錯(cuò)過(guò)精彩內(nèi)容

付斌｜作者
來(lái)源 | 電子工程世界

全民AI時(shí)代，世界似乎陷入了一種狀態(tài)，如果產(chǎn)品不沾點(diǎn)AI，都不好意思拿出來(lái)宣傳一番�，F(xiàn)在我們正處在AI的第四次浪潮之中，相比前幾次浪潮，無(wú)論從智能化上來(lái)講，還是從商業(yè)化來(lái)講，AI都更加成熟了。樹(shù)莓派作為重要的嵌入式產(chǎn)品，也在默默發(fā)力，在最近不斷合作推出AI套件產(chǎn)品，為創(chuàng)客提供更強(qiáng)大的AI能力。


與索尼推出AI攝像頭


去年，索尼半導(dǎo)體解決方案公司（SSS, Sony Semiconductor Solutions）宣布對(duì)樹(shù)莓派進(jìn)行戰(zhàn)略投資，并為其提供AI技術(shù)支持。彼時(shí)，索尼就表示，將會(huì)把圖像傳感器融入到樹(shù)莓派之中。
最近兩天，產(chǎn)品終于正式亮相，索尼半導(dǎo)體（SSS）和Raspberry Pi宣布推出一款內(nèi)置AI處理器的新型 AI 相機(jī)。該相機(jī)與所有Raspberry Pi計(jì)算機(jī)兼容，并圍繞索尼的IMX500智能視覺(jué)傳感器構(gòu)建。
IMX500具有內(nèi)置的AI攝像頭功能，可卸載Raspberry Pi的AI功能，也就是說(shuō)有自己的計(jì)算資源，不會(huì)占用樹(shù)莓派的資源，也不用單門配一個(gè)GPU。IMX500可以捕獲圖像并進(jìn)行AI處理，然后再將數(shù)據(jù)發(fā)送到主機(jī)。該傳感器采用堆疊式配置，具有片上SRAM和數(shù)字信號(hào)處理（DSP）引擎。

AI攝像頭的主要參數(shù)包括：

4056 x 3040 分辨率（約12.3 MP）

7.857毫米對(duì)角線，寬高比為1/2.3

1080p視頻，最高240 fps

AI處理視頻幀率達(dá)到30 fps

片上AI處理、ISP和HDR視頻

Tensor input大小從64 x 48到640 x 480（int8或uint8）

8.4 MB固件、網(wǎng)絡(luò)權(quán)重文件和工作內(nèi)存

攝像頭尺寸25 mm × 24 mm × 11.9 mm

libcamera和Picamera2庫(kù)以及rpicam-apps應(yīng)用程序套件已經(jīng)提供對(duì)Tensor元數(shù)據(jù)的軟件支持。支持一直是Raspberry Pi的強(qiáng)項(xiàng)之一，這款相機(jī)也不例外。與其他Pi硬件一樣，AI相機(jī)附帶了大量的設(shè)置和應(yīng)用文檔。任何Raspberry Pi用戶只需一個(gè) Linux 命令行操作即可完成安裝。使用包含的示例可以立即開(kāi)始設(shè)置后操作。除此之外，Pi AI 相機(jī)與索尼的 AITRIOS AI 傳感開(kāi)發(fā)平臺(tái)兼容。



與Hailo推出AI套件


前陣子，樹(shù)莓派與Hailo基于合作開(kāi)發(fā)了AI套件Raspberry Pi AI Kit。它將本地、高性能、高能效的推理集成到各種應(yīng)用程序中，同時(shí)支持x86和Arm架構(gòu)，價(jià)格為70美元。
可能有的人會(huì)說(shuō)， Raspberry Pi 3本身就已經(jīng)可以應(yīng)用在AI中了，不過(guò)它主要基于云端的AI，而最新的AI套件與Raspberry Pi 5可以在邊緣獨(dú)立運(yùn)行較小的模型和優(yōu)化的AI大模型。
Raspberry Pi AI套件包括M.2 HAT+和13TOPS性能的Hailo-8L AI加速模塊。HAT指的是硬件附加在頂部，也就是把這個(gè)套件擰在另一塊板子上。
M.2 HAT+本質(zhì)上是一個(gè)PCIe到NVMe的轉(zhuǎn)換器，它允許用戶將M.2外設(shè)（如NVMe固態(tài)硬盤以及其他PCIe外設(shè)）連接到樹(shù)莓派5的PCIe接口上。這對(duì)于連接提供更高讀寫速度和更大容量的NVMe SSD尤為重要。

13TOPS在邊緣領(lǐng)域已經(jīng)非常強(qiáng)了，畢竟RISC-V Linux 筆記本電腦僅提供 2TOPS的邊緣AI算力。而Hailo這家以色列的一家初創(chuàng)邊緣AI公司，曾經(jīng)將Hailo-8與英偉達(dá)的Jetson Nano和 Xavier NX的性能進(jìn)行了比較，并且取得了不小的優(yōu)勢(shì)。
Hailo首席技術(shù)官Avi Baum表示，Hailo-8L每處理3 TOPS約消耗1瓦功率，最高約5瓦。對(duì)于典型的嵌入式工作負(fù)載（如實(shí)時(shí)處理60 FPS視頻），只需要1～2瓦。

Raspberry Pi AI Kit主要功能包括：

每秒13萬(wàn)億次運(yùn)算（TOPS）的推理性能

以8Gbps運(yùn)行的單通道PCIe3.0接口

與Raspberry Pi圖像軟件子系統(tǒng)完全集成

與第一方或第三方相機(jī)的兼容性

加速器硬件的高效調(diào)度：在單個(gè)攝像頭上運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)，或同時(shí)運(yùn)行兩個(gè)攝像頭的單個(gè)/多個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)AI套件，Hailo給出了六大應(yīng)用潛力：

物體檢測(cè)：這一突破性技術(shù)賦予了人工智能程序通過(guò)機(jī)器學(xué)習(xí)精準(zhǔn)識(shí)別圖像中各類物體并自動(dòng)分類的能力。物體檢測(cè)作為人工智能辨識(shí)不同主體的核心手段，它能夠解析物體的圖像內(nèi)容、精準(zhǔn)定位其在畫面中的坐標(biāo)，并能快速匹配與之相同標(biāo)簽的物體特征；

圖像分割與增強(qiáng)：人工智能通過(guò)圖像分割技術(shù)，將像素群劃分為更小的、更易于管理的區(qū)域。這一過(guò)程不僅有助于物體檢測(cè)，還能通過(guò)每次專注于一個(gè)區(qū)域來(lái)加速圖像處理。圖像分割對(duì)于圖像增強(qiáng)至關(guān)重要。

姿態(tài)預(yù)測(cè)：為了全面理解圖像的構(gòu)成，人工智能程序不僅需要能夠識(shí)別圖像中的內(nèi)容，還需要能夠識(shí)別物體的位置。這正是姿態(tài)預(yù)測(cè)發(fā)揮作用的地方。姿態(tài)預(yù)測(cè)對(duì)于機(jī)器學(xué)習(xí)程序收集圖像和視頻數(shù)據(jù)至關(guān)重要，同時(shí)，在生成新圖像和視頻時(shí)，生成式人工智能軟件也可能會(huì)用到這一技術(shù)。

面部檢測(cè)與識(shí)別：對(duì)于人工智能系統(tǒng)而言，更為艱巨的任務(wù)在于應(yīng)對(duì)人類面部表情的千變?nèi)f化，它須具備識(shí)別并準(zhǔn)確標(biāo)注這些不同情緒表達(dá)的能力。樹(shù)莓派人工智能套件所搭載的這項(xiàng)面部識(shí)別技術(shù)，可用于安全軟件、娛樂(lè)、社交媒體等多個(gè)領(lǐng)域，還能強(qiáng)化圖像生成技術(shù)。例如，在移除圖像中的某些物體后，該技術(shù)能夠智能填充背景，確保圖像的完整性和自然度。

深度估測(cè)：深度估測(cè)技術(shù)通過(guò)精準(zhǔn)度量圖像內(nèi)部像素間的距離，科學(xué)計(jì)算出物體與鏡頭間的實(shí)際距離。最新的人工智能技術(shù)則能獨(dú)辟蹊徑，自主構(gòu)建獨(dú)特的視覺(jué)視角，實(shí)現(xiàn)更為精準(zhǔn)與高效的深度估測(cè)。

語(yǔ)義分割：語(yǔ)義分割作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)關(guān)鍵任務(wù)，通過(guò)精細(xì)地為圖像中的像素組分配標(biāo)簽，實(shí)現(xiàn)了對(duì)復(fù)雜場(chǎng)景中不同物體的準(zhǔn)確辨識(shí)與理解。

工程師怎么看


目前來(lái)說(shuō)，可以說(shuō)樹(shù)莓派已經(jīng)提供了兩種AI選擇，不過(guò)兩者稍有區(qū)別：AI套件的理論性能高于AI攝像頭，可以支持更廣泛的模型，但只Raspberry Pi 5兼容；AI攝像頭更緊湊，總成本更低，與所有型號(hào)Raspberry Pi兼容。
工程師認(rèn)為，可以說(shuō)樹(shù)莓派開(kāi)始正兒八經(jīng)的做AI開(kāi)發(fā)了，加上樹(shù)莓派5的售價(jià)也沒(méi)那么離譜了，如果搭配AI套件能夠在千元以內(nèi)，千以內(nèi)13TOPS算力已經(jīng)非常足夠了；如果不是樹(shù)莓派5，并且正在進(jìn)行需要圖像分類的項(xiàng)目，那么AI攝像頭絕對(duì)值得考慮，特別是它的易用性。
不過(guò)，對(duì)于樹(shù)莓派來(lái)說(shuō)，RK3588依然是一座大山，這種情況下，在性價(jià)比上就要和RK3588的各種派掰掰手腕了。
參考文獻(xiàn)
[1]AAC：https://www.allaboutcircuits.com/news/raspberry-pi-teams-up-with-sony-to-launch-ai-camera/
[2]Raspberry Pi：https://www.raspberrypi.com/news/raspberry-pi-ai-kit-available-now-at-70/
[3]樹(shù)莓派開(kāi)發(fā)者：https://mp.weixin.qq.com/s/fhSQYBPL7gnnVH6idVmafw
[4]Hailo：https://mp.weixin.qq.com/s/UliD2gLwi_6mn0zctc5gDQ
聲明：本文素材來(lái)源網(wǎng)絡(luò)，版權(quán)歸原作者所有。如涉及作品版權(quán)問(wèn)題，請(qǐng)與我聯(lián)系刪除。
------------ END ------------



●專欄《嵌入式工具》
●專欄《嵌入式開(kāi)發(fā)》
●專欄《Keil教程》
●嵌入式專欄精選教程

關(guān)注公眾號(hào)回復(fù)“加群”按規(guī)則加入技術(shù)交流群，回復(fù)“1024”查看更多內(nèi)容。
點(diǎn)擊“閱讀原文”查看更多分享。