OpenNCC DK丨可編程的AI相機解決方案,讓開發嵌入式AI相機不再困難
2020-08-03 17:57:35閱讀量:3988
從硬件層面來看,主要構成是一個攝像頭加一個可以進行人工智能算法運算的芯片,如下圖所示,右邊攝像頭做數據采集,左邊算法芯片做數據運算。
我們知道,現在有很多云端的AI開放平臺,也有很多開放的算法框架,如果我們把AI算法推理直接在這些平臺上做,那設備端所要做的工作就是把數據采集好往云端推送,然后等結果回傳就好了。但是如果我們要把算法放在設備本地,由于芯片的運算能力和云服務器的運算能力不能比,因此一般的算法框架沒辦法直接用,我們需要對算法做裁剪,然后做模型優化,最后再部署到設備芯片里面。這個工作量比較大,難度也比較高。
那有沒有好的方案來簡化這個“算法移植”過程呢?這正是OpenNCC所竭力提供的方案,即通過提供模塊化的硬件和容器化的算法方案,讓嵌入式的AI相機開發過程變得像挑選菜譜一樣簡單高效。
我們以一個實際的應用案例來看一下用OpenNCC開發一款嵌入式的人臉檢測AI相機的過程。
1.選擇算法模型
在OpenNCC的開發包中提供了一個"OpenNCC View"工具軟件,它里面內置了10種不同的模型檢測算法,只要挑選即可,我們選擇其中一個face-detection-retail-0004,如下圖所示。
把OpenNCC相機通過usb數據線插到電腦上,點擊view 軟件第一個按鈕”Get device info”,軟件就會找到對應的相機,如下圖所示:
上一步中我們已經選擇好了要加載的face-detection-retail-0004模型,這里就點擊下面的“Start running model”按鈕,軟件就會把對應的算法模型加載到相機里面。檢測最低分數為默認的50%,滿分100%。其他參數我們就按默認值就行了。
4.效果測試
a.正常人臉,出現在鏡頭中
b.人臉被遮擋
我戴著口罩測試下來,人臉檢測也很穩定,能很準確的捕捉到人臉信息,基本和不戴口罩檢測結果保持一致。
這張圖片中右邊同事其實也不算側臉了,只露出了小部分面部信息,而且還戴了口罩,這對算法的考驗還是挺大的,可以看出,算法還是能夠識別出來的,只不過分數有所下降,到了70%,而對于左邊完全背對著鏡頭的同事,就無法檢測到人臉信息了,無法識別,畢竟是人臉檢測嘛,咱不能對算法過于苛刻,也合理。
在實驗室暗光下,照度只有10lux,下圖中的人臉肉眼都已經很難看清,但算法還是識別出來了人臉,暗光環境下表現有點厲害。
這張圖片是在距離鏡頭6m左右的位置,人臉圖像已經有點模糊,算法檢測分數在60%左右,再遠的位置就很難檢測到人臉了。
我們從網上找到一張圖片,40張人臉,在顯示器上展示圖片,用OpenNCC相機對著顯示器看一下識別結果:
5.組裝整機
從上步測試效果來看,人臉檢測準確率還很高。驗證通過后,就可以找個標準的38x38的工業相機殼把相機組裝起來,這樣一款嵌入式人臉抓拍相機就開發完成了!
這里我們用到的OpenNCC DK技術參數如下:
硬件技術規格 |
|
尺寸 |
38mmx38mmx45mm |
重量 |
31克 |
VPU |
Intel Movidius Myriad X MV2085 |
內存 |
4Gb |
數據接口 |
USB Type-C 2.0/3.0 |
電源 |
5V / 2A |
相機模組 |
200萬像素可見光相機模組(其他像素可見光模組、紅外模組、3D模組可選配) |
分辨率 |
1920 x 1080 |
幀率 |
30Hz |
水平視場角 |
70° |
軟件功能 |
|
操作系統 |
Linux |
SDK |
1. 獲取視頻流 |
2. AI模型下載和更換 |
|
3. 獲取模型運算結果 |
|
4. 相機拍照、重置等 |
|
OpenView |
開源軟件,能夠配置相機模型 |
圖像信號處理 |
√ |
人工智能 |
|
算力 |
最高4TFlops |
支持模型 |
支持所有OpenVINO的模型,支持TensorFlow和Caffe等框架 |
1.集成嵌入式人工智能技術
2.算法容器化,可通過軟件在自帶的10款模型庫里面選,也可自己訓練算法模型后通過SDK導入相機
3.支持攝像頭模組更換
適應行業:
物聯網,智慧醫療,智慧農植,智慧城市等。

L7805CV-DG/線性穩壓器(LDO) | 0.5637 | |
AMS1117-3.3/線性穩壓器(LDO) | 0.1237 | |
BAT54C,215/肖特基二極管 | 0.0334 | |
LM358DR2G/運算放大器 | 0.35 | |
CJ431/電壓基準芯片 | 0.1147 | |
LM393DR2G/比較器 | 0.318 | |
ADUM4160BRWZ-RL/隔離式USB芯片 | 31.6 | |
SS8050/三極管(BJT) | 0.035 | |
8S005/錫膏/錫漿 | 17.67 | |
B0505S-1WR3/隔離電源模塊 | 2.34 |