#前言
首先,非常感謝得捷電子和電源網(wǎng)共同舉辦的Digikey年度寵粉活動,使得我能夠有機(jī)會接觸到新興的開發(fā)版設(shè)備,希望活動以后辦的越來越好。
本次購買的是Hailo 開發(fā)的一款高性能邊緣 AI 處理器(NPU),它專為低功耗、高效率的深度學(xué)習(xí)推理任務(wù)設(shè)計(jì),可以提供高達(dá) 26 TOPS 的計(jì)算能力,適用于各種邊緣計(jì)算場景。為了和已有的樹莓派5開發(fā)版適配,我購買的是AI HAT版本,是專門為樹莓派設(shè)計(jì)的ai算力擴(kuò)展板??上У氖沁@個(gè)開發(fā)板只支持圖像模型的推理,而不支持最近大火的大語言模型。購買地點(diǎn)是在線上的得捷電子官方,里面的元器件開發(fā)板都很齊全,而且有質(zhì)量保證,發(fā)貨速度快,值得推薦。
AI HAT模塊非常適合樹莓派5,剛好利用了樹莓派5上的mini PCIE接口。組裝好的兩者展示如下
其擁有26tops的算力,推理速度和英偉達(dá)的低端系列jetson相比略勝一籌。
官方也對相關(guān)應(yīng)用有代碼支持。
經(jīng)過測試,yolov8模型使用720p分辨率進(jìn)行視頻推理可以穩(wěn)定保持實(shí)時(shí)30fps的幀率。而且hailo官方也提供了模型轉(zhuǎn)換工具,用于將pc機(jī)器上面訓(xùn)練好的模型權(quán)重放到hailort運(yùn)行時(shí)環(huán)境中運(yùn)行,類似于在rk瑞芯微的板卡上運(yùn)行模型需要將pt或者onnx格式的模型保存為rknn進(jìn)行npu推理加速。在以后我會嘗試,將埂新的模型移植到hailo8板卡上,如yolov10,yolov11等。
yolov8模型結(jié)構(gòu)
最后,我還得感謝電源網(wǎng)和得捷電子提供這次活動參加機(jī)會,我會利用這個(gè)ai模塊學(xué)習(xí)更多ai部署相關(guān)知識。