綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況

原先immich一直部署在群暉上,618首發(fā)入了綠聯(lián)DXP4800Plus后,一直在動腦筋怎么發(fā)揮它的硬件長處,就想到immich的視覺機器學(xué)習(xí)。

immich是一款自托管的相冊服務(wù)器,其中用于機器學(xué)習(xí)的容器是immich-machine-learning,默認安裝的是不帶硬件加速的。實際上支持3種硬件加速,分別是ARM Mali、Nvidia CUDA、intel OpenVINO。拉取的時候在tag后面加上對應(yīng)的名稱,比如docker pull ghcr.io/immich-app/immich-machine-learning:v1.106.4-openvino。

immich建議用固定版本號,部署則建議去官網(wǎng)下載yml和.env,因為更新實在頻繁,一會換數(shù)據(jù)庫版本,一會換數(shù)據(jù)庫位置,一會又合并容器,網(wǎng)上找攻略照搬他人的yaml文件容易踩坑。

4個實驗組,綠聯(lián)和群暉都分別安裝硬件加速版和普通版的機器學(xué)習(xí)容器。

省流直接看結(jié)果:綠聯(lián)的奔騰8505支持openvino,GPU可以參與CLIP及人臉,但不知道是否驅(qū)動的關(guān)系,GPU作用不大,主力還是CPU。群暉的J4125看起來并不支持openvino,雖然使用openvino后群暉GPU的參與程度很高,CPU占用顯著下降,但CLIP和人臉大模型加載后全部初始化失敗。另外,綠聯(lián)和群暉按官方配置QuickSync或VAAPI后都無法正常使用硬件加速視頻轉(zhuǎn)碼,希望有成功的小伙伴可以指導(dǎo)下。

建議:綠聯(lián)8505芯片推薦用openvino硬件加速進行機器學(xué)習(xí),雖然GPU出力實在一般,但速度還是快了些的。群暉J4125芯片不建議用openvino硬件加速,雖然GPU出力比較高,但是大模型加載不了,后期相冊使用過程中怕有不確定情況發(fā)生。

綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況

(組一)綠聯(lián)-openvino硬件加速機器學(xué)習(xí)

綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況
綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況
綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況

(組二)綠聯(lián)-未啟用硬件加速機器學(xué)習(xí)

綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況
綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況
綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況

(組三)群暉-openvino硬件加速機器學(xué)習(xí)

綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況
綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況
綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況

(組四)群暉-未啟用硬件加速機器學(xué)習(xí)

綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況
綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況
綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況

(附加)機器學(xué)習(xí)模型加載

【1】群暉開啟openvino后加載模型初始化失敗

綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況

【2】其余情況均加載模型成功

綠聯(lián)&群暉,分別使用immich機器學(xué)習(xí)的效能情況

作者聲明本文無利益相關(guān),歡迎值友理性交流,和諧討論~

,

聲明:本站所有文章,如無特殊說明或標注,均為本站原創(chuàng)發(fā)布。任何個人或組織,在未征得本站同意時,禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺。如若本站內(nèi)容侵犯了原著者的合法權(quán)益,可聯(lián)系我們進行處理。