QUALCOMM System on Chip platformok
Intelligens kamera-, AI- és robotika-szoftvertámogatás
A QUALCOMM IoT ütemtervében nagy teljesítményű és magasan integrált rendszerchip eszközök széles skáláját kínálja az IoT-felhasználási esetek és alkalmazások széles köréhez. Ezek a SoC-ek számos alrendszert foglalnak egy eszközbe az 5G és LTE mobilmodemtől, a többmagos CPU-tól (akár 8 mag), a GPU-tól és az AI-képes DSP-től a kettős nagyfelbontású kamera ISP-ig, az érzékelő, az audio és a biztonsági alrendszerekig. Annak érdekében, hogy az ügyfelek gyorsan megvalósíthassák az innovatív számítógépeslátás-, AI- és robotikai termékeket, robusztus szoftverfejlesztő készletek és könyvtárak átfogó csomagjára van szükség. Ez a cikk a QUALCOMM SoC-ütemtervéhez rendelkezésre álló szoftverforrásokra összpontosít.
A QUALCOMM SoC – a tervezett jövőbeni fejlesztésekhez készített – ütemtervében szereplő eszközök mind ugyanazt a hardveralapú architektúrát követik, amint az az 1. ábrán látható, ez lehetővé teszi a fejlesztők számára, hogy a szoftveralkalmazásokat és a SoC-ek között „újrafelhasználható” alkalmazási eseteket kisebb erőfeszítéssel és kockázattal bővítsék. A fejlesztők rendelkezésére álló szoftveres erőforrások további vizsgálata érdekében koncentráljunk a QUALCOMM egyik prémium szintjén lévő eszközére, a QRB5165 SoC-re, ismertebb nevén az RB5 platformra a robotikai alkalmazásokhoz. Az RB5 platform a Yocto beágyazott Linuxon alapuló külön Linux architektúrán kívül egy teljes Ubuntu Linux- alapú szoftverkiadással is rendelkezik. Nézzük meg közelebbről az Ubuntu Linux szoftverkiadást és az architektúrát.
1. ábra QUALCOMM SoC áttekintés, a QUALCOMM által kínált SoC-ek termékmátrixa
Az RB5 platform legújabb kiadása az Ubuntu 20.04-es verzióján alapul, a Linux kernel 5.4-es verzióját futtatva. Amint a 2. ábrán látható, az Ubuntu összetevőin és az operációs rendszeren kívül a QUALCOMM saját alrendszerszoftvereit (kék), eszközeit és egyéb erőforrásait a GUI-alkalmazások (Wayland / Weston) vezérlésére, az audio támogatás (ALSA) integrálására, a videók rögzítésére (V4L2), valamint az eszközbiztonság (AppArmor) kezelésére szolgáló middleware-rel együtt kombinálta. Emellett az RB5 eszközön történő fejlesztés támogatásához a QUALCOMM egy eszközkészletet is biztosít: fordítóprogramokat (LLVM és GCC), verziókezelőt (Git) és hibakeresést (GDB), valamint a Phyton és Perl programozási nyelvek támogatását. Az apt-get eszköz lehetővé teszi a fejlesztő számára, hogy az RB5 szoftverarchitektúrát más Debian könyvtárakkal, eszközökkel és erőforrásokkal bővítse. Ezt az Ubuntu csomagot a QUALCOMM két évig karbantartja, ez magában foglalja a kritikus hibajavításokat és a biztonsági javítások frissítéseit a QUALCOMM által a kód szabadalmaztatott és nyílt forráskódú részeiben szerződött komponensekhez.
2. ábra Az Ubuntu Linux szoftverarchitektúra áttekintése a QUALCOMM RB5 platformhoz
Azoknak a fejlesztőknek, akik szeretnék kihasználni a SoC integrált kettős kameráját, a QUALCOMM ISP egy dedikált számítógépeslátás-SDK-t (software development kit) biztosít az RB5 és más SoC-ek számára. Ez az SDK a leggyakrabban használt számítógépeslátás-funkciók könyvtárait tartalmazza, beleértve a tárgy- és arcfelismerést, az optikai áramlást, a mélységbecslést és a geometriakorrekciót. Ezek a funkciók a SoC egy logikai blokkjában, az EVA (Engine for Visual Analytics) nevű egységben futnak, amely a könyvtárak API-it a SoC, a CPU és a DSP magok között teszi elérhetővé. A számítógépeslátás-könyvtárakat ARM processzorokra optimalizálták; a QUALCOMM azonban úgy hangolta őket, hogy a QUALCOMM RB5 és más SoC-ekbe integrált dedikált HW-gyorsító blokkokon futva tovább csökkentse az energiafogyasztást és a késleltetést. Ezek a számítógépeslátás-API-k a SoC Hexagon Tensor Processzorában is használhatók, amely egy 6 szálas skalár DSP, dedikált vektorfeldolgozási képességgel a pixelfeldolgozó alkalmazásokhoz. A számítógépeslátás-SDK letölthető a QUALCOMM fejlesztői portáljáról.
3. ábra A QUALCOMM SoC-eken, például az RB5-ön és a QCS8250-en elérhető számítógépeslátás-SDK funkció
A kamerák és a számítógépes látás használata mellett számos alkalmazás igényli manapság a mesterséges intelligencia és a gépi tanulás alkalmazását az emberek, tárgyak és események felismeréséhez. A QUALCOMM RB5 és más SoC-ek nagy teljesítményű és dedikált DSP-vel rendelkeznek, amelyet az AI-modellek futtatására optimalizáltak, valamint egy dedikált SDK-t az AI-alkalmazások fejlesztéséhez és optimalizálásához. A QUALCOMM Neural Processing SDK egy szoftveresen felgyorsított, csak következtetéseket tartalmazó futásidejű motor a mély neurális hálózatok futtatásához. Ez az SDK absztrahálja a modellfuttatás mögöttes részleteit, és rugalmasságot biztosít a felhasználók számára a gépi tanulási alkalmazásvezetékek egyszerű megtervezéséhez és fejlesztéséhez. Magába foglalja azokat az eszközöket, amelyek lehetővé teszik a fejlesztők számára, hogy az olyan keretrendszerekből, mint a TensorFlow, a Caffe, a Caffe2 és az ONNX, AI-modelleket vegyenek, és egy mélytanulási konténer néven ismert futtatható fájlt hozzanak létre, amely képes kihasználni a SoC-ben lévő dedikált AI-hardver előnyeit. A mélytanulási konténerfájl kvantálható úgy, hogy kizárólag a DSP-n fusson, kihasználva a 8 bites fixpontot, vagy konfigurálható úgy, hogy a DSP-n, az ARM-alapú többmagos CPU-n vagy a GPU-n keresztül fusson. A DLC-fájl (Deep Learning Container) létrehozása után a modell tömörítési és kvantálási technikákkal történő optimalizálására szolgáló eszközök használhatók. A QUALCOMM Neural Processing SDK letölthető a QUALCOMM fejlesztői portáljáról is.
4. ábra A QUALCOMM SoC-ekben, például az RB5 és a QCS8250 platformokban lévő dedikált AI-feldolgozó hardveren történő AI-modellek futtatásának munkafolyamata
A QUALCOMM SoC ütemterve számos olyan SoC-et tartalmaz, amelyet robotikai alkalmazásokra optimalizáltak, az 5. ábrán látható egy magas szintű összefoglaló ezekről az eszközökről és az általuk megcélzott robotalkalmazásokról.
5. ábra QUALCOMM SoC-ek robotikai alkalmazásokhoz
A robotikai alkalmazások lehetővé tétele érdekében a QUALCOMM SoC-ek, mint például az RB5 platform, a robotikai szoftverek és SDK-k csomagját kínálják, amely magában foglalja a ROS (Robotics Operating System) és a ROS 2 támogatását, amelyek nyílt forráskódú (BSD licenc alatt álló) eszközök és könyvtárak a robotikai alkalmazások építéséhez. Ezen túlmenően a QUALCOMM felajánlja az AWS Robomaker-t, valamint egy dedikált Visual SLAM SDK-t, amely kihasználja az eszközön lévő számítógépes látás hardveres képességeit és több kamerát, hogy a robot képes legyen felismerni és elkerülni az objektumokat a térképezés, az útvonaltervezés és más alapvető robotikai funkciók elvégzéséhez. A QUALCOMM RB5 robotikai fejlesztőplatformján az AWS Robomaker és a ROS telepítésének részletes útmutatója, valamint a robotikai fejlesztők számára a dokumentáció és a szoftverforrások átfogó készlete megtalálható a QUALCOMM fejlesztői portálján.
6. ábra QUALCOMM RB5 és más robotikai SoC-ek szoftveres támogatása
A QUALCOMM SoC-ek nem csupán nagy teljesítményű és rugalmas hardverplatformok, hanem a projektek gyors elindításához a szoftvereszközök, fejlesztőkészletek és mintaprojektek gazdag csomagja is rendelkezésre áll. A QUALCOMM partnerei – mint például a THUNDERCOMM – a közös vállalataik, minden egyes SoC platform esetében kiegészítik a QUALCOMM által biztosított szoftvert saját IP (AI-modellek, kamera- és érzékelőintegráció) hozzáadásával, ami segíthet az ügyfélnek csökkenteni a projektkockázatot és felgyorsítani a piacra kerülést.
|
A CODICO cég ismertetőjegye a kiváló minőségű elektronikus alkatrészek tervezése és forgalmazása. A széles körű termékportfólió aktív és passzív elemeket, valamint a kapcsolástechnika területén alkalmazható termékeket tartalmaz. A vállalat a Bécs déli külvárosában, Perchtoldsdorfban található osztrák központtól független, magántulajdonban lévő cégként működik, és számos értékesítési irodát tart fenn Németországban, Dániában, Olaszországban, Franciaországban, Csehországban, Szlovéniában, Svédországban, az Egyesült Királyságban, valamint további közép- és kelet-európai partnercégeket is a csapatában tart. A magas szintű műszaki szakértelemmel támogatott CODICO a Design-In ágazatra összpontosít. Ami a CODICO-t egyértelműen különlegessé teszi, az az általa nyújtott technikai támogatás a fejlesztési fázistól a végtermékig, valamint a kizárólag csúcsminőségű termékek marketingje és értékesítése.
|
További kérdések esetén:
CODICO GmbH
Lefánti Gábor
E-mail:
Tel.: +43 186 305 272
