A repülési idő – rendszertervezés

1. rész: A rendszer áttekintése

Ez az első cikk a repülési idő (ToF) sorozatunkban, amely áttekintést nyújt a folyamatos hullámú (CW) CMOS ToF kamerarendszer-technológiáról és annak előnyeiről a hagyományos 3D képalkotó megoldásokkal szemben a gépi látás alkalmazásaihoz. A következő cikkek mélyebben foglalkoznak majd az ezen cikkben bemutatott rendszerszintű komponensekkel, beleértve a megvilágítási alrendszert, az optikát, az energiagazdálkodást és a mélységfeldolgozást.

Számos gépi látási alkalmazáshoz ma már nagy felbontású három dimenziós mélységi képekre van szükség a szabványos 2D-s képalkotás helyettesítésére vagy kiegészítésére. Ezek a megoldások a 3D kamerára támaszkodnak, hogy megbízható mélységinformációkat szolgáltassanak a biztonság garantálása érdekében, különösen akkor, ha a gépek emberek közelében működnek. A kameráknak megbízható mélységadatokat kell rendelkezésre bocsátaniuk kihívást jelentő környezetben, például nagy terekben, erősen tükröződő felületek esetén és más mozgó tárgyak jelenlétében is. Számos eddigi termék alacsony felbontású távolságmérő típusú megoldásokat használt a 2D-s képalkotás kiegészítésére szolgáló mélységinformáció biztosítására – ennek a megközelítésnek azonban számos korlátja van. A nagyobb felbontású 3D-s mélységinformációból profitáló alkalmazásokhoz a CW CMOS ToF kamerák a piacon elérhető legnagyobb teljesítményű megoldásokat kínálják. A nagy felbontású CW ToF-érzékelő technológia által lehetővé tett néhány rendszerjellemzőt az 1. táblázat részletesen ismerteti. Ezen rendszerjellemzők olyan fogyasztói felhasználási esetekben is alkalmazhatók, mint a video-bokeh (elmosódás), az architelesítés, különböző mérési alkalmazások, valamint a járművezető éberségének ellenőrzése és az utastérben kialakított automatikus konfiguráció.

1. táblázat A folyamatos hullámú repülési idő rendszerjellemzői

Folyamatos hullámú CMOS repülési idejű kamera áttekintése

A mélységi kamera olyan kamera, amelynek minden egyes képpontja a kamera és a jelenet közötti távolságot adja ki. A mélységmérés egyik technikája a fénynek a kamerán lévő fényforrástól a fényvisszaverő felületig és vissza a kamerához való eljutási idejének kiszámítása. Ezt az utazási időt általában repülési időnek (ToF) nevezik.
A ToF-kamerát alkotó elemek (lásd az 1. ábrát) többek között:

• egy fényforrás – például egy függőleges üregű felületkibocsátó lézer (VCSEL) vagy peremkibocsátó lézerdióda –, amely a közeli infravörös tartományban bocsát ki fényt. A leggyakrabban használt hullámhosszok a 850 nm és a 940 nm. A fényforrás általában diffúz forrás, amely egy bizonyos divergenciájú fénysugarat bocsát ki (más néven megvilágítási mező vagy FOI) a kamera előtti jelenet megvilágítására;
• egy lézermeghajtó, amely modulálja a fényforrás által kibocsátott fény intenzitását;
• egy képponttömbbel ellátott érzékelő, amely összegyűjti a jelenetből visszatérő fényt, és minden egyes képpontra vonatkozóan értékeket ad ki;
• egy lencse, amely a visszatérő fényt az érzékelőtömbre fókuszálja;
• a lencsével együtt elhelyezett sávszűrő, amely a fényforrás hullámhossza körüli szűk sávszélességen kívül eső fényt kiszűri;
• egy feldolgozó algoritmus, amely az érzékelőből származó nyers képkockákat mélységképekké vagy pontfelhőkké alakítja.

1. ábra A folyamatos hullámú repülési idejű érzékelőtechnológia áttekintése

A fény modulálására egy ToF-kamerában többféle megközelítés is alkalmazható. Egy egyszerű megközelítés a folyamatos hullámmoduláció – például 50%-os munkaszünettel rendelkező négyszöghullám-moduláció – használata. A gyakorlatban a lézer hullámformája ritkán tökéletes négyszöghullám, közelebb állhat a szinuszhullámhoz. A négyszögletes lézerhullámforma jobb jel-zaj arányt eredményez adott optikai teljesítmény mellett, de a nagyfrekvenciás felharmonikusok jelenléte miatt mélységi nemlinearitási hibákat is okoz.
A CW ToF kamera a kibocsátott jel és a visszatérő jel közötti t_d időkülönbséget a két jel alapértékei közötti Φ = 2πft_d fáziseltolódás becslésével méri. A mélység a fáziseltolódás (Φ) és a fénysebesség (c) segítségével becsülhető meg:

ahol f_mod a modulációs frekvencia

Az érzékelőben egy órajel-generáló áramkör vezérli a komplementer pixelórákat, amelyek a két töltéstároló elemben (Tap A és Tap B) a fotótöltések felhalmozódását, valamint a lézermodulációs jelet vezérlik a lézermeghajtó felé. A visszatérő modulált fény fázisa mérhető a pixelórák fázisához viszonyítva (lásd az 1. ábra jobb oldalát). A pixel Tap A és Tap B közötti töltéskülönbsége arányos a visszatérő modulált fény intenzitásával és a visszatérő modulált fény fázisával a pixel órájához képest.
A homodinamikus detektálás elveit alkalmazva a pixelóra és a lézermodulációs jel között többszörös relatív fázisú mérés történik. Ezeket a méréseket kombinálják a visszatérő modulált fényjelben lévő alapfrekvencia fázisának meghatározásához. E fázis ismeretében kiszámítható, hogy mennyi idő alatt jut el a fény a fényforrástól a megfigyelt objektumig és vissza az érzékelő pixelig.

A magas modulációs frekvenciák előnyei

A gyakorlatban vannak olyan nem-idealitások, mint a fotonlövés zaja, a kiolvasó áramkör zaja és a többutas interferencia, amelyek hibákat okozhatnak a fázismérésben. A magas modulációs frekvencia csökkenti ezeknek a hibáknak a mélységbecslésre gyakorolt hatását.
Ez könnyen megérthető egy egyszerű példán, ahol εΦ fázishiba van – vagyis az érzékelő által mért fázis Φ = Φ + ε_Φ. A mélységhiba tehát:

Ezért a mélységhiba fordítottan arányos a modulációs frekvenciával, f_mod. Ezt grafikusan a 2. ábra szemlélteti.

2. ábra A fázishiba hatása a távolságbecslésre

Ez az egyszerű képlet nagyrészt megmagyarázza, hogy a nagy modulációs frekvenciájú ToF-kamerák miért rendelkeznek kisebb mélységzajjal és kisebb mélységhibával, mint az alacsonyabb modulációs frekvenciájú ToF-kamerák.
A magas modulációs frekvencia használatának egyik hátránya, hogy a fázis gyorsabban elfordul, ami azt jelenti, hogy az egyértelműen mérhető tartomány rövidebb. Ezt a korlátozást általában úgy lehet megkerülni, hogy több modulációs frekvenciát használunk, amelyek különböző sebességgel változnak. A legalacsonyabb modulációs frekvencia nagy tartományt biztosít kétértelműség nélkül, de nagyobb mélységi hibák jelennek meg (zaj, többutas interferencia stb.), míg a magasabb modulációs frekvenciákat együttesen használják a mélységhibák csökkentésére. A 3. ábrán egy példa látható erre a három különböző modulációs frekvenciával működő sémára. A végső mélységbecslést a különböző modulációs frekvenciákra vonatkozó, felbontott fázisbecslések súlyozásával számítják ki, a magasabb modulációs frekvenciákhoz nagyobb súlyokat rendelve.
Ha az egyes frekvenciák súlyait optimálisan választjuk meg, a mélységi zaj fordítottan arányos a rendszerben választott modulációs frekvenciák négyzetes középértékével (rms). Állandó mélységi zajkorlát esetén a modulációs frekvenciák növelése lehetővé teszi az integrációs idő vagy a megvilágítási teljesítmény csökkentését.

A teljesítmény szempontjából kritikus egyéb rendszerelemek

Egy nagy teljesítményű ToF-kamera kifejlesztésekor számos rendszerjellemzőt kell figyelembe venni, amelyek közül néhány itt röviden ismertetésre kerül.

Képérzékelő

A képérzékelő a ToF-kamerák kulcsfontosságú eleme. A legtöbb mélységbecslési „nem-idealitás” (például torzítás, mélységzaj és többutas műtárgyak) hatása csökken, ha a rendszer átlagos modulációs frekvenciája nő. Ezért fontos, hogy az érzékelő nagy modulációs frekvencián (több száz MHz) nagy demodulációs kontraszttal rendelkezzen (a fotoelektronok szétválasztásának képessége az A és a B kivezetések között). Az érzékelőnek a közeli infravörös hullámhosszakon (például 850 nm és 940 nm) is magas kvantumhatékonysággal (QE) kell rendelkeznie, hogy a pixelben a fotoelektronok előállításához kevesebb optikai teljesítményre legyen szükség. Végül az alacsony kiolvasási zaj segíti a kamera dinamikai tartományát, mivel lehetővé teszi az alacsony visszatérő jelek (távoli vagy alacsony fényvisszaverő képességű tárgyak) érzékelését.

3. ábra Többfrekvenciás fázisbontás

Megvilágítás

A lézermeghajtó modulálja a fényforrást (például VCSEL) magas modulációs frekvencián. Annak érdekében, hogy adott optikai teljesítmény mellett a pixelben a lehető legnagyobb hasznos jelmennyiséget kapjuk, az optikai hullámformának gyors felfutási és lecsengési idővel és tiszta élekkel kell rendelkeznie. A megvilágítási alrendszerben a lézer, a lézermeghajtó és a NyÁK elrendezés kombinációja mind kritikus fontosságú ennek eléréséhez. Szükség van némi karakterizációra is, hogy megtaláljuk az optimális optikai teljesítmény- és munkaciklus-beállításokat a modulációs hullámforma Fourier-transzformációjában az alapfrekvencia amplitúdójának maximalizálásához. Végezetül az optikai teljesítményt biztonságos módon kell létrehozni, a lézermeghajtó és a rendszer szintjén beépített biztonsági mechanizmusokkal, amelyek garantálják, hogy az 1. osztályú szembiztonsági határértékeket mindig be lehessen tartani.

Optika

Az optika kulcsszerepet játszik a ToF-kamerákban. A ToF-kamerák rendelkeznek bizonyos egyedi jellemzőkkel, amelyek különleges optikai követelményeket támasztanak. Először is, a fényforrás megvilágítási területének meg kell egyeznie az objektív látómezejével az optimális hatékonyság érdekében. Az is fontos, hogy maga az objektív nagy rekesznyílással [alacsony f/# – optikai rendszer, például egy fényképezőgép objektívjének f-száma a rendszer fókusztávolságának és a belépő pupilla átmérőjének (tiszta rekesznyílás) aránya] rendelkezzen a jobb fénygyűjtési hatékonyság érdekében. A nagy rekesznyílás egyéb kompromisszumokat eredményezhet a vignettálás, a sekély mélységélesség és a lencsetervezés bonyolultsága körül. Az alacsony fő sugárzási szögű lencsekialakítás segíthet a sávszűrő sávszélességének csökkentésében is, ami javítja a környezeti fény visszaverését, és ezáltal javítja a kültéri teljesítményt. Az optikai alrendszert is optimalizálni kell a kívánt működési hullámhosszra (például tükröződésgátló bevonatok, sávszűrő kialakítása, lencsekialakítás) az átviteli hatékonyság maximalizálása és a szórt fény minimalizálása érdekében. Számos mechanikai követelmény is létezik annak garantálására, hogy az optikai igazítás a végfelhasználó számára a kívánt tűréshatárokon belül legyen.

4. ábra Optikai rendszer felépítése

Energiagazdálkodás

Az energiagazdálkodás szintén kritikusan fontos egy nagy teljesítményű 3D ToF kameramodul tervezésénél. A lézermoduláció és a pixelmoduláció rövid, nagy csúcsáramú kitöréseket generál, ami bizonyos korlátokat támaszt az energiagazdálkodási megoldással szemben. Az érzékelő integrált áramköri szintjén van néhány olyan funkció, amely segíthet a képalkotó csúcsteljesítmény-fogyasztás csökkentésében. Vannak olyan energiagazdálkodási technikák is, amelyek a rendszer szintjén alkalmazhatók, hogy enyhítsék az áramforrással (például akkumulátorral vagy USB-vel) szemben támasztott követelményeket. A ToF-képalkotók fő analóg tápellátásához jellemzően jó tranziens reakciójú és alacsony zajszintű szabályozóra van szükség.

Mélységfeldolgozó algoritmus

Végül a rendszerszintű tervezés másik nagy része a mélységfeldolgozó algoritmus. A ToF-képérzékelő nyers pixeladatokat ad ki, amelyekből ki kell vonni a fázisinformációt. Ez a művelet különböző lépéseket igényel, amelyek közé tartozik a zajszűrés és a fázisbontás. A fázisbontó blokk kimenete a fény által a lézertől a jelenetig és vissza a pixelig megtett távolság mérése, amelyet gyakran távolságnak vagy radiális távolságnak neveznek.
A radiális távolságot általában pontfelhő-információvá alakítják át, amely egy adott pixelre vonatkozó információt a valós koordinátáival (X,Y,Z) reprezentálja. Gyakran a végfelhasználók a teljes pontfelhő helyett csak a Z képtérképet (mélységtérképet) használják. A radiális távolság pontfelhővé alakításához ismerni kell a lencse belső tulajdonságait és a torzítási paramétereket. Ezeket a paramétereket a kameramodul geometriai kalibrálása során becsüljük meg. A mélységfeldolgozó algoritmus más információkat is ki tud adni, például aktív fényességképeket (a visszatérő lézerjel amplitúdója), passzív 2D IR-képeket és megbízhatósági szinteket, amelyek mind felhasználhatók a végfelhasználói alkalmazásokban. A mélységfeldolgozás elvégezhető magában a kameramodulban vagy a rendszerben valahol máshol található hostprocesszorban.
Az ezen cikkben tárgyalt különböző rendszerszintű komponensek áttekintése a 2. táblázatban látható. Ezeket a témákat a későbbi cikkek részletesebben tárgyalják majd.

2. táblázat A 3D-s repülési idejű kamerák rendszerszintű összetevői

Következtetés

A folyamatos hullámú repülési idejű kamerák nagy hatékonyságú megoldást jelentenek, amelyek nagy mélységpontosságot biztosítanak a kiváló minőségű 3D-s információkat igénylő alkalmazásokhoz. A legjobb teljesítmény elérése érdekében számos tényezőt kell figyelembe venni. A képérzékelő szintjén olyan tényezők határozzák meg a teljesítményt, mint a modulációs frekvencia, a demodulációs kontraszt, a kvantumhatékonyság és a kiolvasási zaj. További tényezők a rendszerszintű megfontolások, amelyek magukban foglalják a megvilágítási alrendszert, az optikai kialakítást, az energiagazdálkodást és a mélységfeldolgozó algoritmusokat. E rendszerszintű összetevők mindegyike kritikus fontosságú a legnagyobb pontosságú 3D ToF-kamerarendszer eléréséhez. Ezeket a rendszerszintű témákat a későbbi cikkek részletesebben tárgyalják majd.
Az ADI ToF termékkínálatáról további információkért látogasson el az analog.com/tof oldalra.

A szerzőkről

Paul O'Sullivan rendszermérnök 2004-ben csatlakozott az Analog Deviceshez Írországban, ahol különböző mérés-, és alkalmazástechnikai pozíciókban dolgozott mielőtt 2016-ban Kaliforniába költözött. 2019 óta 3D ToF kameramodulok fejlesztésével és kalibrálásával foglalkozik. A University College Cork-on szerzett diplomát, majd az írországi University of Limerick-en szerzett mérnöki diplomát.
Nicolas Le Dortz az Analog Devices repülési idő (Time of Flight, ToF) technológiai csoportjának rendszermérnöki vezetője. Ebben a szerepkörben az ADI ToF-technológiai kínálatának fejlesztését felügyeli. 2010-ben a franciaországi Ecole Polytechnique-en szerzett villamosmérnöki diplomát, 2012-ben a svédországi KTH-n mikroelektronikából, 2015-ben pedig a franciaországi Ecole Centrale-Supelec-en villamosmérnöki doktori fokozatot.

További műszaki és kereskedelmi információkat az Analog Devices hivatalos hazai forgalmazójától, az Arrow Electronics Hungary-től kaphatnak.

Szerzők: Paul O’Sullivan – Rendszermérnök,
Nicolas Le Dortz – Rendszermérnöki vezető

Arrow Electronics Hungary
1138 Budapest, Váci út 140.
Bihari Tamás, Senior Field Application Engineer
E-mail: Ez az e-mail-cím a szpemrobotok elleni védelem alatt áll. Megtekintéséhez engedélyeznie kell a JavaScript használatát.
Tel.: +36 30 748 0457
www.arrow.com