Témakör:

Innovatív mikroszerver-fejlesztés

Megjelent: 2022. március 22.

A PCB Design Kft. egy vezető, független, professzionális mérnökiroda, amely termékfejlesztési szolgáltatásokat nyújt a koncepciótól a gyártásig, beleértve a rendszertervezést, a kapcsolásirajz-készítést, a PCB layout-ot, nagy sebességű szimulációt és a kis sorozatú, csúcskategóriás prototípusgyártást.

Az Európai Uniós és hazai forrásból támogatott BRAINE projekt keretében mesterséges intelligenciát alkalmazó algoritmusok gyorsítására szolgáló, moduláris peremhálózati (Edge) szerver fejlesztése történik.

A PCB Design Kft. a BRAINE projektben a hardverfejlesztésért és az eszköz megvalósításáért felelős. A projektben részt vesz többek között a Budapesti Műszaki és Gazdaságtudományi Egyetem, az NVIDIA/ Mellanox, a Dell, az NEC, a VMware, az Infineon, valamint Leibnitz, Einhoven, Prága és Cork műszaki egyetemei.

A PCB Design Kft.-t két villamosmérnök alapította azzal a céllal, hogy létrehozzanak egy olyan mérnökirodát, amely az ötlettől egészen egy termék piacra dobásáig nyújt komplex szolgáltatást. Lazányi János a BME Villamosmérnöki Karán több mint tíz évig oktatott, míg Baka Gergely szakmai tapasztalatát a Pro Patria Electronics Kft.-nél és a Bonn Hungary Elektronikai Kft.-nél szerezte. A jelenleg 42 főt foglalkoztató cég kiemelkedő tudással rendelkezik a legmodernebb processzorokat és gigabites interfészeket tartalmazó nagy sebességű komplex digitális áramkörök tervezésének területén.

A BRAINE projekt célja egy moduláris célhardver, az úgynevezett Edge Micro Data Center (EMDC) megalkotása, amely a hagyományos számítási erőforrásokon túl hardveres MI-gyorsítási (GPU, FPGA) lehetőséget, nagy sebességű Ethernet kapcsolódást, valamint a kártyák között PCIe Gen4 kapcsolatot biztosít.
A BRAINE négy alkalmazási területen keresztül mutatja be a mesterséges intelligenciát lehetővé tevő peremhálózati számítástechnikát:

1. Egészségügy,
2. hiperkapcsolt intelligens város,
3. robotika a gyárban,
4. ellátási lánc – ipar 4.0.

A BRAINE projekttel lehetővé válik, hogy Európa az intelligens peremhálózati számítástechnika élvonalába kerüljön, és számos ágazatban (gyártás, intelligens egészségügy, felügyelet, műholdas navigáció stb.) hozzájáruljon a vállalatok versenyképességének növeléséhez.
A BRAINE – Edge Micro Data Center (EMDC) különböző konfigurációival széles skálán tud megoldásokat szolgáltatni,a lehető legnagyobb teljesítmény és hatékonyság biztosításával.
Az EMDC rendszer renderelt képén egy tipikus kialakítás látható, amelyen a gyár területén belül kerül elhelyezésre a tápegység (lent), valamint egy 24 kártyás EMDC rendszer(fent), mindkettő passzív hűtéssel. A fal másik oldalán pedig a kültéri kondenzáló egység.

Az EMDC rendszer renderelt képe

A PCB Design, mint a projektben a hardverfejlesztés felelőse, egy nagy integráltságú szerver teljes hardverét készítette el – ami több mint 10 nagy komplexitású áramköri kártya tervezését foglalta magába. Az EMDC platform további különlegessége a két fázisú folyadékhűtés, amely segítségével a rendszer hűtésére fordított villamos energia jelentősen csökkenthető.
A szerver maga nem tartalmaz mozgó alkatrészt (pl. ventilátort). Ezen tulajdonság kifejezetten előnyös, mivel a rendszer nem csak légkondicionált szerverközpontokba történő telepítésre készül. A nehezen megközelíthető helyekre telepített egység szervizigénye így jelentősen csökkenthető.

A PCB Design által fejlesztett moduláris EMDC rendszer

Az EMDC egy moduláris, heterogén, szabadon konfigurálható szerver, ami 8 csereszabatos feldolgozóegységet tartalmaz. A 8 kártya bármelyike lehet CPU (x64), GPU, FPGA, ARM vagy NVMe háttértár. Minden fő funkció egy specifikus hátlapon összekapcsolt, felülről kivehető kártyákkal valósul meg. A kártyák hűtését és mechanikai rögzítését az ún. monoblokk biztosítja. A monoblokk néhány milliméter vastagságú falai belülről mikrocsatornákat tartalmaznak, amelyekben hűtőfolyadék áramlik. A kártyák maximálisan 150 W hőteljesítménye itt adódik át az áramló hűtőközegnek. Egy 3U magas 19”-os rackbe több monoblokk is összeépíthető, így 8-16-24-32 feldolgozóegységet tartalmazó rendszer alakítható ki. A szerverközpontban történő telepítés esetén, a hűtőközeg egy léghűtéses kondenzáló egységhez csatlakoztatható, azonban kisebb konfigurációk esetén a teljesen passzív működés is megvalósítható.

Egy monoblokk

PCB3

Az EMDC rendszer szerverközponti kialakítása

A fő kártyák azonos rendszerinterfésszel rendelkeznek, így könnyen kialakítható tisztán CPU-kat tartalmazó vagy akár heterogén számítóegység is. Amennyiben sok képfeldolgozási munkára van szükség a CPU-egységek helyére GPU helyezhető. NVMe kártyák használatával könnyen JBOF (Just a Bunch of Flash) vagy NAS (Network Attached Storage) funkcionalitás is kialakítható.
A komplett szerver működéséhez 12 fajta áramkör fejlesztése vált szükségessé – ezek fejlesztése párhuzamosan indult meg a PCB Design Kft.-nél.

A főbb csereszabatos adatfeldolgozó kártyák
(Compute Node-ok):

CPU-egység: Com Express AMD (Epyc) vagy Intel (Xeon-D)
GPU-egység: NVIDIA Xavier AGX
FPGA-egység: Xilinx Versal AI-t tartalmaz
ARM egység: 2-4 x LX2162A processzort (16 x Cortex-A72@ 2GHz) tartalmaz
NVMe-egység: 4x M.2 SSD

Egy EMDC processzorkártya tipikus kialakítása

További rendszerelemek:

32 × 100 GBit/s Ethernet Switch (összesített sávszélesség: 3,2 TBit/s)
128 × Gen4 PCIe Switch
48–12 V konverziót végző tápegység (3000 W)
BMC (Board Management Controller) rendszerfelügyelő kártya
Hátlapkártya (8-16-24-32 kártya) kiszolgálására, nagy sebességű kapcsolatok kialakítására

Az EMDC különlegessége a kettős nagy sebességű adatkapcsolati réteg. A kártyák adattal történő ellátása, valamint rendszerbe történő integrációja szabványos, 4 × 10 vagy 4 × 25 Gbit/s Ethernet interfészen keresztül történik. Az EMDC szerver a külvilággal 4–8 × 100 Gbit-es optikai interfészen kapcsolódik.
Az Ethernet kapcsolaton túl, a kártyák között nagy sávszélességű, kis késleltetésű PCIe Gen4 busz is kiépítésre került, amely képes fabric módban is működni, azaz a kártyák egymás között is kommunikálnak, vagy egy perifériát több host között is meg lehet osztani.

8-kártyás EMDC rendszer

Az áramköri kártyák kialakítása

Az adatfeldolgozó kártyák kialakítása mind mechanikailag, mind elektromos szempontból egységes, a hátlap felé azonos lábkiosztással rendelkeznek. Ezen interfész magában foglalja a 4 × 25 G Ethernet, valamint 16 lane Gen4 PCIe kapcsolatot, a 12 és 48 V-os tápfeszültségsínt, a dedikált Ethernet és PCIe vonalat rendszerfelügyeleti célokra, valamint USB 2.0 host és device interfészt is. Az USB- host interfészen keresztül ún. iKVM (Keyboard Video Mouse) távoli menedzsment valósítható meg. Az USB device interfész a minden kártyán egységesen elhelyezett STM32-rendszerfelügyeleti funkciókat megvalósító mikrokontrollerhez kapcsolódik. Az STM32 processzorok a hátlapon elhelyezett USB Hub-okon keresztül tartják a kapcsolatot a BMC (Board Management Microcontroller) egységgel. A BMC egy dedikált Linux-alapú egykártyás számítógép, amelynek processzora dedikált rendszerfelügyeleti funkciókkal rendelkezik, így előszeretettel használják más szerverek esetén is.
A feldolgozó áramkörök, Altium tervezőszoftver segítségével 125 × 115 mm méretben készültek. A legkomplexebb áramkörök, a PCIe és Ethernet Switch 16 / 22 rétegű áramkörön kerültek megvalósításra. Ezen kártyák esetén – tekintettel a nagy mennyiségű, max. 25 Gbit/s-os differenciális jelvezetékre – Examax hátlapi élcsatlakozók kerültek kiválasztásra. A reflexiók és jelveszteségek csökkentése végett, a NYÁK mikrovia és backdrill technológiával, speciális kis veszteségű Megtron alapanyagra készültek.

PCB6

A PCIe Switch renderelt képe

PCB7

A PCIe Switch kártya felső rétegének rajzolata

Tápellátás

A teljes EMDC rendszer tápellátásánál magas szintű követelményt kellett figyelembe venni. Minden kártya megengedett maximális (üzemszerű) hőteljesítménye, azaz áramfelvétele 150 watt. A 24 slotos rendszer teljes áramfelvétele 4,5…5 kW környékén alakul.
A rendszer 48 V-ról működik, mivel ekkora teljesítménynél a közvetlen 12 V-os táplálás túl nagy veszteséggel járna. További előnye, hogy a rendszer jól integrálható napelemes és / vagy HVDC (High Voltage DC) telepítések esetében is.
A tápegységkártya feladata a 48 V-os feszültség csökkentése 12 V-osra. A 8 × 10 cm-es NYÁK-on 750 W-os tápegységekből 4 db található. A 2000 W-os energiaátalakítás hatékonysága kb. 95%-os.

PCB8

A tápegységkártya képe (valódi és renderelt)

Összefoglalásként elmondható, hogy a BRAINE projekt kezdetekor a világ leghatékonyabb gépe az NVIDIA DGX-2 volt, amely kifejezetten MI-algoritmusok gyorsítására készült. Az EMDC szerver – az architektúra definiálásakor – mind fogyasztásban (15%-kal), mind egységnyi térfogatra jutó számítási kapacitásban (35%-kal) meghaladja ezen platformot.
A PCB Design szlogenje „Az ötlettől a megvalósulásig” – már nem csak önálló áramkörök tervezésében nyilvánul meg. A cég fő fókusza a legmagasabb hozzáadott értékű iparágak termékfejlesztései, amelyek magukba foglalják a komplex digitális áramkörök tervezését, a hőtani és elektromos szimulációt, a gépészeti tervezést, kis szériás prototípusgyártást és beágyazott szoftverfejlesztést is.
A cég létszáma 35%-kal, árbevétele pedig 70%-kal növekedett az elmúlt évben. Különösen nagy büszkeség, hogy a bevétel 85%-a külföldről származik.

A PCB Design Kft. stratégiai fókuszterületei:

Repülés és űrkutatás,
nagy teljesítményű és kvantuminformatika,
orvosi elektronika,
ipari elektronika és képfeldolgozás.

A fent bemutatott BRAINE projekt mellett 2021-ben a PCB Design mérnökei többek között részt vettek kvantumszámítógép – a Holdon vizet kereső – szenzor és repülőgépek mérésadatgyűjtő rendszerének fejlesztésében is. (Reméljük egy következő cikkben ezekről is hallhatunk majd!)

Mikroszerverek

A számítástechnika folyamatos fejlődésével megnőtt az igény, hogy egy adott számítási/ tárolási teljesítményű szervert minél kisebb helyen, minél energiahatékonyabban valósítsanak meg. A hagyományos szerverek sem térfogatban, sem perifériák tekintetében nem gazdálkodnak optimálisan ez erőforrásokkal. A számítási sűrűség növelésének két dolog szab határt:

1. Az energiafelvétel – egy normál szerver esetén egységenként tipikusan max. 1 kW energiával lehet számolni. A nagyobb sűrűségi számítások kialakításánál ez az érték felszökhet egészen a 3–5 és 5+ kW tartományba. A szerverek tipikusan 12 V-os redundáns tápegységgel rendelkeznek, amely esetén a rézveszteség és/vagy a kábelezés költsége szignifikánssá válik. A szerverek estén megjelent (vagyis visszatért) a 48 V DC használata, akár szükség szerint az AC tápellátás mellőzésével, direkt DC betáplálással.
2. A hűtés – a fenti energia a szerverekben hővé alakul. Míg a tipikus szerverteljesítményt egy hagyományos ventilátoros rendszer biztonságosan tudja hűteni, 2-3 szorosára megnövekedett hőleadás esetén azonban ezen technológia nem alkalmazható. A piacon két megoldás irányába indultak el:

a, Immersion cooling – amikor a teljes elektronika hűtőfolyadékba merül,
b, Liquid cooling – amikor a nagy hőtermelő (typ. CPU) felületéről egy folyamatos folyadékárammal viszik el a hőt.