Redaktoriaus pastaba: tai naujausias mūsų įrašas „NVIDIA DRIVE Labs“ serija, kuriame į inžineriją orientuotas žvilgsnis į atskirus autonominių transporto priemonių iššūkius ir į tai, kaip „NVIDIA DRIVE“ juos sprendžia. Susipažinkite su visais mūsų automobilių postais, čia.
Net ir su pažangiomis vairuotojo pagalbos sistemomis, automatizuojančiomis daugiau vairavimo funkcijų, vairuotojai turi išlaikyti dėmesį vaire ir pasitikėti PG sistema.
Tradicinės vairuotojo stebėjimo sistemos paprastai nesupranta subtilių ženklų, tokių kaip vairuotojo pažinimo būsena, elgesys ar kita veikla, rodanti, ar jie pasirengę perimti vairavimo valdymą.
„NVIDIA DRIVE IX“ yra atvira, keičiamo dydžio kabinos programinės įrangos platforma, teikianti dirbtinio intelekto funkcijas, leidžiančias naudotis visomis salono funkcijomis, įskaitant intelektualų vizualizavimą su papildyta realybe ir virtualia realybe, pokalbio dirbtinį intelektą ir vidaus jutimus.
Vairuotojo suvokimas yra pagrindinis platformos aspektas, leidžiantis AV sistemai užtikrinti, kad vairuotojas būtų budrus ir atkreiptų dėmesį į kelią. Tai taip pat leidžia AI sistemai atlikti intuityvesnes ir protingesnes kabinos funkcijas.
Šiame „DRIVE Labs“ epizode NVIDIA ekspertai su įvairiomis aptikimo galimybėmis demonstruoja, kaip DRIVE IX suvokia vairuotojo dėmesį, aktyvumą, emocijas, elgesį, laikyseną, kalbą, gestus ir nuotaiką.
„Multi-DNN“ metodas
Veido išraiškos yra sudėtingi signalai, kuriuos reikia interpretuoti. Paprastas antakio raukšlėjimas ar žvilgsnio pasislinkimas gali turėti įvairių reikšmių.
„DRIVE IX“ naudoja kelis DNN, kad atpažintų veidus ir iššifruotų transporto priemonės keleivių išraiškas. Pirmasis DNN nustato patį veidą, o antrasis – atskaitos taškus arba atskaitos ženklus – tokius kaip akių vieta, nosis ir kt.
Be šių bazinių tinklų, įvairūs DNN veikia, kad nustatytų, ar vairuotojas atkreipia dėmesį, ar reikalauja kitų AI sistemų veiksmų.
The „GazeNet“ DNN stebi žvilgsnius, nustatydamas vairuotojo akių vektorių ir priskirdamas jį prie kelio, kad patikrintų, ar jie nemato kliūčių. „SleepNet“ stebi mieguistumą, klasifikuodamas, ar akys atviros, ar uždarytos, bėga per valstybinę mašiną, kad nustatytų išsekimo lygį. Pagaliau, „ActivityNet“ stebi vairuotojo veiklą, pvz., telefono naudojimą, rankas ant vairo / už jo ir vairuotojo dėmesį kelio įvykiams. „DRIVE IX“ taip pat gali nustatyti, ar vairuotojas tinkamai sėdi savo vietoje, kad sutelktų dėmesį į įvykius kelyje.
Be dėmesio vairuotojui, atskiras DNN gali nustatyti vairuotojo emocijas – pagrindinį jų gebėjimo saugiai valdyti transporto priemonę rodiklį. Atsižvelgdama į duomenis iš bazinių veido aptikimo ir atskaitos taškų tinklų, „DRIVE IX“ gali priskirti vairuotojo būseną laimingai, nustebusiai, neutraliai, pasibjaurėtinai ar piktai.
Jis taip pat gali pasakyti, ar vairuotojas žiopčioja, ar rėkia, nurodydamas jo matomumo ar budrumo lygį ir proto būseną.
Tinkinamas sprendimas
Transporto priemonių gamintojai gali panaudoti vairuotojo stebėjimo galimybes „DRIVE IX“, kad sukurtų pažangias intelektinės nuosavybės priemonėmis pagrįstas vairuotojo supratimo galimybes, skirtas personalizuoti automobilio kabiną.
Automobilis gali būti užprogramuotas įspėti vairuotoją, jei jų dėmesys nukrypsta nuo kelio, arba salonas gali sureguliuoti nustatymus, kad nuramintų keleivius, jei įtampa didelė.
Šios galimybės yra gerokai platesnės nei vairuotojo stebėjimas. Pirmiau minėti DNN, kartu su gestų DNN ir kalbos galimybėmis, įgalina daugiamodalius pokalbio AI pasiūlymus, tokius kaip automatinis kalbos atpažinimas, natūralios kalbos apdorojimas ir kalbos sintezė.
Šie tinklai gali būti naudojami salono personalizavimui ir virtualių asistentų programoms. Be to, dirbtiniu intelektu pagrįstoms vaizdo konferencijų platformoms galima naudoti pagrindinį veido atpažinimo ir pagrindinio veido modelį.
„DRIVE IX“ vairuotojo stebėjimo galimybės padeda sukurti pasitikėjimą tarp keleivių ir dirbtinio intelekto sistemos, kai tobulėja automatizuota vairavimo technologija, sukurianti saugesnę ir malonesnę pažangios transporto priemonės patirtį.
