Forrás: amap.com - Az Alibaba térképes részlege, a Amap megnyitotta a ABot-Recon modell forráskódját 3D rekonstrukcióhoz.
- A modellnek mindössze 12 egymás utáni képkockára van szüksége ahhoz, hogy valós időben a jelenetet több mint 10 000 képkockából rakja össze.
- A bemenethez mindössze szokásos RGB videó kell egyetlen kamerából, nincs szükség lídarra vagy kalibrált optikára.
- A memóriafogyasztás körülbelül 6,71 GB-ra csökkent, vagyis a versenytársakhoz képest egyharmadára. Elég hozzá GTX 1080 Ti.
- A kód, a kiértékelő szkriptek és a betanított súlyok a GitHuben vannak.
Egy videóból készített 3D jelenet rekonstrukciója az a fajta feladat, ami egyszerűnek hangzik, amíg bele nem kezdesz. A rendszernek pontosan nyomon kell követnie, hol volt a kamera minden egyes pillanatban, és minél hosszabb a videó, annál több hiba halmozódik fel. Eddig ezt durva erővel oldották meg: hatalmas, a múltbeli adatok tárolására szolgáló memóriával. Az Alibaba Amap térképes divíziója most megmutatta, hogy ezt teljesen másképp is lehet, és a saját modelljét rögtön open source-ként ki is adta.
Tizenkét képkocka a hatalmas memória helyett
A modell neve ABot-Recon, és az Amap augusztus 28-án tette közzé. A trükkje az, hogy nem tart meg hosszú videó-előzményt. Fix méretű ablakot használ: tizenkét egymás utáni képkockát, amelyekből lokálisan előrejelzi a pontfelhőt és a szomszédos felvételek egymáshoz viszonyított helyzetét. A globális útvonalat ezután folyamatosan, képkockáról képkockára építi fel.
Az ilyen megközelítés problémája egyértelmű: a pozícióbecslés apró hibái idővel összeadódnak, és az útvonal elkezd „elúszni”. Az Amap erre külön korrekciós és korlátozó mechanizmusokat állított be. Ennek eredményeként a rendszer tizenkét képkockából képes konzisztens jelenetet fenntartani több mint 10 000 képkocka tartományban is, mindezt valós időben. A hírt először a TechNode portál hozta: TechNode.
Pontosabb és gyorsabb, mint a korábbi csúcs
Az Amap három nyilvános adatkészleten mutat be eredményeket. Az Oxford Spires esetén átlagosan 40,6 százalékkal csökkent a pályahiba, a relatív forgási hibát pedig 0,12 fokra szorította le — ez nagyjából 40 százalékkal kevesebb, mint az eddigi legjobb eredmény. A KITTI-02 szekvencián a rekonstrukció 24,45 képkocka/másodperc sebességgel fut, vagyis 1,24-szer gyorsabban, mint a meglévő megoldások.
Érdekesebb, mint maguk a százalékok, az, hogy mire van szüksége a modellnek. Bemenetnek monokuláris RGB videó is elég, nincs szükség mélységérzékelőre, és nincs előre kalibrált kamera-paraméterezés. A csúcs memóriaigény körülbelül 6,71 GB, ami nagyjából egyharmada az összehasonlítható módszereknek, így az egész lánc egy fogyasztói GTX 1080 Ti-n lemegy.
A tesztforgatókönyvek között szerepel az is, hogy négylábú robot halad át az Amap központjának belső terén, ami pontosan az a környezet, ahol a GPS nem működik, és ahol előre elkészített térkép sincs.
Mire jó ez
Az Amap a magánterületek feltérképezésére, inkarnált AI tréningre, autonóm irányításra és 3D tartalom készítésére pozicionálja a modellt. A közös nevező az, amikor nincs térkép, és menet közben kell legyártani: földalatti garázsok, gyártócsarnokok, építkezések, épületek belső terei.
Az, hogy a cég open source-ként adta ki, nem véletlen. A kínai szereplők az elmúlt egy évben olyan tempóban engednek ki modelleket, amit a nyugati versenytársak nem tartanak, és ezzel fejlesztőket és hivatkozásokat is szereznek. A GitHuben elérhető az inferencia kód, az értékelő szkriptek és a betanított súlyok, a projektoldal pedig itt fut: amap-cvlab.github.io.
Kövesd a China Planet weboldalát, iratkozz fel havi hírlevelünkre, és mindenképp nézd meg a Facebook oldalunkat, a(z) China Planet csoportot, valamint a Telegram csatornánkat, ahol nap mint nap a legjobb kínai akciókat és kuponokat tesszük közzé.
Ne maradj le a legjobb kuponokról 📩
Iratkozz fel, és az új kuponokat e-mailben elküldjük, mielőtt lejárnak. Csak havonta egyszer küldjük — nincs spam.
