Dirbtinio intelekto naudojimas kuriant 3D hologramas realiuoju laiku per išmanųjį telefoną

MIT tyrėjai sukūrė būdą hologramas gaminti beveik akimirksniu. Jie sako, kad giluminio mokymosi metodas yra toks efektyvus, kad jį galima paleisti išmaniajame telefone. Paskola Vaizdas: MIT naujienos su „iStockphoto“ vaizdais

Naujas metodas, vadinamas tensorine holografija, gali būti naudojamas kuriant virtualios realybės, 3D spausdinimo, medicininių vaizdų ir kt. Hologramas. Jį galima valdyti išmaniajame telefone.

Nepaisant daugelį metų trukusio skandalo, virtualiosios realybės ausinės vis tiek turi numušti televizoriaus ar kompiuterio ekranus kaip prietaisus, naudojamus vaizdo įrašams žiūrėti. Viena iš priežasčių. VR gali sunerimti vartotojus. Pykinimas քի gali varginti akis, nes VR sukuria 3D peržiūros iliuziją, nors vartotojas iš tikrųjų žiūri į 2D ekraną fiksuotu atstumu. Geresnis 3D vaizdų sprendimas galėtų būti 60 metų senumo skaitmeninio pasaulio hologramų technologija.

Hologramos suteikia unikalų mus supančio 3D pasaulio vaizdą. Be to, jie yra gražūs. (Pirmyn – patikrinkite „Visa“ kortelės holografinį balandį.) Hologramos siūlo keisti požiūrį atsižvelgiant į žiūrovo padėtį, և jos leidžia akiai pakoreguoti židinio gylį pakaitomis sutelkiant dėmesį į priekinį planą.

Mokslininkai jau seniai siekia sukurti kompiuterines hologramas, tačiau procesui atlikti reikalingas superkompiuteris, kad būtų galima atlikti fizikos modeliavimą, o tai užima daug laiko ir gali duoti mažiau nei fotorealistinių rezultatų. Dabar, SU: Mokslininkai sukūrė naują būdą gaminti hologramas beveik per sekundę. և Išsamaus mokymosi metodas yra toks efektyvus, kad gali veikti nešiojamuoju kompiuteriu akies mirksniu.

Eksperimentinis 2D և 3D holografinės projekcijos rodymas

Šiame paveiksle parodytas eksperimentinis 2D և 3D holografinės projekcijos rodymas. Kairėje esanti nuotrauka sutelkta į žaislinę pelę (geltonoje dėžutėje), kuri yra arti fotoaparato, o nuotrauka, esanti centre, sutelkta į amžinąjį kalendorių (mėlynoje dėžutėje). Paskola Pagarbiai, tyrėjai

„Žmonės anksčiau manė, kad neįmanoma realiu laiku atlikti 3D holografinių skaičiavimų naudojant esamą vartotojams skirtą įrangą“, – sakė tyrimo pagrindinis autorius, MIT Elektrotechnikos katedros (EEBS) magistrantas Liangas Shinas. “Dažnai buvo sakoma, kad komercinius holografinius ekranus bus galima įsigyti po 10 metų, tačiau šis pranešimas buvo žinomas dešimtmečius.”

Sheenas tiki, kad naujas požiūris, kurį komanda vadina „tenoro holografija“, pagaliau pasieks tą nesuprantamą 10 metų tikslą. Reklama gali padėti išplisti holografiją tokiose srityse kaip VR և 3D spausdinimas.

Shinas dirbo prie 2021 m. Kovo 10 d. Paskelbto tyrimo Gamta:, su savo patarėju և bendraautoriumi Wojciechu Matusiku. Kiti bendraautoriai yra Beichen Lee iš EECS գիտ Kompiuterijos mokslų dirbtinio intelekto laboratorijos MIT, taip pat buvę MIT tyrėjai Changil Kim (dabar „Facebook“) և Petr Kellnhofer (dabar Stanfordo universitetas):

Ieškokite geresnio 3D

Tipiška objektyvo nuotrauka užkoduoja kiekvienos šviesos bangos ryškumą. Nuotrauka gali ištikimai atkurti scenos spalvas, tačiau galiausiai ji suteikia sklandų vaizdą.

Priešingai, hologramoje užkoduota kiekvienos šviesos bangos „ryškumo“ fazė. Šis derinys tiksliau vaizduoja scenos paralelumą ir gylį. Taigi, nors Monet vandens lelijų nuotrauka gali atspindėti spalvinį paveikslų skonį, holograma gali sustiprinti darbą, todėl kiekvienas teptuko potėpis tampa unikalia 3D tekstūra. Nepaisant jų tikroviškumo, hologramomis buvo sunku dalytis.

Pirmosios 1900-ųjų viduryje sukurtos ankstyvosios hologramos buvo įrašytos optiškai. Norėdami tai padaryti, turite padalyti lazerio spindulį, pusę spindulio, naudojamo objektui apšviesti, o kitą pusę – kaip nuorodą į šviesos bangų fazę. Ši nuoroda sukuria unikalaus hologramos gylio pojūtį. Gauti vaizdai buvo statiški, todėl jie negalėjo užfiksuoti judesio. Jie buvo tik spausdinti, todėl buvo sunku juos dauginti ir platinti.

Kompiuteriu sukurta holografija aplenkia šiuos iššūkius, imituodama optinį išdėstymą. Tačiau procesas gali būti šūkis. „Kadangi kiekvienas scenos taškas turi skirtingą gylį, negalima visiems daryti to paties, – sako Shinas. – Tai žymiai padidina sudėtingumą. Nurodant klasterio superkompiuterį vykdyti simuliacijas remiantis šia fizika, gali prireikti sekundžių ar minučių kiekvienam holografiniam vaizdui. Be to, esami algoritmai neuždaro modelio uždarymo fotorealistiniu tikslumu. Taigi ši komanda parodė kitokį požiūrį. Leisti kompiuteriui mokyti fizikos.

Jie naudojo nuodugnius mokymus, kad pagreitintų kompiuterio holografiją, sukurdami realaus laiko hologramą. Komanda sukūrė konvoliucinį neuroninį tinklą – apdorojimo techniką, kuri naudoja daugybę apmokytų jutiklių, kurie apytiksliai imituoja tai, kaip žmonės apdoroja vaizdinę informaciją. Treniruojant neuroninį tinklą, paprastai reikalinga didelė, aukštos kokybės duomenų bazė, kurios anksčiau nebuvo 3D hologramoms.

Komanda sukūrė individualią 4000 kompiuterinių vaizdų porų duomenų bazę. Kiekviena pora atitiko vaizdą, įskaitant kiekvieno pikselio spalvą ir gylį, su atitinkama holograma. Norėdami sukurti hologramas naujoje duomenų bazėje, tyrėjai panaudojo scenas nuo sudėtingų և kintamų formų և spalvų, nuo tolygiai pasiskirsčiusio taškų fono iki priekinio plano, taip pat naują fizika pagrįstų skaičiavimų rinkinį okliuzijai reguliuoti. Dėl šio požiūrio buvo gauti fotorealistinio mokymo duomenys. Toliau pradėjo veikti algoritmas.

Mokydamasis iš kiekvienos vaizdų poros, tenzoriaus tinklelis pakoregavo savo skaičiavimo parametrus, vėliau padidindamas savo gebėjimą kurti hologramas. Visiškai optimizuotas tinklas tvarkė didesnius greičio užsakymus nei fizikos skaičiavimai. Toks efektyvumas nustebino jų komandą.

„Mes stebimės, kaip sekasi“, – sako Matusikas. Dešimtys holografijos milisekundėmis gali generuoti išsamios informacijos hologramas, pateikiamas tipiškų kompiuterio vaizdų, apskaičiuotą pagal daugiafokusį reguliavimą arba „LiDAR“ jutiklį (abu standartiniai kai kuriuose naujesniuose išmaniuosiuose telefonuose). Ši pažanga atveria kelią 3D holografijai realiu laiku. Be to, norint kompaktiško tenzoriaus tinklo reikia mažiau nei 1 MB atminties. „Tai nereikšminga, atsižvelgiant į dešimtis iki šimtų gigabaitų naujausiame mobiliajame telefone“, – sakė jis.

Tyrimas „rodo, kad tikri 3D holografiniai ekranai yra praktiški, jiems keliami tik vidutiniai skaičiavimo reikalavimai“, – teigė tyrime nedalyvavęs „Microsoft“ vyriausiasis optinis architektas Elwellas Collinas. Jis priduria, kad „šis dokumentas rodo reikšmingą vaizdo kokybės pagerėjimą, palyginti su ankstesniais darbais“, o tai „padidins tikroviškumą ir komfortą žiūrovui“. Collinas taip pat užsimena apie galimybę, kad tokie holografiniai ekranai gali būti pritaikyti pagal žiūrovo akių receptą. „Holografiniai rodikliai gali ištaisyti akių aberacijas. “Tai leidžia rodomam vaizdui būti ryškesniam, nei vartotojas gali matyti naudodamas kontaktus ar akinius, kurie taiso tik žemos kokybės aberacijas, tokias kaip fokusavimas և astigmatizmas.”

„Ateinantis„ Rable “skrydis

Realaus laiko 3D holografija patobulins daugybę sistemų, pradedant VR ir baigiant 3D spausdinimu. Komanda teigia, kad naujoji sistema gali padėti panardinti VR žiūrovus į tikroviškesnį kraštovaizdį, tuo pačiu pašalinant akių įtampą ir kitus ilgalaikio VR naudojimo šalutinius poveikius. Šią technologiją galima lengvai įdiegti į ekranus, kurie keičia šviesos bangų fazę. Šiuo metu prieinamiausi vartotojo lygio ekranai moduliuoja tik ryškumą, nors, jei bus plačiai pripažinta, fazės moduliuojančių ekranų kaina sumažės.

Tyrėjai teigia, kad trimatė holografija gali paspartinti 3D spausdinimo plėtrą. Ši technologija gali būti greitesnė ir tikslesnė nei tradicinis 3D spausdinimas sluoksniu po sluoksnio, nes 3D spausdinimas leidžia vienu metu projektuoti visą 3D modelį. Kitos programos apima mikroskopiją, medicininį vaizdą ir unikalių optinių savybių turinčių paviršių kūrimą.

„Tai reikšmingas šuolis, galintis visiškai pakeisti žmonių požiūrį į holografiją“, – sako Matusikas. “Mes manome, kad dėl šios problemos gimė neuroniniai tinklai”.

Nuoroda. Liang Shi, Beichen Lee, Changil Kim, Peter Kelnhofer և Wojciech Matusik, „Realaus laiko fotorealistinė 3D holografija į giliuosius neuroninius tinklus“, 2021 m. Kovo 10 d. Gamta:,
DOI: 10.1038 / s41586-020-03152-0:

Svetainės projekto svetainė. Tensoriaus holografija

Darbą iš dalies palaikė „Sony“.

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Pasiutligė neužkrėstų smegenų, tačiau vis tiek kenčia nuo stiprių nervų pažeidimų.

Koronavirusas II su sunkiais kvėpavimo takų simptomais, Virusas, sukeliantis COVID 19Vargu ar jis bus tiesiogiai perduodamas į smegenis, tačiau vis tiek gali sukelti sisteminę...

Mokslas yra paprastas. Kas yra kvantinis skaičiavimas?

Nuo JAV energetikos departamentas 2021 m. Balandžio 21 d Lawrence'o Berkeley nacionalinė laboratorija DOE naudoja pažangią aušinimo sistemą - uolekčių, kad kvantinių kompiuterių širdis būtų pakankamai...

Kaip paukštis kvėpuoja geriau? Tyrėjų išvados

Apytikslis „apvalios viščiuko“ su paukščio plaučiais skaičius parodė, kad įkvėpus oro judėjimas pirmyn ir atgal. Kaip iškvėpimai (mėlynos rodyklės) ir iškvėpimai (raudoni) sukelia...

Kalnų gorilos gali naudoti krūtinę, kad perduotų informaciją apie save

Vyriškos gorilos krūtis muša. Autoriai: Jordi Galbany / Diano Fossey Gorilla fondas Skrynios, nukentėjusios nuo kalnų gorilų, kurios greitai muša krūtinę rankomis, kad skambėtų...

Paprastas mokslas: kas yra biokuras?

Parengta JAV energetikos departamentas 2021 m. Balandžio 20 d Mokslininkai fermentavo mieles, kad iš augalų cukrus virstų biodyzelinu. Kreditas: Nuotrauka mandagumo Stephanopoulos Lab Saulės, vėjo ir...

Newsletter

Subscribe to stay updated.