Korištenje fotogrametrije za stvaranje modela: 9 koraka

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:05

Ko sam ja?

Ja sam Samuel Conklin i student sam druge godine u E. L. Srednja škola Meyers. Posljednjih nekoliko mjeseci eksperimentirao sam s fotogrametrijom i nadam se da ću vam pomoći ako odlučite ponovno stvoriti ovaj proizvod. Zanima me kako drugi ljudi mogu koristiti ovu novu tehnologiju koja se stalno razvija.

Šta je virtualna stvarnost i SteamVR?

Virtualna stvarnost novi je oblik umjetničkog izražavanja i iskustva. To je još uvijek nova granica tehnologije jer bezbroj kompanija i ljudi radi na poboljšanju medija. Činite sebi veliku medvjeđu uslugu ako nikada niste probali VR, jer u potpunosti sadrži osjećaj vida i zvuka korisnika. Jedna od glavnih platformi za virtualnu stvarnost je Valveov SteamVR. SteamVR omogućava korisnicima da slobodno dijele okruženja i međusobno postavljaju komade bez ikakvih troškova. Uglavnom je otvorenog koda i omogućava bezbroj slušalica. To uključuje, ali nije ograničeno na, HTC Vive seriju, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality itd. SteamVR je platforma koju koristimo za stvaranje našeg okruženja.

Šta je fotogrametrija i kako se može koristiti?

Fotogrametrija je proces snimanja fotografija ili video zapisa i pretvaranje slika u 3D model. Najpoznatiji primjer korištenja ove tehnologije je Google Earth. Google koristi satelitske snimke i prikaze ulica za rekonstrukciju pejzaža i zgrada. Gledajući Google Earth, jasno je da su imali nekoliko slika za rad, pa će neke zgrade izgledati deformirano. Kada se pravilno koristi, fotogrametrija je izuzetno uvjerljiv način za stvaranje 3D modela. Ovaj projekt koristi ovu tehnologiju za očuvanje povijesnih znamenitosti. Erozija i izloženost elementima znači da će povijesne znamenitosti na kraju propasti i ljudi će ih zaboraviti. Pomoću fotogrametrije možemo digitalno sačuvati sve, tako da će buduće generacije moći iskusiti i cijeniti ove strukture. To također znači da bi više ljudi širom svijeta moglo doživjeti druge kulture bez troškova ili rizika putovanja.

Koje zalihe mi trebaju?

Za ovaj projekt koristio sam Reality Capture, SteamVR i Krita. Postoje Autodesk, Agisoft i Zephyr programi koji se mogu koristiti umjesto Reality Capture ako nemate potreban Nvidia GPU za njegovo pokretanje. Umjesto Krite može se koristiti Photoshop ili neki drugi program za uređivanje fotografija, ali budući da je besplatan i javan za korištenje, odlučio sam ga koristiti za ovaj projekt. Trebat će vam i stolne VR slušalice koje se mogu priključiti direktno na vaš računar. Konačno, potrebna je visokokvalitetna kamera. Mobilna kamera je pristojna, ali sam koristio Nikon D7000 jer Reality Capture može automatski otkriti otvor blende fotoaparata, što dovodi do kvalitetnijih modela.

Korak 1: Snimanje fotografija

Ovo je najvažniji dio ovog projekta jer ga morate ispraviti u jednom kadru. Ako to ne učinite, morat ćete se vratiti na lokaciju i sve ponovo snimiti.

Prvo ćete morati pronaći odgovarajuću lokaciju i strukturu. Struktura bi trebala biti velika i lako se prepoznati. Što to znači da će softver za fotogrametriju moći otkriti razlike između strukture i pozadine.

Obično je najbolji način za fotografiranje po oblačnom danu. To je zato što sunčan dan ima mogućnost preeksponiranja nekih fotografija i podeksponiranja drugih. Također može stvoriti neželjene sjene. Model sa malo ili bez sjenki olakšat će osvjetljenje u odjeljku za razvoj nivoa. Osim toga, softveru je potrebno da ravnoteža boja ostane ista sa svakom fotografijom, jer koristi boje za izračunavanje veličine objekta. Snimanje fotografija po oblačnom danu poboljšat će kvalitetu strukture. Oblaci na nebu će djelovati kao prirodni difuzor za kameru. On će ravnomjernije raspodijeliti svjetlost i znači da će model postati precizan tokom procesa iscrtavanja.

Poslednji savet je da napravite što više fotografija. Većina programa bira fotografije koje će koristiti za konačni proizvod. Snimanjem više fotografija sve će biti preciznije i programu dati prostora za disanje. Imao sam oko 150-300 fotografija za svaki model.

Korak 2: Početak rada sa softverom za fotogrametriju

Sada ćemo uvesti fotografije u softver. Imajte na umu da Reality Capture zahtijeva Nvidia grafičku karticu. Bez nje ne možete proći odjeljak Poravnanje slika.

Ako imate fasciklu sa svim slikama koje želite koristiti, odaberite opciju Folder u gornjem lijevom kutu. Ovo će vas odvesti u Upravitelj datoteka i možete odabrati mapu. Unosi će vam omogućiti da odaberete pojedinačne fotografije pomoću Upravitelja datoteka.

Zatim ćemo započeti proces izgradnje modela. Pri vrhu ekrana, u odjeljku Tok posla, nalazi se odjeljak Proces. Želimo pritisnuti veće dugme Start. Ovo će početi poravnavati slike. Četvrta fotografija ukratko prikazuje šta se dešava tokom ovog procesa. Prepoznat će lijevo oko jelena i uporediti udaljenost s drugim fotografijama. Nastavit će uspoređivati različite fotografije dok ne prođe kroz sve moguće kombinacije. Ovaj korak je dovršen ako vidite male točkice koje liče na strukturu.

Korak 3: Izračunajte i pojednostavite

Sljedeći korak je izračunavanje modela. Da bismo to učinili, kliknite odjeljak Izračunaj model u odjeljku Proces. Ovo će direktno prevesti sve što pronađe na fotografijama u 3D oblik. Rezultati su pristojno bliski onome kako želimo da model izgleda, ali postoje tri problema s ovom verzijom modela. Prvo, u modelu postoje rupe koje nisu u strukturi stvarnog života. Drugo, površina je previše neravna. Budući da program približava svoje proračune, pogrešno će učiniti neke glatke površine neravnima. Treće, previše je trokuta. Svaki model u programu Reality Capture kreiran je s malim trokutima. Svaki trokut predstavlja malu površinu modela. Želimo što manje trokuta za optimizaciju modela. Ako ima previše trokuta, to može uzrokovati probleme s performansama.

Ovi se problemi mogu riješiti pomoću alata Simplify. Svi modeli će imati 3 000 000 trokuta nakon faze izračuna modela, a mi možemo izabrati da taj broj povećamo ili smanjimo. Za sve modele poput onih pronađenih u ovom projektu, smanjio sam broj trokuta na 1 000 000. Rezultat se može pronaći na drugoj slici, gdje su sve neravne površine glatkije i ima manje rupa. Osim toga, s manje trokuta za iscrtavanje, performanse će biti bolje kada uđemo u VR.

Korak 4: Boja i tekstura

Sada će modelu trebati boja i tekstura kako bi bio još stvarniji u životu. Ova dva dijela su slična u onome što postižu, ali se razlikuju po načinu rada. Koristeći Color, koji se nalazi u odjeljku Process, program će obojiti model. Alat će snimiti slike koje je koristio za kreiranje modela i omotati vaše slike po različitim površinama vašeg modela. S druge strane, tekstura će obojiti pojednostavljene dijelove modela. Gledajući prvu sliku, jasno je vidljivo kako je program omotao slike oko modela, ali na drugoj slici nakon procesa teksturiranja oštre strane slika su sada izglađene.

Korak 5: Izvoz i SteamVR

U programu Reality Capture modele ćemo prenijeti na SteamVR. Pri vrhu ekrana, pod Izvoz, odaberite Mreža koja se nalazi pored odjeljka Proces. Trebali biste vidjeti ovaj skočni prozor koji vam omogućuje promjenu postavki i parametara modela. Najbolje je da sve postavke budu zadane, osim promjene formata teksture JPEG. Program će sada izvesti datoteku u OBJ formatu, koji je mesh datoteka, i JPEG, koji je teksturirana datoteka za model. Radi referenci, JPEG bi trebao izgledati kao druga slika u ovom koraku.

Sada moramo uvesti naše modele u SteamVR. Prvo otvorite SteamVR, a zatim idite na Kreiraj/Izmijeni okruženje koje se nalazi na kartici Radionica. Alati radionice SteamVR sada će se otvoriti. Odaberite Create Empty Addon i kliknite na Launch Tools.

Preglednik imovine sada će se otvoriti s različitim materijalima i modelima koji su već uključeni. U gornjem lijevom kutu nalazi se ikona sa simbolom Čekića. Ovo je ugrađeni SteamVR Hammer editor, koji vam daje mogućnost stvaranja karata. Mape su okruženje u kojem će boraviti VR korisnik tokom igranja.

Korak 6: Kreiranje vaše SteamVR karte

S uređivačem Hammer otvoren u SteamVR -u, sada možemo stvoriti kocku. Želimo stvoriti kocku kako bismo počeli graditi okruženje. Program vam omogućuje promjenu veličine kocke prije nego što se učvrsti na mjestu. Trenutno su vidljive samo vanjske površine kocke. Pritiskom na CTRL+F sve će se površine obrnuti i pretvoriti kocku u prostoriju. Osim toga, morat ćete dodati objekt pod nazivom info_player_start, koji će Hammer -u reći gdje da pokrene korisnika nakon učitavanja programa.

Da bismo sobu učinili realnijom, moramo dodati i teksture. Pomoću uređivača materijala možemo dodati neke prilagođene slike. Ovo je kružna ikona desno od tipke Hammer u pregledniku imovine. Odabirom uređivača materijala odvest ćete se u novi prozor koji će vam omogućiti da uvezete sliku koja će se pretvoriti u teksturu. Možete koristiti vlastite slike ili ih nabaviti sa web stranica sa teksturama, poput textures.com. Kliknite na dugme Datoteka ispod Odabira boje da biste odabrali sliku koju želite koristiti. Nakon odabira slike, obavezno je spremite pritiskom na ikonu diskete u gornjem lijevom kutu prozora Uređivača materijala. Sada zatvorite Uređivač materijala i vratite se do preglednika materijala. Ovdje potražite datoteku teksture koju želite koristiti, a zatim kliknite i povucite je u Hammer Editor. U ovom prozoru možete primijeniti teksturu na različita lica kocke.

Takođe moramo dodati osvetljenje u prostoriju. Da bismo to učinili, stavljamo light_omni ili light_spot na našu mapu, koja se nalazi u odjeljku entiteta lijevo od prikaza karte. Light_omni će zasijati svjetlom u svim smjerovima dok light_omni svijetli svjetlošću u jednom određenom smjeru. Za ovaj projekt upotrijebio sam najmanje dvije svjetlosne točke za svaki objekt i jednu svjetlosnu tačku kako bih osvijetlio prostoriju.

Korak 7: Dodavanje naših objekata na mapu

Sada je vrijeme da počnemo premještati naše objekte na našu kartu. U pregledniku imovine desno od ikone Uređivač materijala nalazi se Uređivač modela koji podsjeća na ikonu humanoida. Nakon otvaranja uređivača modela, dobit ćete mogućnost pregledavanja ili izrade novog VDML -a, koji je verzija OBJ datoteke uređivača Hammer. Odaberite opciju za izradu novog VDML -a i bit će potrebno da napravite mapu. Ova mapa će pohraniti VDML datoteku. Uvjerite se da se nalazi u mapi Dodaj na i pritisnite nastavi.

Ovo će vas odvesti na ekran sa vašim modelom, koji ima bijelu teksturu. Da biste dodali teksturu za ovaj model, odaberite Materijali na alatnoj traci s lijeve strane. Ovo će vas odvesti u Uređivač materijala i možete odabrati JPEG iz izvoza Reality Capture. Spremite teksturu i model klikom na ikonu diskete. Povratak na Hammer Editor.

U Hammer -u možete povući i ispustiti model iz preglednika imovine na kartu. Model će najvjerojatnije biti mali i morat ćete mu promijeniti veličinu. Pritiskom na T na tastaturi možete promijeniti njen položaj na karti. Pritiskom na E promijenit ćete proporcije modela, dok će ga R rotirati.

Korak 8: Izrada oznaka objekata

Oznake objekata vidljive pored svakog orijentira pružaju kontekst i historiju za poboljšanje korisničkog iskustva. Za svoje oznake objekata jednostavno sam fotografirao informativne ploče na svakoj lokaciji kako bih lako snimio važne informacije koje sam kasnije želio koristiti. Zatim sam upotrijebio Krita, besplatni softver za uređivanje fotografija, za kreiranje oznaka objekata uključujući dodatne slike i tekst.

Za Miner Park i Anchor stranu prostorije nije bilo problema s dodavanjem oznaka kao tekstura. Jednostavno ih dodajte u svoj preglednik materijala putem uređivača materijala i dodajte sliku u blok koji se može stvoriti u uređivaču čekića. Problemi su nastali kada sam stvorio ploče za drugu stranu prostorije. Sav tekst i slike bili su unatrag i nije postojao jasan način da se obrnu teksture unutar uređivača. Da bih to riješio, vratio sam se u Kritu i promijenio ploče za jelena i medvjeda i na sreću ovo je riješilo problem.

Osim toga, dodao sam razne slike Wilkes-Barrea, jer sam želio stvoriti sobu koja je imala osjećaj i ambijent muzeja butika.

Korak 9: Zaključak

Zaključno, i virtualna stvarnost i fotogrametrija imaju moć uvelike poboljšati bezbroj industrija, uključujući, ali ne ograničavajući se na sport, nekretnine i forenziku. Danas sam fotogrametrijom sačuvao neke male, ali važne dijelove lokalne povijesti svog rodnog grada. VR i fotogrametrija su još uvijek eksperimentalne tehnologije koje vas ponekad mogu izazvati. Unatoč nekim nedostacima, količina inovativne uporabe oba procesa je uzbudljiva i neograničena. Zahvaljujem vam se na čitanju o ovom projektu i nadam se da vas je ovo inspiriralo da isprobate nešto novo s virtualnom stvarnošću.

Link za preuzimanje projekta možete pronaći ovdje.