Kvantimetrijska obrada slike: 5 koraka

2025 Autor: John Day | [email protected]. Zadnja izmjena: 2025-01-13 06:57

(Gornja slika prikazuje usporedbu postojeće metode obrade slike s kvantimetrijskom obradom slike. Obratite pažnju na poboljšani rezultat. Gornja desna slika prikazuje čudne artefakte koji proizlaze iz pogrešne pretpostavke da slike mjere nešto poput svjetlosti. Donja desna slika pokazuje bolje rezultate radeći istu stvar kvantimetrijski.)

U ovom Instructable -u ćete naučiti kako uvelike poboljšati performanse postojećih sistema za snimanje ili prepoznavanje vida koristeći vrlo jednostavan koncept: Kvantimetrijsko prepoznavanje slike

Kvantimetrijska obrada slike uvelike se poboljšava na bilo što od sljedećeg:

• Postojeća obrada slike, poput zamućivanja slike;
• Strojno učenje, računarski vid i prepoznavanje uzoraka;
• Nosivi prepoznavač lica (vidi https://wearcam.org/vmp.pdf), vid zasnovan na AI i HI itd.

Osnovna ideja je kvanimetrijski predraditi i naknadno obraditi slike, kako slijedi:

1. Proširite dinamički raspon slike ili slika;
2. Obradite sliku ili slike na uobičajen način;
3. Sažmite dinamički raspon slike ili slika (tj. Poništite korak 1).

U prethodnim Instructables -ima podučavao sam neke aspekte HDR (High Dynamic Range) sensinga i kvantimetrijskog sensinga, npr. linearnost, superpozicija itd.

Sada stavimo ovo znanje na upotrebu.

Uzmite bilo koji postojeći proces koji želite koristiti. Primjer koji ću prikazati je zamagljivanje slike, ali možete ga koristiti i za bilo što drugo.

Korak 1: Proširite dinamički raspon svoje slike ili slika

(Slike prilagođene iz "Inteligentne obrade slika", John Wiley i Sons Interscience Series, Steve Mann, novembar 2001)

Prvi korak je proširenje dinamičkog raspona ulazne slike.

Idealno bi bilo da prvo odredite funkciju odziva fotoaparata, f, a zatim primijenite obrnuti odziv, f inverzan, na sliku.

Tipične kamere su kompresivne dinamičkog raspona, pa obično želimo primijeniti ekspanzivnu funkciju.

Ako ne znate funkciju odgovora, počnite s isprobavanjem nečeg jednostavnog, kao što je učitavanje slike u niz slika, prebacivanje varijabli na tip podataka poput (float) ili (double) i podizanje vrijednosti svakog piksela na eksponent., kao što je, na primjer, kvadratura vrijednosti svakog piksela.

Obrazloženje:

Zašto to radimo?

Odgovor je da većina kamera komprimira njihov dinamički raspon. Razlog zašto to čine je taj što većina medijskih prikaza proširuje dinamički raspon. To je sasvim slučajno: količina svjetlosti koju emitira televizijski ekran s katodnom cijevi približno je jednaka naponu podignutom na eksponent od 2,22, tako da kada je napon video napona na pola puta, količina emitirane svjetlosti je velika manje od polovine.

Fotografski mediji su također ekspanzivni u dinamičkom rasponu. Na primjer, fotografska "neutralna" siva kartica emitira 18% upadnog svjetla (ne 50% upadnog svjetla). Smatra se da je ovoliko svjetla (18%) u sredini odgovora. Dakle, kao što vidite, ako pogledamo grafikon izlaza kao funkciju ulaza, mediji za prikaz ponašaju se kao da su idealni linearni prikazi koji sadrže proširivač dinamičkog raspona prije idealnog linearnog odziva.

Na gornjoj slici iznad možete vidjeti ekran uokviren isprekidanom linijom, što je ekvivalentno proširenju prije idealnog linearnog prikaza.

Budući da su ekrani sami po sebi ekspanzivni, kamere moraju biti dizajnirane tako da budu kompresivne tako da slike izgledaju dobro na postojećim ekranima.

U davna vremena, kada je bilo na hiljade ekrana televizijskih prijemnika i samo jedna ili dvije radio -stanice (npr. Samo jedna ili dvije televizijske kamere), bilo je lakše popraviti u kameru komprimirajuću nelinearnost nego prisjetiti se svih televizora i stavite po jedan u svaki televizijski prijemnik.

Slučajno je to također pomoglo u smanjenju buke. U zvuku to nazivamo "Dolby" ("upoređivanje") i za to dodjeljujemo patent. U videu se to dogodilo sasvim slučajno. Stockham je predložio da bismo trebali uzeti logaritam slika prije obrade, a zatim uzeti antilog. Ono što nije shvatio je da većina kamera i ekrana to već radi sasvim slučajno. Umjesto toga, ono što sam predložio je da radimo upravo suprotno od onoga što je Stockham predložio. (Pogledajte "Inteligentna obrada slika", John Wiley i Sons Interscience Series, str. 109-111.)

Na donjoj slici vidite predloženu anti-homomorfnu (kvantimetrijsku) obradu slike, gdje smo dodali korak proširenja i kompresije dinamičkog raspona.

Korak 2: Obradite slike ili izvedite računalni vid, mašinsko učenje ili slično

Drugi korak, nakon proširenja dinamičkog raspona, je obrada slika.

U mom slučaju, jednostavno sam izveo dekonvoluciju slike, sa funkcijom zamućenja, tj. Zamućivanjem slike, kao što je općenito poznato u stanju tehnike.

Postoje dvije široke kategorije kvantimetrijskog očitavanja slike:

• Pomaganje ljudima da vide;
• Mašine za pomoć vide.

Ako pokušavamo pomoći ljudima da vide (što je primjer koji ovdje pokazujem), još nismo gotovi: moramo obraditi rezultat natrag u prostor slika.

Ako pomažemo mašinama da vide (npr. Prepoznavanje lica), sada smo gotovi (nema potrebe za prelaskom na korak 3).

Korak 3: Ponovo komprimirajte dinamički raspon rezultata

Kad radimo u proširenom dinamičkom rasponu, kaže se da smo u "svjetlosnom prostoru" (kvantimetrijski prostor slike).

Na kraju drugog koraka, nalazimo se u svjetlosnom prostoru i moramo se vratiti u prostor slika.

Dakle, ovaj korak 3 se odnosi na povratak u prostor slika.

Da biste izveli korak 3, jednostavno komprimirajte dinamički raspon izlaza iz koraka 2.

Ako znate funkciju odziva kamere, jednostavno je primijenite da biste dobili rezultat, f (p (q)).

Ako ne znate funkciju odziva kamere, jednostavno dobro pretpostavite.

Ako ste u prvom koraku izravnali piksele slike, sada je vrijeme da uzmete kvadratni korijen svakog piksela slike da biste se vratili na svoju pretpostavku u pogledu prostora slike.

Korak 4: Možda biste htjeli isprobati neke druge varijacije

Odmagljivanje je samo jedan od mnogih mogućih primjera. Razmotrimo, na primjer, kombiniranje više ekspozicija.

Snimite bilo koje dvije slike, kao što su dvije koje imam gore. Jedan je snimljen danju, a drugi noću.

Kombinujte ih da napravite sliku sličnu sumraku.

Ako ih samo prosječno spojite, to izgleda kao smeće. Isprobajte ovo sami!

Ali ako prvo proširite dinamički raspon svake slike, zatim ih dodate, a zatim komprimujete dinamički raspon zbroja, izgleda sjajno.

Uporedite obradu slike (dodavanje slika) sa kvantimetrijskom obradom slike (proširenje, dodavanje, a zatim sažimanje).

Moj kôd i još primjera materijala možete preuzeti ovdje:

Korak 5: Idite dalje: Sada isprobajte sa HDR kompozitima slika

(Gornja slika: HDR kaciga za zavarivanje koristi kvantimetrijsku obradu slike za slojeve proširene stvarnosti. Vidite Slashgear 2012., 12. septembar.)

Ukratko:

snimite sliku i primijenite sljedeće korake:

1. proširiti dinamički raspon slike;
2. obraditi sliku;
3. komprimirati dinamički raspon rezultata.

A ako želite još bolji rezultat, pokušajte sljedeće:

uhvatiti mnoštvo različito izloženih slika;

1. proširiti dinamički raspon u svjetlosni prostor, prema mojim prethodnim Instructable na HDR -u;
2. obraditi rezultirajuću kvantimetrijsku sliku, q, u svjetlosnom prostoru;
3. komprimirati dinamički raspon kroz mapiranje tonova.

Zabavite se i kliknite "Uspio sam" i objavite svoje rezultate, a ja ću rado komentirati ili pružiti konstruktivnu pomoć.