Korištenje Sonara, Lidara i Računarskog vida na mikrokontrolerima za pomoć slabovidim osobama: 16 koraka

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:07

Želim stvoriti inteligentni 'štap' koji može pomoći ljudima s oštećenjem vida mnogo više od postojećih rješenja. Štap će moći obavijestiti korisnika o objektima ispred ili sa strane stvaranjem buke u slušalicama tipa surround zvuk. Štap će također imati malu kameru i LIDAR (otkrivanje svjetla i domet) tako da može prepoznati objekte i ljude u prostoriji i obavijestiti korisnika pomoću slušalica. Iz sigurnosnih razloga, slušalice neće blokirati svu buku jer će postojati mikrofon koji može filtrirati sve nepotrebne zvukove i zadržati sirene i ljude u razgovoru. Na kraju će sistem imati GPS tako da može davati upute i pokazati korisniku kamo treba ići.

Molimo vas da glasate za mene na takmičenjima za mikrokontroler i fitnes na otvorenom!

Korak 1: Pregled projekta

Prema Svjetskom pristupu slijepima, fizičko kretanje je jedan od najvećih izazova za slijepe osobe. Putovanje ili jednostavno hodanje prepunom ulicom može biti vrlo teško. Tradicionalno jedino rješenje je bila upotreba opće poznatog „bijelog štapa“koji se prvenstveno koristi za skeniranje okoline udaranjem o prepreke u blizini korisnika. Bolje rješenje bio bi uređaj koji može zamijeniti vidovitog pomoćnika pružanjem informacija o lokaciji prepreka, tako da slijepa osoba može izaći u nepoznato okruženje i osjećati se sigurno. Tijekom ovog projekta razvijen je mali uređaj na baterije koji zadovoljava ove kriterije. Uređaj može otkriti veličinu i lokaciju objekta pomoću senzora koji mjere položaj objekata u odnosu na korisnika, prenose te informacije u mikrokontroler, a zatim ih pretvaraju u zvuk kako bi pružili informacije korisniku. Uređaj je izrađen korištenjem dostupnih komercijalnih LIDAR -a (Detekcija svjetlosti i dometa), SONAR -a (Zvučna navigacija i domet) i tehnologija računarskog vida povezanih s mikrokontrolerima i programiranih za pružanje potrebnog zvučnog izlaza pomoću slušalica ili slušalica. Tehnologija detekcije ugrađena je u "bijeli štap" kako bi drugima ukazala na stanje korisnika i pružila dodatnu sigurnost.

Korak 2: Istraživanje pozadine

Svjetska zdravstvena organizacija je 2017. godine izvijestila da u svijetu postoji 285 miliona osoba sa oštećenim vidom, od kojih je 39 miliona potpuno slijepo. Većina ljudi ne razmišlja o problemima sa kojima se osobe sa oštećenim vidom svakodnevno suočavaju. Prema Svjetskom pristupu slijepima, fizičko kretanje je jedan od najvećih izazova za slijepe osobe. Putovanje ili jednostavno hodanje prepunom ulicom može biti vrlo teško. Zbog toga mnogi ljudi sa oštećenjem vida radije dovode vidovitog prijatelja ili člana porodice koji će im pomoći u snalaženju u novom okruženju. Tradicionalno jedino rješenje je bilo korištenje opće poznate "bijele štapića" koja se prvenstveno koristi za skeniranje okoline udarajući u prepreke u blizini korisnika. Bolje rješenje bio bi uređaj koji može zamijeniti vidovitog pomoćnika pružanjem informacija o lokaciji prepreka, tako da slijepa osoba može izaći u nepoznato okruženje i osjećati se sigurno. NavCog, saradnja između IBM -a i Univerziteta Carnegie Mellon, pokušali su riješiti problem stvaranjem sistema koji koristi Bluetooth svjetionike i pametne telefone za pomoć pri vođenju. Međutim, rješenje je bilo nezgrapno i pokazalo se kao vrlo skupo za velike implementacije. Moje rješenje rješava ovo uklanjanjem bilo koje potrebe za vanjskim uređajima i korištenjem glasa za usmjeravanje korisnika tokom dana (slika 3). Prednost što je tehnologija ugrađena u "bijeli štap" je ta što signalizira ostatku svijeta stanje korisnika što uzrokuje promjenu u ponašanju ljudi u okruženju.

Korak 3: Zahtjevi za dizajn

Nakon što sam istražio dostupne tehnologije, razgovarao sam o mogućim rješenjima sa stručnjacima za vid o najboljem pristupu pomaganju slabovidim osobama u snalaženju u njihovom okruženju. U donjoj tablici navedene su najvažnije značajke potrebne za prelazak na moj uređaj.

Karakteristika - opis:

• Računanje - Sistem mora omogućiti brzu obradu razmijenjenih informacija između korisnika i senzora. Na primjer, sistem mora biti u stanju obavijestiti korisnika o preprekama ispred koje su udaljene najmanje 2 m.
• Pokrivenost - Sistem mora pružati svoje usluge u zatvorenom i na otvorenom kako bi poboljšao kvalitet života osoba sa oštećenim vidom.
• Vrijeme - Sistem bi trebao raditi jednako dobro i danju i noću.
• Raspon - Raspon je udaljenost između korisnika i objekta koje sistem mora otkriti. Idealni minimalni domet je 0,5 m, dok maksimalni domet treba biti veći od 5 m. Daljnje udaljenosti bile bi još bolje, ali izazovnije za izračunavanje.
• Vrsta objekta - Sistem bi trebao otkriti iznenadnu pojavu objekata. Sistem bi trebao moći razlikovati pokretne i statičke objekte.

Korak 4: Inženjerski dizajn i odabir opreme

Nakon što sam pogledao mnogo različitih komponenti, odlučio sam se za dijelove odabrane iz različitih kategorija u nastavku.

Cijena odabranih dijelova:

• Zungle Panther: 149,99 USD
• LiDAR Lite V3: 149,99 USD
• LV-MaxSonar-EZ1: 29,95 USD
• Ultrazvučni senzor - HC -SR04: 3,95 USD
• Raspberry Pi 3: 39,95 USD
• Arduino: 24,95 USD
• Kinect: 32,44 USD
• Floureon 11.1v 3s 1500mAh: 19,99 USD
• LM2596HV: 9,64 USD

Korak 5: Odabir opreme: Metoda interakcije

Odlučio sam upotrijebiti glasovnu kontrolu kao metodu interakcije s uređajem jer imati više tipki na štapu može biti izazov za osobe sa oštećenim vidom, posebno ako su neke funkcije zahtijevale kombinaciju tipki. S glasovnom kontrolom, korisnik može koristiti unaprijed postavljene naredbe za komunikaciju s štapom što smanjuje potencijalne greške.

Uređaj: Prednosti --- Protiv:

• Dugmad: Nema greške u komandi kada se pritisne desno dugme --- Može biti izazovno osigurati da se pritisnu ispravna dugmad
• Glasovna kontrola: Lako jer korisnik može koristiti unaprijed postavljene naredbe --- Neispravan izgovor može izazvati greške

Korak 6: Izbor opreme: Mikrokontroler

Uređaj je koristio Raspberry Pi zbog niske cijene i dovoljne procesorske snage za izračunavanje karte dubine. Intel Joule bi bio preferirana opcija, ali njegova cijena bi udvostručila cijenu sistema, što ne bi bilo idealno za ovaj uređaj koji je razvijen da korisnicima ponudi jeftiniju opciju. Arduino je korišten u sistemu jer može lako dobiti informacije od senzora. BeagleBone i Intel Edison nisu korišteni zbog niskog omjera cijene i performansi što je loše za ovaj jeftini sistem.

Mikrokontroler: Prednosti --- Nedostaci:

• Raspberry Pi: Ima dovoljno procesorske snage za pronalaženje prepreka i ima integriran WiFi/Bluetooth --- Nema mnogo opcija za primanje podataka sa senzora
• Arduino: Lako primajte podatke s malih senzora. tj. LIDAR, Ultrasonic, SONAR, itd. --- Nema dovoljno procesorske snage za pronalaženje prepreka
• Intel Edison: Može brzo obraditi prepreke brzim procesorom --- Za rad sistema potrebni su dodatni komadi razvijača
• Intel Joule: Ima dvostruku brzinu obrade od bilo kojeg mikrokontrolera na potrošačkom tržištu do sada --- Vrlo visoka cijena za ovaj sistem i teška interakcija s GPIO-om za interakciju senzora
• BeagleBone Black: Kompaktan i kompatibilan sa senzorima koji se koriste u projektu koristeći opći ulazni izlaz opće namjene (GPIO) --- Nema dovoljno procesorske snage za učinkovito pronalaženje objekata

Korak 7: Izbor opreme: Senzori

Kombinacija nekoliko senzora koristi se za postizanje visoke točnosti lokacije. Kinect je glavni senzor zbog količine područja koje može istovremeno skenirati da li ima prepreka. LIDAR, što znači LIght Detection and Ranging, je metoda daljinskog mjerenja koja koristi svjetlost u obliku impulsnog lasera za mjerenje udaljenosti od mjesta na kojem se senzor nalazi do objekata brzo; senzor se koristi jer može pratiti područje udaljeno do 40 metara (m) i budući da može skenirati pod različitim kutovima, može otkriti idu li neki koraci prema gore ili prema dolje. Zvučni navigacijski i daljinski senzori (SONAR) i ultrazvučni senzori koriste se kao sigurnosno praćenje u slučaju da Kinect promaši stup ili udarac u tlo koji bi predstavljao opasnost za korisnika. Senzor 9 stupnjeva slobode koristi se za praćenje u kojem smjeru je korisnik okrenut tako da uređaj može pohraniti informacije radi veće preciznosti usmjeravajući sljedeći put kada osoba hoda na istom mjestu.

Senzori: Prednosti --- Protiv:

• Kinect V1: Može pratiti 3D objekte sa --- samo jednom kamerom za otkrivanje okruženja
• Kinect V2: Ima 3 infracrvene kamere i crvenu, zelenu, plavu, dubinsku (RGB-D) kameru za preciznu detekciju 3D objekata --- Može se zagrijati i možda će trebati ventilator za hlađenje, a veći je od ostalih senzora
• LIDAR: Greda koja može pratiti lokacije udaljene i do 40 m --- Mora se postaviti prema objektu i može gledati samo u tom smjeru
• SONAR: Snop koji može pratiti 5 m dalje, ali u velikom dometu --- Mali predmeti poput perja mogu pokrenuti senzor
• Ultrazvučni: ima domet do 3 m i vrlo je jeftin --- udaljenosti povremeno mogu biti neprecizne
• Senzor 9 stupnjeva slobode: Dobar za prepoznavanje orijentacije i brzine korisnika --- Ako nešto ometa senzore, izračunavanje udaljenosti može se pogrešno izračunati

Korak 8: Izbor opreme: Softver

Odabrani softver za prvih nekoliko prototipova izgrađenih sa Kinect V1 senzorom bio je Freenect, ali nije bio vrlo precizan. Prilikom prelaska na Kinect V2 i Freenect2, rezultati praćenja su značajno poboljšani zbog poboljšanog praćenja jer V2 ima HD kameru i 3 infracrvene kamere za razliku od jedne kamere na Kinect V1. Kada sam koristio OpenNi2 s Kinect V1, funkcije su bile ograničene i nisam mogao kontrolirati neke od funkcija uređaja.

Softver: Prednosti --- Protiv:

• Freenect: Ima niži nivo kontrole za kontrolu svega --- Podržava samo Kinect V1
• OpenNi2: Može lako kreirati podatke o oblaku tačaka iz toka informacija iz Kinecta --- Podržava samo Kinect V1 i nema podršku za kontrolu niskog nivoa
• Freenect2: Ima niži nivo kontrole za senzorsku traku --- Radi samo za Kinect V2
• ROS: Operativni sistem idealan za programiranje funkcija kamere --- Potrebno ga je instalirati na brzu SD karticu kako bi softver radio

Korak 9: Izbor opreme: Ostali dijelovi

Litij -ionske baterije odabrane su zbog toga što su lagane, imaju veliki kapacitet napajanja i mogu se puniti. Varijanta litijum -jonske baterije 18650 ima cilindrični oblik i savršeno se uklapa u prototip trske. Prvi prototip štapa izrađen je od PVC cijevi jer je šupalj i smanjuje težinu štapa.

Korak 10: Razvoj sistema: Kreiranje hardvera 1. dio

Prvo moramo rastaviti Kinect kako bi bio lakši i kako bi se uklopio u štap. Počeo sam uklanjanjem cijelog vanjskog kućišta s Kinecta jer je upotrebljena plastika PUNO teška. Zatim sam morao presjeći kabel kako bi se baza mogla ukloniti. Uzeo sam žice iz konektora prikazanog na slici i lemio ih na USB kabel sa signalnim žicama, a druga dva priključka služila su za ulaz 12V. Budući da sam želio da ventilator unutar štapa radi punom snagom da ohladi sve ostale komponente, odrezao sam konektor ventilatora s Kinecta i spojio 5V s Raspberry Pi. Napravio sam i mali adapter za žicu LiDAR tako da se može spojiti direktno na Raspberry Pi bez ikakvih drugih sistema između.

Slučajno sam lemio bijelu žicu na crnu pa nemojte gledati slike za dijagrame ožičenja

Korak 11: Razvoj sistema: Kreiranje hardvera 2. dio

Napravio sam dio regulatora za napajanje svih uređaja koji zahtijevaju 5V poput Raspberry Pi. Regulator sam podesio stavljanjem mjerača na izlaz i podešavanjem otpornika tako da regulator daje 5,05V. Stavio sam ga malo više od 5V jer s vremenom napon baterije pada i blago utječe na izlazni napon. Napravio sam i adapter koji mi omogućava napajanje do 5 uređaja kojima je potrebno 12V iz baterije.

Korak 12: Razvoj sistema: Programiranje sistema 1. dio

Jedan od najizazovnijih dijelova ovog sistema je programiranje. Kad sam prvi put dobio Kinect da se poigra s njim, instalirao sam program pod nazivom RTAB Map koji uzima tok podataka iz Kinecta i pretvara ga u oblak točaka. Sa oblakom tačaka, stvorio je 3D sliku koja se može rotirati tako da se vidi dubina gdje se svi objekti nalaze. Nakon što sam se neko vrijeme poigrao s njim i prilagodio sve postavke, odlučio sam instalirati neki softver na Raspberry Pi kako bih mogao vidjeti tok podataka iz Kinecta. Posljednje dvije gornje slike prikazuju ono što Raspberry Pi može proizvesti pri približno 15-20 sličica u sekundi.