Autonomni dron sa infracrvenom kamerom za pomoć prvim osobama u hitnim slučajevima: 7 koraka

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:06

Prema izvještaju Svjetske zdravstvene organizacije, svake godine prirodne katastrofe ubiju oko 90 000 ljudi i pogodiju blizu 160 miliona ljudi širom svijeta. Prirodne katastrofe uključuju zemljotrese, tsunamije, erupcije vulkana, klizišta, uragane, poplave, požare, toplinske valove i suše. Vrijeme je od suštinske važnosti jer šansa za preživljavanje počinje se smanjivati svakim minutom koji prođe. Hitna pomoć može imati problema s lociranjem preživjelih u kućama koje su oštećene i dovode im u opasnost život dok ih traže. Postojanje sistema koji može daljinski locirati ljude uvelike bi povećao brzinu kojom će hitni službenici moći da ih evakuišu iz zgrada. Nakon istraživanja drugih sistema, otkrio sam da su neke kompanije stvorile robote na kopnu ili su stvorile bespilotne letjelice koje mogu pratiti ljude, ali funkcioniraju samo izvan zgrada. Kombinacija dubinskih kamera zajedno sa posebnim infracrvenim kamerama može omogućiti precizno praćenje unutarnjeg prostora i detekciju promjena temperature koje predstavljaju vatru, ljude i životinje. Implementacijom senzora s prilagođenim algoritmom na bespilotnu letjelicu (UAV) bit će moguće autonomno pregledavati kuće i identificirati lokaciju ljudi i životinja kako bi ih spasili što je brže moguće.

Molimo vas da glasate za mene na takmičenju Optika!

Korak 1: Zahtjevi za dizajn

Nakon što sam istražio dostupne tehnologije, razgovarao sam o mogućim rješenjima sa stručnjacima za mašinski vid i prvim osobama za pronalaženje najbolje metode za otkrivanje preživjelih u opasnim područjima. Informacije u nastavku navode najvažnije potrebne značajke i elemente dizajna za sistem.

• Obrada vida - Sistem mora osigurati veliku brzinu obrade za razmjenu informacija između senzora i odgovora umjetne inteligencije (AI). Na primjer, sistem mora biti u stanju otkriti zidove i prepreke kako bi ih izbjegao, a istovremeno pronaći i ljude koji su u opasnosti.
• Autonomni - Sistem mora biti u stanju funkcionirati bez unosa korisnika ili operatera. Osoblje s minimalnim iskustvom u UAV tehnologiji trebalo bi moći pritisnuti jedno ili nekoliko gumba kako bi sustav sam započeo skeniranje.
• Domet - Domet je udaljenost između sistema i svih drugih objekata u blizini. Sistem bi trebao biti u mogućnosti otkriti hodnike i ulaze s udaljenosti od najmanje 5 metara. Idealni minimalni domet je 0,25 m tako da se mogu otkriti bliski objekti. Što je veći domet otkrivanja, to je kraće vrijeme otkrivanja preživjelih.
• Navigacija i preciznost otkrivanja - Sistem bi trebao biti u stanju precizno pronaći sve ulaze i ne udariti u objekte, a istovremeno otkriti iznenadnu pojavu objekata. Sistem mora biti u stanju da pronađe razliku između ljudi i neživih objekata putem različitih senzora.
• Trajanje rada - Sistem bi trebao trajati 10 minuta ili duže, ovisno o tome koliko soba treba skenirati.
• Brzina - trebala bi moći skenirati cijelu zgradu za manje od 10 minuta.

Korak 2: Izbor opreme: Metoda mobilnosti

Kvadrokopter je odabran umjesto automobila na daljinsko upravljanje jer je, iako je krtač krhak, lakše kontrolirati i mijenjati visinu kako bi se izbjegle prepreke. Kvadrokopter može držati sve senzore i stabilizirati ih kako bi bili precizniji pri kretanju po različitim prostorijama. Propeleri su izrađeni od karbonskih vlakana otpornih na toplinu. Senzori se udaljavaju od zidova kako bi se spriječile nesreće.

• Kopneno vozilo na daljinsko upravljanje

  • Pros - Može se brzo kretati bez pada i na nju ne utječe temperatura
  • Nedostaci - Vozilo bi postavilo senzore nisko na tlo pokrivajući istovremeno manje prostora i moglo bi se blokirati preprekama

• Quadcopter

  • Pros - podiže senzore u zrak kako bi dobio pogled od 360 ° na okolinu
  • Nedostaci - ako naleti na zid, može pasti i ne oporaviti se

Korak 3: Izbor opreme: Mikrokontroleri

Dva glavna zahtjeva za mikrokontrolere su male veličine za smanjenje korisnog opterećenja na četvorokopteru i brzina za brzu obradu unosa informacija. Kombinacija Rock64 i DJI Naza savršena je kombinacija mikrokontrolera jer Rock64 ima dovoljnu procesorsku snagu da brzo detektira ljude i spriječi da quadcopter naleti na zidove i prepreke. DJI Naza to odlično komplimentira radeći svu stabilizaciju i kontrolu motora koju Rock64 ne može. Mikrokontroleri komuniciraju putem serijskog porta i dopuštaju korisničku kontrolu ako je potrebno. Raspberry Pi bi bio dobra alternativa, ali budući da je Rock64 imao bolji procesor i bolju povezanost sa senzorima navedenim u sljedećoj tablici, Pi nije odabran. Intel Edison i Pixhawk nisu odabrani zbog nedostatka podrške i povezivanja.

• Raspberry Pi

  • Pros - Može otkriti zidove i fiksne objekte
  • Nedostaci - bori se za praćenje podataka sa svih senzora pa ne može vidjeti ulaze dovoljno brzo. Ne može emitirati signale motora i nema nikakvih stabilizacijskih senzora za quadcopter

• Rock64

  • Pros - Sposobnost otkrivanja zidova i ulaza s malim kašnjenjem.
  • Nedostaci - Također mogu voditi sistem kroz cijelu kuću bez naleta na sve koristeći sve senzore. Ne može slati signale dovoljno brzo za kontrolu brzine motora i nema stabilizacijske senzore za quadcopter

• Intel Edison

  • Prednosti - Sposobnost otkrivanja zidova i ulaza sa zaostatkom
  • Nedostaci - Starija tehnologija, mnogim senzorima bi trebale nove biblioteke za čije je stvaranje potrebno mnogo vremena
• DJI Naza
  • Pros - Ima integrirani žiroskop, akcelerometar i magnetometar, kako bi quadcopter bio stabilan u zraku uz mikro podešavanje brzine motora
  • Protiv - nije moguće izvršiti bilo koju vrstu obrade vida

• Pixhawk

  • Prednosti - Kompaktan i kompatibilan sa senzorima koji se koriste u projektu pomoću općenitog ulaznog izlaza (GPIO)
  • Protiv - nije moguće izvršiti bilo koju vrstu obrade vida

Korak 4: Izbor opreme: Senzori

Kombinacija nekoliko senzora koristi se kako bi se prikupili svi podaci potrebni za pronalaženje ljudi u opasnim područjima. Dva glavna senzora koja su odabrana uključuju stereo infracrvenu kameru pored SOund navigacije i dometa (SONAR). Nakon nekog testiranja, odlučio sam se za upotrebu Realsense D435 kamere jer je mala i može precizno pratiti udaljenosti do 20 metara. Radi na 90 sličica u sekundi što omogućava mnoga mjerenja prije donošenja odluke o tome gdje se nalaze objekti i u koji smjer treba usmjeriti četvorokopter. SONAR senzori postavljeni su na vrh i dno sistema kako bi četvorokopter mogao znati koliko je visoko ili nisko dopušteno prijeći u dodir s površinom. Tu je i jedan postavljen prema naprijed kako bi sistemu omogućio otkrivanje objekata poput stakla koje senzor stereo infracrvene kamere ne može otkriti. Ljudi i životinje se otkrivaju pomoću algoritama za prepoznavanje pokreta i objekata. FLIR kamera će biti implementirana kako bi pomogla stereo infracrvenoj kameri da prati šta živi, a šta ne da bi povećala efikasnost skeniranja u nepovoljnim uslovima.

• Kinect V1

  • Pros - Lako možete pratiti 3D objekte udaljene do 6 metara
  • Nedostaci -Ima samo 1 infracrveni senzor i pretežak je za quadcopter

• Realsense D435

  • Prednosti - Ima 2 infracrvene kamere i crvenu, zelenu, plavu, dubinsku (RGB -D) kameru za visoko preciznu detekciju 3D objekata udaljenih do 25 metara. Širine je 6 cm što omogućava jednostavno postavljanje u četvorougao
  • Protiv - Može se zagrijati i možda će mu trebati ventilator za hlađenje

• LIDAR

  • Prednosti - Snop koji može pratiti lokacije do 40 metara u svom vidnom polju
  • Nedostaci - Toplina u okolini može utjecati na preciznost mjerenja

• SONAR

  • Pros - Snop koji može pratiti 15 m udaljenosti, ali može otkriti prozirne objekte poput stakla i akrila
  • Nedostaci - Samo točke u jednoj liniji vidljivosti, ali ih četverokopter može pomicati radi skeniranja

• Ultrasonic

  • Pros - Ima domet do 3 m i vrlo je jeftin
  • Nedostaci - Samo točke u jednoj liniji vidljivosti i vrlo lako mogu biti izvan dometa udaljenosti
• FLIR kamera
  • Pros - Sposobnost snimanja dubinskih slika kroz dim bez smetnji i može otkriti žive ljude putem toplinskih potpisa
  • Protiv - Ako nešto ometa senzore, izračunavanje udaljenosti može se pogrešno izračunati

• PIR senzor

  • Prednosti - Može otkriti promjenu temperature
  • Protiv - Nije moguće odrediti gdje je razlika u temperaturi

Korak 5: Izbor opreme: Softver

Koristio sam Realsense SDK zajedno sa robotskim operativnim sistemom (ROS) za stvaranje besprijekorne integracije između svih senzora s mikrokontrolerom. SDK je pružio stalan tok podataka iz oblaka tačaka koji je bio idealan za praćenje svih objekata i granica četvorokoptera. ROS mi je pomogao da pošaljem sve podatke senzora u program koji sam kreirao i koji implementira umjetnu inteligenciju. AI se sastoji od algoritama za otkrivanje objekata i algoritama za detekciju pokreta koji omogućavaju kvadrokopteru da pronađe kretanje u svom okruženju. Kontroler koristi Pulse Width Modulation (PWM) za kontrolu položaja četvorokoptera.

• Freenect

  • Pros - Ima niži nivo pristupa za kontrolu svega
  • Protiv - podržava samo Kinect V1

• Realsense SDK

  • Prednosti - Mogu lako kreirati podatke o oblaku tačaka iz toka informacija sa Realsense kamere
  • Protiv - podržava samo Realsense D435 kameru

• FLIR upravljački program za Linux

  • Pros - Može dohvatiti tok podataka s FLIR kamere
  • Nedostaci - Dokumentacija je vrlo ograničena

• Robotski operativni sistem (ROS)

  • Pros - Operativni sistem idealan za programiranje funkcija kamere
  • Nedostaci - Potrebno je instalirati na brzu SD karticu radi efikasnog prikupljanja podataka

Korak 6: Razvoj sistema

"Oči" uređaja su stereo infracrveni senzor Realsense D435, koji je standardan senzor koji se uglavnom koristi za robotske aplikacije, poput 3D mapiranja (slika 1). Kada je ovaj senzor instaliran na quadcopter -u, infracrvena kamera može voditi i omogućiti quadcopter -u da se samostalno kreće. Podaci koje generiše kamera nazivaju se oblak tačaka koji se sastoji od niza tačaka u prostoru koje imaju informacije o položaju određenog objekta u viziji kamere. Ovaj oblak tačaka može se pretvoriti u kartu dubine koja prikazuje boje kao različite dubine (slika 2). Crvena je udaljenija, dok je plava bliža metrima.

Kako bi se osiguralo besprijekornost ovog sistema, korišten je operativni sistem otvorenog koda nazvan ROS, koji se obično koristi na robotima. Omogućava kontrolu uređaja na niskom nivou, pristup svim senzorima i kompajliranje podataka koje će koristiti drugi programi. ROS će komunicirati s Realsense SDK -om koji omogućava uključivanje i isključivanje različitih kamera radi praćenja udaljenosti objekata od sistema. Veza između oboje omogućuje mi pristup podacima iz kamere koja stvara oblak točaka. Podaci oblaka tačaka mogu odrediti gdje su granice i objekti unutar 30 metara i tačnost od 2 cm. Ostali senzori, poput senzora SONAR i ugrađenih senzora u DJI Naza kontroleru, omogućuju preciznije pozicioniranje četvorougla. Moj softver koristi AI algoritme za pristup oblaku točaka i lokalizacijom stvara kartu cijelog prostora koji okružuje uređaj. Jednom kada se sistem pokrene i počne skenirati, putovat će hodnicima i pronaći ulaze u druge prostorije gdje može pregledati sobu posebno tražeći ljude. Sistem ponavlja ovaj proces dok se sve prostorije ne skeniraju. Trenutno quadcopter može letjeti oko 10 minuta, što je dovoljno za potpuno brisanje, ali se može poboljšati različitim rasporedom baterija. Prvi koji dobiju odgovor dobit će obavijesti kada ljudi budu uočeni kako bi mogli usmjeriti svoje napore na odabrane zgrade.

Korak 7: Rasprava i zaključak

Nakon mnogih pokusa, stvorio sam radni prototip koji je ispunio zahtjeve navedene u tablici 1. Korištenjem Realsense D435 stereo infracrvene kamere sa Realsense SDK -om stvorena je mapa dubine visoke rezolucije prednje strane četvorice. U početku sam imao problema s infracrvenom kamerom koja nije mogla otkriti određene objekte poput stakla. Dodavanjem SONAR senzora uspio sam prevladati ovaj problem. Kombinacija Rock64 i DJI Naza bila je uspješna jer je sistem uspio stabilizirati quadcopter dok je mogao detektovati objekte i zidove pomoću prilagođenih algoritama za računarski vid koristeći OpenCV. Iako je trenutni sistem funkcionalan i ispunjava zahtjeve, mogli bi imati koristi od nekih budućih prototipova.

Ovaj sistem bi se mogao poboljšati upotrebom kamera višeg kvaliteta kako bi se moglo preciznije otkriti ljude. Neke od skupljih FLIR kamera imaju mogućnost otkrivanja toplotnih potpisa što može omogućiti preciznije otkrivanje. Sistem bi takođe mogao da funkcioniše u različitim okruženjima, poput soba koje su prašnjave i ispunjene dimom. S novom tehnologijom i protupožarnom izolacijom, ovaj sistem bi se mogao poslati u kuće koje gore i brzo otkriti gdje se ljudi nalaze kako bi hitni pomoć mogao izvući preživjele iz opasnosti.

Hvala na čitanju! Ne zaboravite glasati za mene na takmičenju Optika!