Prepoznavač pokreta rukama: 5 koraka

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:05

Pregled

U ovom projektu napravit ćemo rukavicu koja može prepoznati neke osnovne pokrete rukama, koristeći MicroBit i nekoliko senzora. Koristit ćemo Bluetooth mogućnosti na MicroBitu, zajedno s Android aplikacijom i web serverom za obuku modela strojnog učenja za identifikaciju pokreta ruke.

Počinjemo

Većina napora uključenih u ovaj projekt je na softverskoj strani, a sav kôd potreban za pokretanje ovog projekta dostupan je na GitHubu. Baza kodova uključuje 3 komponente, kôd za generiranje HEX datoteke za MicroBit, bazu kodova za Android aplikacije koja se u velikoj mjeri temelji na aplikaciji MicroBit Blue MicroBit Foundation, s izmjenama napravljenim za ovaj specifični slučaj upotrebe, te web poslužitelj s kodom za obučavanje modela zasnovanog na Tensorflowu za identifikaciju pokreta ruku.

Zatim ćemo vidjeti kako izraditi rukavicu i spojiti je s aplikacijom i web serverom.

Supplies

• 1 BBC Microbit
• 1 Nosač baterija sa 2 AAA baterije
• 1 rukavica
• Set kratkospojnih žica, štipaljki od aligatora
• Senzor savijanja
• Senzor sile
• Velcro
• Električna traka
• Android telefon
• PC/laptop

Korak 1: Korak 1: Postavljanje MicroBita i baterije

• Počnite pričvršćivanjem držača baterije na komad čička kako je prikazano na prvoj slici. Električnom trakom čvrsto pričvrstite držač baterije na čičak traku.
• Zatim električnom trakom napravite petlju tako da bude ljepljiva s obje strane i zalijepite je na vrh baterije.
• Zalijepite MicroBit na omču trake da biste čvrsto pričvrstili MicroBit na držač baterije kao što je prikazano na drugoj slici.

Korak 2: Priključite senzore

• Slijedite dijagram kruga prikazan na slici za povezivanje fleksibilnog senzora na pin 1 MicroBita i senzor sile na pin 0 MicroBita.
• Osigurajte senzore na rukavici električnom trakom kako je prikazano na slikama.

Korak 3: Dovršavanje hardvera

• Pomoću krajeva čičak traka oblikujte petlju i prevucite petlju preko prstiju rukavice, kao što je prikazano na slici.
• Možete koristiti žičane vezice za pričvršćivanje žica na rukavici kako biste spriječili njihovo previše pomicanje.

U sljedećem odjeljku ćemo pogledati kako postaviti softver.

Korak 4: Postavljanje softvera

Uparivanje telefona sa MicroBitom

1. Za uparivanje telefona, prvo provjerite je li Bluetooth uključen na telefonu.
2. Uključite svoj MicroBit i pritisnite i držite tipke A i B. U isto vrijeme pritisnite i otpustite tipku za poništavanje dok još držite tipke A i B. Mikrobit bi sada trebao ući u način uparivanja.
3. Na telefonu pronađite svoj MicroBit na popisu Bluetooth uređaja na koji obično dodajete novi Bluetooth uređaj i započnite uparivanje. Na vašem MicroBitu vidjet ćete strelicu koja pokazuje na dugme A. Kada pritisnete ovo, MicroBit će prikazati niz brojeva koji je kôd za uparivanje koji morate unijeti na svom telefonu. Nakon što unesete kôd na telefon i odaberete par, na MicroBitu bi se trebala prikazati kvačica.
4. Pritisnite tipku za resetiranje na MicroBitu.

Postavljanje softvera

Slijedite vodiče ReadMe u svakoj podmapi u spremištu GitHub kako biste postavili projekt Android aplikacije u Android Studiju, izgradili i prenijeli HEX datoteku na vaš MicroBit i pokrenuli web poslužitelj za pokretanje modela strojnog učenja.

Korak 5: Upotreba

Web server

Otvorite terminal u direktoriju projekta web poslužitelja i pokrenite `python server.py` da biste pokrenuli poslužitelj nakon što slijedite upute u ReadMe -u za instaliranje ovisnosti

Android aplikacija

1. Napravite i napravite APK za Android aplikaciju iz Android Studija. Pokrenite aplikaciju nakon uparivanja telefona s MicroBitom (pogledajte prethodni korak).
2. Na stranici akcelerometra možete postaviti URL web poslužitelja pomoću izbornika postavki u gornjem desnom kutu. Obavezno promijenite ovo u IP vašeg web servera.
3. Pričekajte dok se očitanja akcelerometra ne počnu popunjavati iz MicroBita. Vidjet ćete kako se očitanja mijenjaju različitom učestalošću. Za promjenu frekvencije pritisnite B na MicroBitu. U idealnom slučaju možete koristiti vrijednost frekvencije 10 (koja uzorkuje očitanja svakih 10 ms)
4. Nakon što se čitanja popune, imenujte svoju gestu koristeći okvir za tekst s oznakom 'Gest:' i pritisnite dugme za snimanje. Čim pritisnete dugme za snimanje, ponavljajte pokrete rukom, sve dok se dugme ponovo ne omogući.
5. Ponovite korak 3 za snimanje više pokreta.
6. Pritisnite dugme za voz da biste započeli obuku modela na serveru. Nakon što je trening završen (oko 15 sekundi), možete nastaviti s predviđanjima.
7. Pritisnite dugme za predviđanje i napravite pokret/gest. Aplikacija će je pokušati uskladiti s jednim od uvježbanih pokreta što je bolje moguće.