Rukavice za pretvaranje pokreta u govor/tekst: 5 koraka

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:05

Ideja/poticaj iza implementacije ovog projekta bila je pomoći ljudima koji imaju poteškoća u komunikaciji pomoću govora i komunikaciji pomoću pokreta rukama ili popularnije poznatom kao američki jezik s potpisom (ASL). Ovaj projekat može biti korak ka pružanju tim ljudima mogućnosti da rade sa drugim ljudima, koji ne razumiju znakovni jezik, u okruženju za saradnju. Takođe, ovaj projekat će im omogućiti da drže javne govore bez upotrebe stvarnog ljudskog prevodioca. Za početak, samo sam pokušavao otkriti neke od lakših gesta poput abeceda A, B, I itd., A također sam dodijelio određene geste uobičajenim riječima/pozdravima, poput 'Zdravo', 'Dobro jutro', itd.

Korak 1: Sklop sklopa

Korak 2: Detalji projekta

Ovaj projekt uključuje nosive rukavice sa 4 senzora savijanja zaglavljena/ugrađena u rukavicu - po jedan za mali, srednji, kažiprst i palac. Fleksibilni senzor nije korišten za prstenaste prste zbog ograničenja dostupnosti pin -ova za analogni ulaz na Arduino Uno R3 i općenito zbog nedostatka nezavisnog kretanja prikazanog prstom na znakovnim jezicima. Također se koristi akcelerometar MMA8452Q koji je zalijepljen na stražnjoj strani dlana za mjerenje orijentacije ruke. Ulazni podaci s ovih senzora se analiziraju i koriste za osjećanje geste. Kada se pokret osjeti, odgovarajući znak/poruka se sprema u varijablu. Ovi znakovi i poruke nastavljaju se spajati sve dok se ne učini određeni unaprijed određeni pokret koji označava završetak rečenice. Nakon što se otkrije taj poseban pokret, spremljeni niz rečenica Arduino šalje na Raspberry Pi putem USB kabela. Raspberry Pi zatim šalje primljeni niz Amazon Cloud servisu pod imenom Polly da pretvori primljenu rečenicu u tekstualnom formatu u format govora, a zatim prenosi primljeni govor na zvučniku spojenom na Raspberry Pi putem AUX kabela.

Ovaj je projekt bio samo Dokaz koncepta i s boljim dijelovima opreme i planiranja te bolje kalibriran za otkrivanje mnogih drugih gesta i pokreta ruku. Trenutno je samo ograničena funkcionalnost programirana u ovaj projekt, kao što je osnovno otkrivanje pokreta i izlaz teksta u govor.

Korak 3: Kodirajte

Korak 4: Koraci

1. Priključite fleksibilne senzore i akcelerometar MMA8452Q na Arduino prema priloženom dijagramu kola.

2. Izbacite program Final_Project.ino (koji se nalazi u datoteci Arduino_code.zip) na Arduino.

3. Spojite Arduino na Raspberry Pi putem USB kabela. (Tip kabla A/B).

4. Uključite Raspberry Pi, kopirajte datoteku Raspberry_pi_code.zip u Raspberry Pi i raspakujte je. Priključite zvučnik na Raspberry Pi.

5. Kopirajte vjerodajnice za AWS račun, tj. Aws_access_key_id, aws_secret_access_key i aws_session_token u datoteku ~/.aws/credentials. Ovaj korak je potreban za komunikaciju s AWS oblakom i korištenje AWS usluga.

6. Pokrenite program seria_test.py koji se nalazi unutar izdvojene mape u koraku 4.

7. Sada napravite pokrete kako biste oblikovali rečenicu, a zatim napravite posebnu kretnju (Držite prste i dlan ravnim i u liniji s dlanom okrenutim prema vama, a zatim okrenite zglob okrećući ga prema dolje tako da sada vaš dlan je okrenut prema vama, a vrh prstiju usmjeren prema dolje prema vašim stopalima.) da signalizira završetak rečenice.

8. Nastavite provjeravati terminal za korisne informacije.

9. I slušajte kako se konvertirani govor emitira na zvučniku.

Korak 5: Reference

1.

2.

3.

4.