PiTextReader-čitač dokumenata lakog za upotrebu za osobe oštećenog vida: 8 koraka (sa slikama)

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:07

Pregled

Ažuriranje: Kratka video demonstracija:

PiTextReader omogućava nekome sa oštećenim vidom da "čita" tekst iz koverti, pisama i drugih predmeta. Snima sliku predmeta, pretvara se u običan tekst pomoću OCR-a (optičko prepoznavanje znakova), a zatim izgovara tekst koristeći pretvaranje teksta u govor.

Čitač je dizajniran da bude što je moguće jednostavniji za upotrebu. Nije potreban internet, nema grafičkog interfejsa, samo jedno dugme. Samo postavite stavku za čitanje na postolje i pritisnite dugme. Nakon nekoliko trenutaka, tekst će im se ponovo pročitati.

Dizajnirao sam ovo za starijeg roditelja s problemima vida, poput makularne degeneracije, ali se može koristiti šire za svakoga tko želi štampani tekst preveden u audio govor.

Dostupni su mnogi čitači, međutim, većina njih košta hiljade dolara ili su namijenjeni nekome tko se razumije u tehnologiju i zahtijeva internetsku vezu i korištenje pametnog telefona. Ovaj čitač je dizajniran da bude potpuno samostalan bez interneta i sučelja osim velikog gumba.

Pros

• Jedno dugme za kontrolu
• Nije potrebna internetska veza
• Nema grafičkog korisničkog interfejsa za navigaciju
• Ukupni troškovi manji od 100 USD
• Uvijek spreman za polazak

Cons

• OCR može biti ograničen zbog fontova, boja, veličine teksta itd.
• Govor zvuči kao Stephen Hawking
• Najbolje funkcionira za male dijelove crnog teksta na bijelom papiru.

Korak 1: Hardver

• Raspberry Pi 3 (treba konjske snage!)
• 8 GB + mikro SD kartica
• 5v 2A DC napajanje za Raspberry
• Raspberry Pi kamera (obična ili NoIR)
• Kabel od 24”Raspberry Pi kamerehttps://www.adafruit.com/product/1731
• Nosač kamere ili kućištehttps://www.adafruit.com/product/3253 orhttps://www.adafruit.com/product/1434
• Alat za podešavanje objektiva (za fokusiranje kamere)
• Mono zvučnik sa USB napajanjem (poželjna je mala veličina)
• Veliko dugme - Trenutno sa LED diodomhttps://www.adafruit.com/product/1440
• Otpor 330 ohma za gornju LED tipku
• Drvena kutija 8”x8” x2”iz Michaels -a ili drugih velikih prodavaonica umjetnina.
• Staro drvo za izgradnju postolja za kamere:
• 8”Lx1” Wx1/2”T ravna traka
• 5”Lx1” Wx1/4”T ravna traka
• 6”Lx1/2” x1/2”kvadratni klin za vodič za postavljanje
• Vijci, ljepilo, žica, lemljenje itd.

Korak 2: Konstrukcija hardvera

Koristeći kutiju 8”x8”:

1. Izbušite rupu na stražnjoj strani kabela za napajanje.

2. Izbušite rupu u prednjem desnom uglu za trenutno dugme3. Izbušite rupe za zvučnik. (pogledajte audio korak 12 ispod)

4. Koristio sam komad aluminijske trake 2”x1/4” x13”za montažu kamere, ali i drvene trake rade.

a. Montirajte ravnu drvenu traku od 8”na stražnju stranu poklopca kutije. (budite sigurni da je pričvršćen za LID, a ne za dno kutije, inače ga nećete moći otvoriti!)

b. Montirajte plosnatu drvenu traku od 5”na vertikalu od 8” pomoću vijaka i ljepila. NAPOMENA da visina kamere određuje veličinu dokumenta i potreban fokus. Možda ćete htjeti ići više za dokumente veće površine.

5. Izrežite prorez od 1”x1/16” na vrhu kutije blizu okomice od 8”kako bi kabel kamere prošao kroz njega.

NAPOMENA: Što se tiče elektronike, predlažem da još uvijek ne montirate trajno komponente kako biste mogli jednostavno izvršiti prilagodbe.

6. Priključite 24 -inčni kabel kamere na kameru. NE POVEZUJTE SE SA MALINOM.

Korak 3: Nastavak hardvera…

7. Montirajte kameru prema dolje s kraja drvene trake od 5”. Predlažem da pričekate prije nego što postavite kameru u futrolu kako biste mogli lakše fokusirati objektiv nakon trčanja!

Za početno fokusiranje, upotrijebite alat za podešavanje i okrenite objektiv u smjeru suprotnom od kazaljke na satu za 1/4! skrenuti.

8. Provucite kabel kamere kroz utor, a zatim ga pričvrstite na Pi. (Budite sigurni da je Pi ISKLJUČEN!)

9. Instalirajte dugme za trenutak i spojite žice između njega i Pi GPIO pinova 24 i GND. I LED diodu dugmeta spojite kroz otpornik od 220 ohma na Pi GPIO pinove 18 i GND.

10. Uključite napajanje u kutiju i uključite ga u Pi. Morate upotrijebiti rasterećenje, poput ljepila za topljenje ili slično, da biste začepili rupu u kutiji tako da se kabel ne može izvući.

Korak 4: Instalacija audio hardvera …

11. Za zvuk sam koristio mono zvučnik koji je koristio USB napajanje i mini priključak. Uklonio sam elektroniku i zvučnik iz originalnog plastičnog kućišta i priključio audio utikač u Pi audio utičnicu, a USB kabel u Pi USB. Također sam zamijenio originalni mali zvučnik većim 3”za mnogo bolju kvalitetu zvuka.

Budući da sam zvučnik postavio ispod poklopca kutije, izbušio sam više malih rupa u obliku rešetke za zvučnike.

12. Na kraju, provjerite veze, posebno kabel kamere i GPIO veze.

NE UKLJUČUJTE PI JOŠ. Prvo nastavite s postavljanjem softvera …

Ne postoji prekidač za uključivanje/isključivanje, jer se pretpostavlja da bi Pi trebao biti uključen cijelo vrijeme tako da je spreman odmah nešto pročitati. Koristi samo nekoliko vati i može raditi 24 sata dnevno bez problema.

Moguće je da se SD kartica ošteti ako se isključi ili ako dođe do prekida napajanja, ali to je rijetkost. Nikada do sada nisam imao SD karticu koju nije moguće pokrenuti. Ali nemojte priključivati utikač koji se redovno isključuje/uključuje.

Korak 5: Postavljanje i konfiguracija operativnog sistema

Formatirajte microSD karticu od 8 GB ili veću pomoću Raspbian Jessie (ili Stretch) Lite (nema grafičkog sučelja za ovaj projekt).

www.raspberrypi.org/downloads/raspbian/

Malini ćete morati pristupiti daljinski putem SSH -a. U sustavu Windows možete koristiti terminalni program PUTTY SSH. Na Macu samo otvorite prozor komandnog terminala. Alternativno, možete privremeno uključiti tastaturu i HDMI monitor samo da biste je izgradili, ali SSH olakšava rad kasnije.

Jeste li znali? Ako instalirate Raspbian Jessie na SD karticu pomoću Windows računara, možete stvoriti dvije datoteke na kartici za konfiguriranje WiFi i SSH pristupa prije nego što je pokrenete na Raspberryju?

U tu svrhu pretpostavite da je vaša SD kartica trenutno montirana kao K: na vašem računaru:

1) Instalirajte najnoviju sliku Raspbian Jessie na SD. Za ovaj projekt trebala bi raditi Jessie Lite.

2) Pomoću bilježnice stvorite datoteku koja se zove samo “ssh” i koristite Spremi kao “Sve datoteke” u K: / ssh Datoteka može sadržavati bilo što. Naziv datoteke je važan. NE smije biti “ssh.txt” !!!

3) Pomoću bilježnice stvorite datoteku pod nazivom „wpa_supplicant.conf“sa sljedećim:

ctrl_interface = DIR =/var/run/wpa_supplicant GROUP = netdevupdate_config = 1

mreža = {

ssid = "mySSID" psk = "moja lozinka" key_mgmt = WPA-PSK}

Koristite Spremi kao “Sve datoteke” u K: / wpa_supplicant.confNe dopustite da Notepad promijeni u “wpa_supplicant.conf.txt” !!

Kad prvi put pokrenete Raspberry, Jessie će ih potražiti i spojiti na vaš Wifi. IP adresu ćete morati potražiti na usmjerivaču jer je automatski dodijeljen pomoću DHCP -a.

Sada ste spremni za instalaciju na svoj Pi:

1. Umetnite microSD karticu u Pi i odmah uključite napajanje.

2. Da biste se daljinski prijavili na svoj Raspberry Pi, morat ćete pronaći njegovu IP adresu. Možete probati:

$ ssh [email protected]

Ili iz Putty, unesite naziv hosta: [email protected]

U suprotnom ćete morati vidjeti hoće li vaš usmjerivač prikazivati IP adrese vaših lokalnih uređaja.

Nakon što ste prijavljeni kao pi korisnik:

3. Ažurirajte svoj Raspbian OS:

$ sudo apt update

$ sudo apt upgrade

4. Konfigurirajte Raspberry i omogućite kameru:

$ sudo raspi-config

a. Promijenite korisničku lozinku

b. Opcije sučelja -> Kamera -> Omogući

c. Završi

d. Ponovo pokrenite sistem

Korak 6: Instalacija aplikacijskog softvera

Sada se ponovo prijavite na svoj Pi i spremni ste za instaliranje aplikacije PiTextReader.

1. Instalirajte početni potreban softver: $ sudo apt install git –y

2. Preuzmite softver:

$ cd /home /pi

klon $ git

$ cd PiTextReader

$ sh install.sh

Možete sigurno ponovo pokrenuti install.sh više puta, ako je potrebno.

3. Postavite jednostavan dokument za čitanje i pokrenite testni program koji postavlja jačinu zvuka, reproducira zvuk pretvaranja teksta u govor i slika.

$ sh test.sh

Ako dobijete bilo koju poruku o grešci, provjerite Rješavanje problema u nastavku. Uredite program test.sh da biste podesili jačinu zvuka ako je potrebno.

4. Testni program sprema fotografiju u “test.jpg”. Morat ćete kopirati ovu sliku na računalo kako biste mogli vidjeti fokus i vidno polje. Brz i prljav način za to je pokretanje malog web servera na vašem Pi i korištenje preglednika:

$ python -m SimpleHTTPServer 8080 &

Zatim idite na https:// {IPaddress}: 8080/

Kliknite na test.jpg

Za fokusiranje fotoaparata koristite alat za podešavanje objektiva.

Ponovno pokrenite program test.sh koliko god je potrebno.

NAPOMENA: ako trebate prilagoditi postavke kamere za raspistill, morat ćete urediti i program pitextreader.py s novim postavkama.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo ponovno pokretanje

Pi bi trebao izaći i automatski se pokrenuti, spreman za rad.

Korak 7: Operacija

Kada pokrenete Pi, čut ćete "OK Ready", a vidjet ćete i kako LED dioda svijetli.

Kad god LED svijetli, uređaj je spreman za rad.

Stavite neki štampani tekst ispod kamere, po mogućnosti samo nekoliko redova crnog teksta na bijeli papir.

Imajte na umu da kameri nije potrebno puno svjetla, posebno NoIR -u. Ambijentalno svjetlo u sobi je bilo dobro za mene. Previše svjetla uzrokuje neujednačeno osvjetljenje i narušava OCR.

Pritisnite dugme.

LED dioda bi trebala zasvijetliti i zvuk klika kamere, kao i govor "OK radi".

Nakon nekoliko sekundi, tekst bi trebalo pročitati. Ako je tekst izobličen, font previše taman ili presvijetli, bočno ili naopako, rezultat će biti golub-gook govor!

Pretvaranje i početak čitanja može potrajati između 5-30 sekundi, stoga budite strpljivi. Što više teksta, to duže traje.

Ako trebate prestati čitati, možete pritisnuti tipku dok se zvuk još reproducira (LED je isključen.)

Nakon završetka govora, nakon nekoliko sekundi, LED lampica će se ponovo uključiti i ponovo ćete čuti „OK spremno“. Spreman je za ponovno skeniranje.

Imajte na umu da je udaljenost kamere podešena za Raspi kameru i za samo dio dokumenta veličine 8x10. Otkrio sam da je najbolje čitati dijelove dokumenta odjednom jer cijele stranice može biti teško slušati. Mnoge stvari koje je potrebno pročitati su manji tekst, pa ako je kamera predaleko, to se ne može riješiti.

Za rješavanje problema provjerite ispod, posebno odjeljak Skeniranje i OCR

Ako je sve u redu, trajno montirajte sve komponente kako biste dovršili konstrukciju.

Korak 8: Rješavanje problema

1. KAMERA

Provjerite je li kamera omogućena putem

$ sudo raspi-config

Opcije povezivanja -> Kamera

Ponovno postavite ribbon kabel jer je osjetljiv i mora biti točno poravnat. Ako je potrebno, potražite na Google -u “rješavanje problema s malinom pi kamerom” da biste potražili slične probleme. Takođe googlajte poruku o grešci koju dobijete prilikom pokretanja programa test.sh.

2. ZVUK

Imate li pojačan zvuk?

$ sudo amixer -q sset PCM, 0 100%

Pokrenite audio test

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Nema još zvuka? Isključite audio iz utičnice:

$ sudo raspi -config Napredne opcije -> Zvuk -> Prisilite priključak za slušalice

3. GOVOR

Ako zvuk iznad zvuči dobro, pokušajte:

$ flite -t TEST

Googleove poruke o grešci, ako ih ima.

Ponovo pokrenite install.sh

Da, govor zvuči pomalo kao Stephen Hawking.

4. SKENIRANJE I OCR

Ovo je najveće potrebno područje za ugađanje. Da bi OCR ispravno radio, slika kamere mora biti dobre kvalitete; dokument mora biti glatko osvijetljen, ali ne nužno i jako.

Tekst mora biti ravan i jasan. Nisu svi fontovi čitljivi.

Da biste provjerili kvalitetu, pregledajte dvije datoteke:

/tmp/text.txt i /tmp/image.jpg

Možete pokrenuti mali web server i koristiti pretraživač:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Tekst na slici treba biti jasan i čitljiv. Slika bi trebala biti desna strana prema gore, dobar kontrast, u fokusu. Možda ćete morati okrenuti dokument ako je naopako. (podsjetite korisnika da ako čuje gobbly-gook, pokušajte okrenuti dokument.) Ako slika ima slab kontrast, morat ćete poboljšati osvjetljenje, previše ili premalo može uzrokovati probleme. Neravnomjerno osvjetljenje uzrokovat će i otkazivanje dijelova teksta. Dodatnu pomoć možete pronaći googlom „pomoć za tesseract-ocr“

5. HDMI MONITOR/TIPKOVNICA

Da, možete uključiti tastaturu i monitor u Pi, posebno. ako ne možete pronaći IP adresu ili ne možete pristupiti putem SSH -a. Ne postoji grafičko sučelje i ovo može isključiti zvuk osim ako vaš monitor nema zvučnik.

6. INTERNET/WIFI

Ako WIFI ne radi, možete samo privremeno spojiti Ethernet kabel i koristiti ga.

Ovom projektu ne trebaju internet ili WiFi nakon što dovršite instalaciju i postavljanje.