Biofeedback Cinema: 7 koraka

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:08

Autor projekta

Jessica Ann

Saradnici

• Gregory Hough
• Salud Lopez
• Pedro Peira

O

Eksperimentalni sistem za snimanje videa koji povezuje mozak sudionika s funkcijama kamere putem Neurosky Mindwave EEG čitača. Biofeedback Cinema sistem radi umjesto tradicionalnog snimatelja, umjesto toga prepušta agenciju kompozicije samoj učesnici putem prilagođenog sučelja BRAIN to CAMERA. Projekt je razvijen u suradnji s polaznicima radionice Gregoryjem Houghom, Saludom Lopezom i Pedrom Peirom. Rezultate radionice možete pročitati na:

Konfiguracija prototipa

Biofeedback Cinema sistem podnosi se mnogim potencijalnim aplikacijama. Za ovu instrukciju pripremili smo demonstraciju sistema koja gleda na nivo fokusa/pažnje učesnika (jedan cijeli broj) i to prevodi u položaj kamere (putem pomicanja i nagiba) i fokus kamere (interno putem OpenCV -a). To sve omogućuje bluetooth veza između Neurosky EEG čitača i Raspberry Pi.

Raspberry Pi je mali računar opremljen web kamerom i skriptama (dostupno u nastavku) koje premošćuju aktivnost mozga učesnika do postavki kamere i položaja kamere. Dinamičan položaj kamere omogućen je putem Arduino mikrokontrolera koji prima signale iz Raspberry Pi. Radujemo se daljnjem razvoju jer želimo uključiti dodatne parametre moždanog vala (frekvencije povezane s treptajem oka itd.) I funkcije kamere (tj. Nijansu, zasićenje, svjetlinu itd.).

Ispod su upute za izgradnju vlastitog biofeedback kino sistema.

Sretno eksperimentiranje

Korak 1: Potrošni materijal

U nastavku je navedeno sve što vam je potrebno za izradu vlastitog prototipa Biofeedback Cinema.

1. Mobilne EEG slušalice Neurosky Mindwave

2. Raspberry Pi B+ (b+ je bolji, više USB portova, ali i B model je u redu ako imate USB hub).

   1. Raspberry Pi adapter za napajanje ili baterija
   2. Wifi Dongle -ili -Ethernet veza (potrebno samo tokom postavljanja)
   3. Bluetooth Dongle see wiki za kompatibilne ključeve
   4. SD kartica (najmanje 8 GB) sa NOOBS -om.

3. Arduino Bilo koja ploča je u redu, koristeći Uno u ovom uputstvu. Takođe imajte na umu da možete samo koristiti I/O na Pi -u.

   1. Arduino adapter za napajanje ili baterija
   2. A-B USB kabel
4. USB web kamera
5. Mini Pan-Tilt Kit

6. Monitor sa HDMI ulazom Ili koristite VNC za daljinsko upravljanje vašim pi sa računara [vodič ovde]

   HDMI kabel

7. USB tastatura i miš preporučuju bluetooth tastaturu i miša za smanjenje korištenja USB portova.

Korak 2: Postavite Raspberry Pi

1. Postavljanje hardvera

Povežite tastaturu, miša, bluetooth dongle, wifi dongle (ili ethernet), web kameru, monitor putem HDMI kabla i napajanje na svoj Raspberry Pi

2. Podesite operativni sistem

• Uključite napajanje i vaš Pi bi se trebao pokrenuti. Instalirajte Rasbpian OS, upute ovdje:
• Ako se pokrene i Raspian je pravilno instaliran, trebali biste vidjeti početnu radnu površinu [Slika gore].

SAVETI:

• Ako je omjer širine i visine ekrana isključen, pokušajte ponovo pokrenuti Raspberry Pi. Ako je i dalje isključeno, pogledajte ovdje za ručno ažuriranje omjera širine i visine slike.
• Ako otvorite uređivač teksta, a posebni znakovi na tipkovnici su pogrešno prikazani, pogledajte ovdje kako biste ažurirali konfiguraciju tipkovnice.
• Testirajte svoju internetsku vezu (ovo će vam trebati za instaliranje biblioteka tokom postavljanja). Ovdje potražite pomoć pri postavljanju WiFi mreže.

Korak 3: Povežite Neurosky slušalice

1. Bluetooth konfiguracija

Prije nego se Pi poveže s Neurosky -om, moramo postaviti bluetooth:

Na radnoj površini otvorite "LXTerminal" (od sada nadalje označen kao Terminal). Pokrenite ovu naredbu da biste riješili i ažurirali nedostatke:

$ sudo apt-get update

Instalirajte bluetooth pomoću ove naredbe:

$ sudo apt-get install bluetooth

Instalirajte zgodan Bluetooth pomoćni program na radnoj površini sa alatne trake:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Ponovo pokrenite Pi sa terminala:

$ sudo ponovno pokretanje

2. Testirajte Bluetooth vezu

• Uključite Neurosky slušalice
• Iz skeniranja terminala za uređaje:

hcitool scan

Slušalice Mindwave trebaju biti navedene, imajte na umu MAC adresu slušalica [slika gore]

3. Instalirajte Neurosky Libraries

Sada smo spremni za instalaciju biblioteka Neurosky Python i započinjemo prikupljanje njezinog toka podataka pomoću testne skripte knjižnice:

Iz terminala instalirajte uslužni program github:

sudo apt-get install git-core

Klonirajte github spremište s bibliotekom Neurosky Python:

klon sudo git

Moramo ažurirati datoteku MindwaveMobileRawReader.py s MAC adresom vaših slušalica. Napomena: Imena datoteka razlikuju velika i mala slova

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Ažurirajte MAC adresu navedenu u datoteci. Ctrl-X za završetak, Y za spremanje, Enter za izlaz.
• Uparite Neurosky i Pi i dopustite funkciju automatskog povezivanja, ako se od vas zatraži PIN, upotrijebite "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-uređaj pouzdan XX: XX: XX: XX: XX: XX da

Instalirajte Python Bluetooth biblioteku:

sudo apt-get install python-bluez

Pokrenite testnu skriptu biblioteke kako biste bili sigurni da Pi može pregledati tok podataka. Trebali biste vidjeti prijenos podataka [slika gore]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Korak 4: Povežite USB web kameru W/Otvorite CV

1. Instalirajte OpenCV

Sa terminala:

$ sudo apt-get install libopencv-dev python-opencv

Kada završite, nastavite:

$ sudo apt -get -f install

Za dobru mjeru:

$ sudo apt-get install libopencv-dev python-opencv

Testirajte instalaciju pokušavajući uvesti biblioteku:

$ python

> uvoz cv2

2. Testirajte OpenCV u Pythonu pomoću USB web kamere

• Na radnoj površini otvorite "IDLE" (ne otvarajte IDLE3!)
• Iz izbornika Datoteka odaberite Novi prozor. Kopirajte našu Cv-Blur-Test skriptu u novi prozor i spremite. Skripta dostupna ovdje:
• Iz izbornika Run odaberite Run Module (ili pritisnite F5). Može potrajati nekoliko sekundi prije nego što krenete, ali trebali biste vidjeti mali okvir sa sažetkom web kamere uživo, a videozapis bi trebao biti zamućen. Čestitamo, OpenCV je instaliran i uspješno radi s vašom web kamerom [Slika gore].

Korak 5: Povežite Arduino

1. Preuzmite Arduino IDE

Sa terminala:

sudo apt-get install arduino

2. Spojite Arduino & Load Sketch

• Priključite arduino u Pi pomoću A-B USB kabela.
• Iz izbornika Start na radnoj površini idite na Electronics i otvorite Arduino IDE. Kopirajte našu skicu arduino-serial-pi u IDE [veza ispod]. Ovo je vrlo osnovna skica koja će pokretati servo motore na osnovu ulaza koji dolazi preko serijske jedinice. Poslaćemo podatke putem serije na osnovu izlaznog talasa mozga, koristeći Python skicu u poslednjem koraku kada sve spojimo.

Arduino-serial-pi skica online ovdje:

U Arduino IDE idite na izbornik Alati, odaberite Serijski port i odaberite navedeni Arduino port, vjerojatno nešto poput /dev /ttyACM0. Zabilježite luku

3. Onemogućite serijsku konzolu

Preuzmite i pokrenite skriptu za onemogućavanje serijske konzole kako bi USB serijska veza mogla nesmetano raditi:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo ponovno pokretanje

FYI:

Ako koristite B+, možda će biti dovoljno I/O za podršku servo pogonima (pogledajte ovdje za postavljanje i korištenje GPIO -a). Međutim, zainteresiran sam za dodavanje dodatnih komponenti za buduća eksperimentiranja mozga prema elektronici. Dakle, postavljanje početnog prototipa s arduinom osigurava obilje elektroničkih mogućnosti.

Korak 6: Sastavite sve zajedno

1. Završna Python skripta

Prije nego što možemo dodati konačnu python skriptu u mapu "python-mindwave-mobile", moramo promijeniti dozvole za mapu. Sa terminala:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Otvorite IDLE i pokrenite našu konačnu Python skriptu, dostupnu na Internetu: https://github.com/PrivateHQ/biofeedback-cinema/ Provjerite da li se nalazi u mapi Python-mindwave-mobile. Napomena: Morat ćete ažurirati našu Python skriptu sa stvarnom adresom Arduino porta.
• Kada pokrenete ovu skriptu, trebale bi se dogoditi tri stvari: 1) Nivo vaše pažnje bit će naveden u Python ljusci, 2) Pojavljuje se mali okvir koji prikazuje prijenos uživo s web kamere s zamućenjem koje se mijenja ovisno o razini pažnje, 3) motor (s) pomaknite se dok se nivo pažnje prenosi na arduino putem serijskog [Video gore].

Korak 7: Poboljšanja i razvoj

Raspberry Pi ima ograničenu procesorsku snagu i bori se za nesmetano izvođenje OpenCV funkcija. Ovo je nešto što ću nastaviti razvijati i poboljšavati. Osim toga, planiram u buduće iteracije uključiti dodatne parametre moždanog vala (frekvencije povezane s treptajem oka itd.) I funkcije kamere (tj. Nijansu, zasićenje, svjetlinu itd.).