AI sa Grove Zero i Codecraft (Scratch 3.0): 5 koraka (sa slikama)

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:05

U ovom ćemo članku izgraditi tri projekta koji koriste AI funkcije Codecraft -a, grafičkog programskog okruženja zasnovanog na Scratch 3.0. Codecraft razvija i održava TinkerGen obrazovanje i besplatan je za upotrebu.

Vještačka inteligencija i njen podskup, mašinsko učenje, postali su sastavni dio naših života u posljednjih 10 godina. Školski programi u mnogim zemljama uključuju AI i znanje o mašinskom učenju, ali prosječnom učitelju može biti teško stvoriti nastavne materijale za podučavanje ove teme bez odgovarajućih alata. Korištenje biblioteka strojnog učenja, čak i onih najjednostavnijih za korištenje, poput Kerasa, za izradu aplikacije s kojom studenti mogu komunicirati, može biti dugotrajan i zastrašujući zadatak. Ovdje bi Codecraft mogao pomoći - ima bogat skup aplikacija pokrenutih mašinskim učenjem koje nastavnik može koristiti da objasni i demonstrira koncepte koji se odnose na umjetnu inteligenciju. Hajde da ih pogledamo!

Korak 1: Pregled proširenja AI

Otvorite Codecraft mrežni uređivač na

Kliknite na Stage mode, a zatim na gumb Add Extension pri dnu navigacijske kartice blokova.

Vidjet ćete da su dostupna tri AI proširenja:

- Kognitivne usluge --- modeli mašinskog učenja za obradu video zapisa i zvuka uživo

- Teachable Machine --- može se koristiti za obuku klasifikacionog modela sa slikama snimljenim fotoaparatom

- Prevedi --- koristi mašinsko učenje za prevođenje

U ovom članku ćemo se fokusirati na kognitivne usluge i korištenje ovih funkcija za kontrolu Grove Zero hardvera. Bežična komunikacija između računara i Grove Zero još uvijek je u tijeku i ažurirat ću članak čim postane dostupan. Za sada ćemo koristiti žičanu vezu za prenošenje poruka između Grove Zero modula i računara.

Korak 2: Igrajte svemirskih osvajača svojim nosom

Za prvi zadatak koristit ćemo samo scenski način rada bez ikakvog hardvera. Codecraft ima mnoštvo primjera za početak programiranja - jedan od ovih primjera je programiranje klasične igre Space Invaders u Codecraft Stage modu. Proširit ćemo ovaj primjer i dodati mogućnost upravljanja borcem u igri nosom koristeći kognitivne usluge.

Pritisnite dugme Primjeri. Primjer Open SpaceInvadersa. Potrebno je samo promijeniti dio relevantan za kretanje. Za to ćemo dobiti x-položaj nosa na licu otkriven u video zapisu uživo, spremiti ga u promjenjivu poz. Zatim, ako je vrijednost pos veća od 50, pomičemo naš svemirski lovac udesno, ako je manji od -50, tada pomjeramo lovac ulijevo. To je to. Isprobaj! Ako mislite da je brzina kretanja borca prebrza, možete promijeniti promjenu x po … blok na manji broj.

Zatim ćemo proširiti ovu funkcionalnost kako bismo kontrolirali automobil Grove Zero i natjerali ga da se kreće naprijed/nazad/lijevo/desno.

Korak 3: Upravljajte Grove Zero automobilom pomoću Codecraft AI -a

Počnimo s pisanjem koda u scenskom načinu rada - ovo je dio koji je odgovoran za analizu video feeda i slanje naredbi u Grove Zero.

1) Kôd izvršavamo na prvom snimku zaslona dok se ne pritisne razmaknica. Nakon toga šaljemo naredbu stop.

2) Unutar ponavljanja do bloka provjeravamo x-poz i y-poz nosa otkrivenog lica i spremamo ih u odgovarajuće varijable.

3) Ako je apsolutna vrijednost x-poz-a manja od 21 (što znači da je između -20 i 20, dakle blizu središta slike), nastavljamo provjeravati y-poz da utvrdimo treba li automobil ići naprijed ili nazad

4) U protivnom provjeravamo treba li automobil ići lijevo ili desno

Pređimo sada na karticu Uređaj i napišite kratki kod za automobil Grove Zero. Koristit ćemo blok Kada primim, koji je odgovoran za primanje internih naredbi za emitiranje. Ne treba se miješati s Kad radio primi, koji se koristi za Bluetooth komunikaciju. Za detalje pogledajte snimak ekrana, kôd je prilično jednostavan.

Spojite svoj sastavljeni automobil Grove Zero na računar i pritisnite dugme Connect u Codecraftu. Prebacite se na način rada za ispravljanje pogrešaka na mreži - to će omogućiti Grove Mainboard -u da prima naredbe za emitiranje putem žice. Zatim idite na scenski način rada i pritisnite zastavicu. Auto bi se trebao kretati, pokušajte ga kontrolirati nosom:)

Korak 4: Slijedite liniju glasovnom kontrolom

U automobilskom kompletu Grove Zero nalazi se karta koja je izvorno namijenjena mini igri Collect the Coins. Možemo ga prenamijeniti za korištenje prepoznavanja glasa u Codecraftu za davanje naredbi automobilu na kojem putu treba uključiti raskrsnicu.

Dio scenskog načina rada ovdje je manje kompliciran nego u prethodnom primjeru. Ono što mi radimo je:

1) Po prijemu emitirane poruke select_direction, prepoznajte fragment govora i spremite ga u varijablu rezultata.

2) Nastavite prepoznavati sve dok rezultat NIJE nepoznat.

3) Uporedite rezultat sa dva niza - "lijevo" i "desno". Emitujte odgovarajuću poruku automobilu Grove Zero.

Kod koji se izvodi u automobilu Grove Zero ovaj je put malo kompliciraniji, ali u biti slijedi ovu logiku:

1) Kada započnete, emitujte poruku unapred

2) Po prijemu poruke prosljeđivanja počnite slijediti liniju. Ako se linija izgubi, zaustavite motore i emitirajte

select_direction. Ovdje se izvršava kôd u početnom načinu rada.

3) Ako je poruka primljena lijevo, počnite skretati ulijevo, a zatim se vratite na način slijeđenja linije.

Ako je poruka primljena desno, počnite skretati udesno, a zatim se vratite na način slijeđenja linije.

Korak 5: Iza kulisa

Modeli neuronskih mreža korišteni u gornjoj aplikaciji svi se pokreću lokalno u vašem pregledniku, što ima nekoliko različitih prednosti u odnosu na slanje podataka u oblak na obradu: manje kašnjenje i bolja privatnost. U kognitivnim uslugama koristi se niz neuronskih mreža - Klasifikacija zvuka za govorne komande (, Otkrivanje orijentira lica, Prepoznavanje izraza lica i Procjena starosti).

U ovom smo članku istražili osnovnu funkcionalnost jednog od Codecraft AI proširenja - kognitivne usluge. Postoji više načina na koje možete nadograditi ove primjere kako biste napravili još zabavnije i uzbudljivije aplikacije!

Ako odlučite isprobati, bilo s Grove Zero ili samo pomoću Stage moda, podijelite u komentarima ispod. Za više informacija o Grove Zero seriji, Codecraftu i drugom hardveru za proizvođače i STEM edukatore posjetite našu web stranicu, TinkerGen je kreirao Kickstarter kampanju za MARK (Make A Robot Kit), komplet robota za učenje kodiranja, robotike, AI!