Lični trener engleskog jezika - AI glasovni asistent: 15 koraka

2025 Autor: John Day | [email protected]. Zadnja izmjena: 2025-01-13 06:57

Ovaj projekt će pomoći studentima koji se pripremaju za bilo koji jezički ispit, gdje se mogu obučiti interakcijom sa Snips AI.

Korak 1: Priča

Zašto smo ovo izgradili?

Iz svog osobnog iskustva vidio sam mnogo ljudi koji su se pripremali za razne jezičke testove, poput GRE, TOEFL, IELTS. Potrebna im je osoba koja će im pomoći u pamćenju i razumijevanju riječi. Općenito, kada se osoba priprema za takve ispite, potrebna je osoba koja će provjeriti i ispraviti je li pogriješila. Ovim rješenjem možemo smanjiti radnu snagu zapošljavanjem glasovnog asistenta.

Korak 2: Izgradnja hardvera

Prije svega, želio bih se zahvaliti SNIPS -u i SEEED -u na podršci ovom projektu sa zadivljujućim Snips -ovim kompletom za razvoj glasovne interakcije (Base Kit). Zaista sam se osjećao informativno koristeći ovu ploču i uspio sam postići neke od složenih projekata integriranih u PCB.

Snips bazni komplet za glasovnu interakciju Snips možete kupiti za 115 USD, a satelitski komplet za glasovne interakcije Snips za 85 USD

Korak 3: Početak rada sa SNIPS -om

Prije nego počnete, pregledajmo šta vam je potrebno.

• Raspberry Pi 3B/B+ (preporučeno) ili Pi 2 model B (podržano).
• Mikro-USB kabel i mikro-USB adapter za napajanje za Raspberry Pi.
• Mikro SD kartica (minimalno 8 GB) - Za početak je potreban operativni sistem. Možete preuzeti Raspbian Stretch i koristiti vodiče za Mac OS, Linux i Windows na web stranici Raspberry Pi.
• USB tastatura i miš i vanjski HDMI monitor - preporučujemo i da imate pri ruci USB tastaturu i miša, kao i HDMI monitor.
• Internet veza (Ethernet ili WiFi)

Snips Bazni komplet glasovne interakcije

Snips razvojni kompleti za glasovne interakcije omogućuju korisnicima da ubrzaju razvoj glasovnih sučelja i lako integriraju Snips AI Voice Platform s hardverom. Isječci se izvode na uređaju, što znači da se sve vaše glasovne naredbe i podaci obrađuju lokalno, a ne da se šalju u oblak. Ova obrada na uređaju rezultira potpuno sigurnim izvanmrežnim glasovnim pomoćnikom koji čuva vaše lične podatke, kako bi trebalo biti.

Osnovni komplet glasovne interakcije omogućuje vam pokretanje cijele Snips AI glasovne platforme. Pokretan Raspberry Pi 3 modelom B+ i ReSpeaker 2-Mics Pi HAT, sposoban je djelovati kao vaš kućni pametni zvučnik. Uz komplet dolazi zvučnik, Grove - osjetnik temperature i vlažnosti (SHT31), Grove - relej i ploča za vješanje na zid ili za stvaranje elegantnog postolja.

Ali to nije sve! Satelitski komplet glasovne interakcije proširit će vašu baznu stanicu do svake prostorije vaše kuće i omogućiti vam interakciju s hardverom ovisno o tome gdje izdajete naredbe!

Ovaj komplet sadrži ploču Raspberry Pi3 B+, ReSpeaker 2 -Mics Pi HAT, Grove - relej, Grove - osjetnik temperature i vlažnosti (SHT31), zvučnik 6 Ohm 2W, MicroSD karticu, adapter za napajanje s mikro USB priključkom, Grove kabel x 2, akrilnu podlogu panel.

Koraci montaže: (Sadržaj iz SNIPS -a) Sljedeća slika je pregled dijelova montaže.

Ovdje se dijelovi za montažu montiraju na osnovnu ploču.

Zatim se svi elektronički dijelovi montiraju na ploču.

Nakon toga postavite zaštitni poklopac od akrila na vrh Grove -releja.

Ova 2 dijela se koriste za pretvaranje kompleta u stolni stalak.

Konačno, spremni ste za igru sa Snipsima.

Komplet nudi dva načina postavljanja. Može se postaviti na vodoravnu površinu poput postolja ili se može objesiti na zid pomoću žica ili niti. Budite oprezni s relejem kada je komplet uključen jer će radni napon biti visok.

NAPOMENA: Imamo i satelitski komplet glasovne interakcije Snips koji ima nulu Raspberry Pi umjesto Raspberry Pi 3B+

Korak 4: Povezivanje sa Snips AI (osnovni projekat)

• Napajajte komplet standardnim adapterom za napajanje u kompletu ili upotrijebite 5V-2A istosmjerni adapter s mikro USB priključkom.
• Sljedeći korak je instaliranje Snips pomoćnika u Raspberry Pi. Kako bi vam uštedjeli vrijeme za postavljanje, MicroSD kartica u kompletu ima punu funkcionalnu sliku sistema, što znači da je pomoćnik Snips spreman za vaše riječi okidača.
• Predlažemo vam da proučite vodič za instalaciju korak po korak tako što ćete posjetiti: https://docs.snips.ai/getting-started/quick-start… i naučiti sam alat u komandnoj liniji.
• Pokrenite pomoćnika izgovarajući "Hey-snips" i slijedite naredbu:

Video primjer primjera koji je unaprijed instaliran možete pronaći u osnovnom kompletu Snips Voice Interaction ispod.

Korak 5: Povezivanje sa Snips AI (Project AI)

Dakle, ovako to funkcionira. Prvo, vruću riječ koristimo za pokretanje prepoznavanja isječaka. On razumije rečenicu koristeći Snips NLU i određuje namjeru. Zatim pomoću namjere izvucite slotove. Pomoću akcijskog koda programiramo AI odgovor s odgovarajućim utorima.

Korak 6: Kreiranje aplikacije i namjera

• Kreirajte Asistenta. U mom slučaju, stvorio sam asistenta s imenom JARVIS i aktualnom riječju JARVIS.
• Kreirajte prilagođenu aplikaciju ili za početnike koristite aplikaciju iz biblioteke.
• Napravio sam aplikaciju s imenom Words
• Kreirajte namjeru i počnite obučavati AI. Ovo igra važnu ulogu u jačanju vaše umjetne inteligencije. Obučite ga sa svim mogućim ulazima.
• Napravite utor za identifikaciju riječi. Postavite mjesto na očekivani izraz rečenice. Za moj primjer, zadana riječ je naziv utora i označena je plavom bojom.
• Kada to učini, vaš prilagođeni ASR će biti spreman. Pokušajte s ulazima. Odgovor možemo pronaći s vaše desne strane, ispod pomoćnika. Ovo vam daje ekstrakciju sirove vrijednosti, naziva namjere i utora.
• Definirajte utore s više primjera kako je dolje navedeno
• Konačno, rasporedite svog pomoćnika da doživi vašu personaliziranu AI.

Korak 7: narežite Raspbian na SD karticu

Raspbian je Linux distribucija po izboru koja radi na Raspberry Pi. U ovom vodiču koristit ćemo Lite verziju, ali se može koristiti i Desktop verzija (koja dolazi s grafičkim okruženjem).

• Preuzmite Etcher i instalirajte ga.
• Povežite čitač SD kartica sa SD karticom unutra.
• Otvorite Etcher i s tvrdog diska odaberite Raspberry Pi.img ili.zip datoteku koju želite zapisati na SD karticu
• Odaberite SD karticu na koju želite zapisati svoju sliku.
• Pregledajte svoj odabir i kliknite 'Flash!' za početak upisivanja podataka na SD karticu

Povežite uređaj sa mrežom

• Omogućite SSH pristup dodavanjem prazne datoteke ssh, koja se ponovo nalazi u korijenu volumena za pokretanje na vašoj SD kartici.
• Umetnite SD karticu u Raspberry Pi. Pokrenut će se za otprilike 20 sekundi. Sada biste trebali imati SSH pristup svom Raspberry Pi. Prema zadanim postavkama, njegovo ime hosta bit će raspberrypi.local. Na računaru otvorite prozor terminala i upišite sljedeće:

ssh [email protected]

Zadana lozinka je malina

Korak 8: Instalirajte platformu Snips

Ako već niste, instalirajte Sam interfejs komandne linije na računar. Otvorite prozor terminala i unesite:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Pronađite svoj Raspberry Pi na mreži pokretanjem:

sam uređaji

Zatim uspostavite vezu s uređajem. Od vas će se tražiti korisničko ime i lozinka za uređaj (zadano je pi i malina, respektivno):

sam connect

Sada smo spremni za instaliranje platforme Snips na Raspberry Pi. Unesite naredbu:

sam init

Korak 9: Konfigurirajte hardver

Sam nudi neke naredbe za jednostavno postavljanje i konfiguriranje hardverskih komponenti. U ovom ćemo odjeljku postaviti zvučnik i mikrofon. Ovisno o vašem postavljanju, potrebno je izvršiti određenu prilagođenu konfiguraciju.

sam setup audio

Testirajte zvučnik

Pokrenite da biste provjerili radi li zvučnik

sam test zvučnik

Ako sve radi u redu, trebali biste čuti na zvučniku glas koji izgovara nekoliko riječi. Konfiguriranje mikrofona Možete provjeriti radi li vaš mikrofon:

sam test mikrofon

Pod pretpostavkom da imate zvučnik, ako možete jasno čuti ono što ste upravo rekli, možete nastaviti bez daljnje konfiguracije mikrofona.

Kad se uvjerite da vaša postavka hardvera funkcionira, spremni ste za prijelaz na sljedeći korak, gdje ćete rasporediti svog prvog pomoćnika.

Korak 10: Uvoz AI modela s konzole

Nakon što ste iz prethodnih koraka stvorili svog pomoćnika, prijavite se na konzolu iz prozora terminala pokretanjem:

sam login

Od vas će se tražiti da unesete akreditive za Snips Console.

Zatim instalirajte pomoćnika:

sam pomoćnik za instalaciju

Ako ste stvorili nekoliko pomoćnika u konzoli, od vas će se tražiti da odaberete kojeg ćete instalirati sa liste.

Korak 11: Rukovatelj i akcijski kod

Da bi Raspberry Pi odgovorio, morat ćemo napisati neki kôd za rukovanje. Ovo je kôd koji se izvršava kada se određeni događaj dogodi na platformi Snips, na primjer kada je otkrivena namjera.

Ovisno o funkcioniranju, imate različite metode za kreiranje Handlera.

Kreirajte mapu na svom računaru u koju želite pohraniti kôd za rukovanje. Iz prozora terminala pređite u taj direktorij i unesite:

npm init

Ovo će stvoriti datoteku pod nazivom package.json koja sadrži opis vašeg projekta, zavisnosti i još mnogo toga. Zatim dodajte ovisnost o paketu mqtt:

npm install mqtt --save

Sada stvorite datoteku pod nazivom index.js i zalijepite sljedeći kôd, zamijenivši varijablu imena hosta imenom hosta vašeg Raspberry Pi -a (ako se razlikuje od zadanog Raspberrypi):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (ime hosta); client.on ('connect', function () {console.log ("[Dnevnik isečaka] Povezano sa posrednikom MQTT" + ime hosta); client.subscribe ('hermes/#');}); client.on ('poruka', funkcija (tema, poruka) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/detection/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (poruka));}}); funkcija onIntentDetected (namjera) {console.log ("[Dnevnik isječaka] Otkriven namjer:" + JSON.stringify (namjera)); } funkcija onHotwordDetected () {console.log ("[Dnevnik isječaka] Otkrivena je vruća riječ"); } funkcija onListeningStateChanged (slušanje) {console.log ("[Snips Log]" + (slušanje? "Start": "Stop") + "slušanje"); }

Pokrenite ovaj kod koristeći Node:

čvor index.js

Trebali biste vidjeti poruku uspješne veze sa Snips MQTT posrednikom. Kao i do sada, izvedite glasovnu interakciju sa svojim Raspberry Pi:

Hej Snips, kakvo je vrijeme u Chennaiju

Trebali biste vidjeti ažuriranje dnevnika:

[Snips Log] Povezano s posrednikom MQTT mqtt: //raspberrypi.local

[Dnevnik isječaka] Otkrivena je hitna riječ [Dnevnik isječaka] Počnite slušati [Dnevnik isječaka] Prestanite slušati [Dnevnik isječaka] Otkriven namjer: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" kakvo je vrijeme u Chennaiju "," intent ": {" intentName ":" searchWeatherForecast "," vjerovatnoća ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "weather_locality"}]}

Korak 12: Rješavanje problema

Izbrišite prethodnog pomoćnika ako ga ima

$ sudo rm -rf/usr/share/snips/assistant/

Da biste promijenili direktorij u pomoćnik

cd/var/lib/snips/skills/

Kloniranje sadržaja repo -a na lokalno

git clone

Da biste pokrenuli setup.sh skriptu

./setup.sh

Aktivirajte virtualno okruženje

izvor venv/bin/aktiviraj

Pokrenite kod akcije

./action-.py

Davanje dozvole Python skripti

chmod +x action-.py

Korak 13: Ograđivanje

• Za ovaj projekt koristio sam kućište s IP ocjenom
• Prvo sam napravio potrebne rupe za postavljanje kola i utora za kabel za napajanje i HDMI kabel.
• Zatim sam stavio svu Raspberry Pi u kućište i čvrsto je zašrafio.
• Napravio sam mali otvor za zvučnik i mikrofon i pokrio ga malim komadom akrilnog lima.
• Čvrsto povežite zvučnik sa kapom ReSpeaker -a.
• Konačno, svi vijci su čvrsto pričvršćeni, a kabel za napajanje umetnut je kroz utor.
• Ovako AI izgleda konačno: D

Korak 14: Rad AI

Možete pronaći podatke koji se prate pomoću Snips-watch-a

Sada je vreme za predstavu. Počeo sam da pravim sa AI sa jednostavnim pozdravom. Pogledajte kako funkcionira.

AI trener je programiran za ograničene riječi. Ovo se može proširiti uz male izmjene. Ovo pomaže učenicima da zapamte značenje brže od tradicionalne metode.

Ljubazna pažnja: Ovaj projekt je osposobljen za približno 25 riječi. Može se dodatno proširiti malim izmjenama u radnom kodu.

Skripte radnji možete pronaći u mom Github spremištu u prilogu.

Repo projekta za AI za pozdrav-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Repo projekt za AI trenera-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Veza do Moje aplikacije:

Cijelo postavljanje košta oko 115 USD koje se mogu kupiti od SNIPS -a, a ovo je rješenje vrlo jeftino i efikasno u usporedbi s tradicionalnim metodama. Otprilike više od 100 000 testova je provedeno u Indiji i Ovaj proizvod će biti najbolji dodatak za osobe koje pohađaju GRE.

Palac gore ako vam je zaista pomoglo i pratite moj kanal za zanimljive projekte.:) Podijelite ovaj video ako vam se sviđa. Drago mi je što ste se pretplatili: https://console.snips.ai/store/en/skill_xBKlxnE5K… Hvala na čitanju!