Vizualizacija podataka iz Magicbita u AWS -u: 5 koraka

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:04

Podaci prikupljeni sa senzora povezanih na Magicbit bit će objavljeni u jezgri AWS IOT -a putem MQTT -a za grafičku vizualizaciju u stvarnom vremenu. Koristimo magicbit kao razvojnu ploču u ovom projektu koji se temelji na ESP32. Stoga se u ovom projektu može koristiti bilo koja razvojna ploča ESP32.

Potrošni materijal:

Magicbit

Korak 1: Priča

Ovaj projekt govori o povezivanju vašeg Magicbit uređaja s AWS oblakom putem MQTT -a. Podaci poslani putem MQTT -a se analiziraju i vizualiziraju u oblaku pomoću AWS usluga. Pa krenimo

Prvo biste trebali otići na AWS konzolu i prijaviti se. U svrhe učenja možete koristiti besplatnu opciju sloja koju nudi AWS. To će biti dovoljno za ovaj projekat.

Radi pojednostavljenja, podijelit ću projekt u dva dijela.

Ovo će biti prva faza našeg projekta. Na kraju prve faze podaci će biti pohranjeni u S3 kante.

AWS usluge koje će se koristiti u prvom odjeljku,

• Kinesis Firehose
• AWS ljepilo
• AWS S3

Prvo idite na uslugu AWS Kinesis.

Odaberite Kinesis Data Firehose kao što je prikazano ispod i kliknite Stvori

Zatim ćete biti preusmjereni na 1. korak stvaranja Firehose usluge. Unesite naziv toka isporuke i odaberite Direct Put ili Drugi izvori. Pritisnite Dalje.

U prozoru Korak 2 ostavite sve kao zadano i kliknite na sljedeće. Nakon stvaranja AWS usluge ljepila, vratit ćemo se na uređivanje ovog koraka.

U koraku 3 odaberite S3 korpu ako ste je već stvorili. U suprotnom kliknite kreiraj i kreiraj kantu. U odjeljku S3 prefiksa koristite dest/, a u prefiksu greške unesite error/. Za gornja dva možete unijeti bilo koji naziv. No radi lakšeg nastavka nastavit ćemo s zajedničkim imenom. Unutar kante koju ste odabrali obavezno stvorite fasciklu pod nazivom dest. Pritisnite Dalje.

U koraku 4 odaberite minimalnu veličinu bafera i međuspremnik za prijenos podataka u stvarnom vremenu. U odjeljku Dozvola odaberite Kreiraj ili ažuriraj IAM roleKinesisFirehoseServiceRole. Neka sve bude zadano. Kliknite na dugme Dalje.

U sljedećem odjeljku prikazat će se pregled promjena koje ste izvršili. Pritisnite OK. Tada ćete imati funkcionalni Kinesis Firehose.

Ako ste uspješno stvorili uslugu Firehose, dobit ćete nešto poput ovoga.

Korak 2: Testiranje Firehose i S3 kante

Da biste provjerili da vatrogasna i S3 korpa rade ispravno, odaberite IOT jezgru u konzoli. Bit ćete preusmjereni na ovakvu stranicu. Odaberite pravilo i stvorite pravilo.

Šta je pravilo AWS IOT?

Koristi se za prosljeđivanje svih podataka primljenih od MQTT -a na određenu uslugu. U ovom primjeru ćemo proslijediti Kinesis Firehose.

Odaberite naziv za pravilo. Ostavite izjavu o pravilu i upitu kako je. To nam govori da će sve objavljeno na iot/topic temi biti proslijeđeno kinesis Firehose -u kroz ovo pravilo.

U odjeljku Postavljanje jedne ili više radnji kliknite na dodavanje radnje. Odaberite Pošalji poruku Amazon Kinesis Firehose Streamu. Odaberite konfiguraciju. Zatim odaberite naziv vatrenog toka koji je kreiran ranije. Zatim kliknite na Kreiraj ulogu i kreirajte ulogu. Sada ste uspješno stvorili ulogu u AWS -u.

Svaka poruka koju objavite bit će proslijeđena kroz kante Kinesis Firehose u S3.

Imajte na umu da Firehose šalje podatke kad je bafer napunjen ili kada je dosegnut međuspremnik. Minimalni interval međuspremnika je 60 sekundi.

Sada možemo prijeći na drugi dio projekta. Ovo će biti naš dijagram protoka podataka.

Korak 3: Konfiguriranje AWS ljepila

Zašto su nam potrebni AWS ljepilo i AWS Athena?

Podaci pohranjeni u S3 kantama ne mogu se direktno koristiti kao ulaz u AWS Quicksight. Prvo moramo urediti podatke u obliku tablica. Za to koristimo gornje dvije usluge.

Idite na AWS ljepilo. Odaberite Crawler na bočnoj traci s alatima. Zatim odaberite Dodaj alat za indeksiranje.

U prvom koraku unesite ime za svog alata za indeksiranje. Kliknite na dugme Dalje. U sljedećem koraku ostavite ga kao zadano. U trećem koraku unesite put do odabrane S3 korpe. Sljedeći prozor ostavite kao zadani. U peti prozor unesite bilo koju IAM ulogu. U sljedećem koraku odabrali ste učestalost pokretanja usluge.

Preporučljivo je odabrati prilagođeno u padajućem okviru i odabrati minimalno vrijeme.

U sljedećem koraku kliknite Dodaj bazu podataka, a zatim sljedeći. Pritisnite Finish.

Sada bismo trebali integrirati naše Kinesis Firehose sa AWS ljepilom koje smo stvorili.

Idite na AWS Kinesis firehose koji smo stvorili i kliknite Uredi.

Pomaknite se dolje do odjeljka Pretvori format zapisa i odaberite Omogućeno.

Odabrali ste izlazni format kao Apache parket. Za ostale detalje popunite detalje baze podataka ljepila koju ste stvorili. Tablicu treba stvoriti u bazi podataka i dodati ime u ovaj odjeljak. Pritisnite Spremi.

Korak 4: Konfiguriranje AWS Athena

Odaberite bazu podataka i tablicu podataka koju ste stvorili. U odjeljak upita ovaj kod treba dodati.

ime-tablice treba zamijeniti stvarnim imenom tablice ljepila koju ste kreirali.

Kliknite Pokreni upit. Ako radi, podaci pohranjeni u AWS S3 korpi trebaju biti prikazani kao tablica podataka.

Sada smo spremni za vizualizaciju podataka koje smo dobili.

Korak 5: Konfiguriranje programa QuickSight

Idite na AWS Quicksight

Kliknite Nova analiza u gornjem desnom kutu, a zatim kliknite Novi skup podataka.

Odaberite Athena s popisa. Unesite bilo koji naziv izvora podataka na iskačuću karticu.

Odaberite bazu podataka ljepila iz padajućeg okvira i odgovarajuće tablice. Ovo će vas odvesti na ovu stranicu.

Povucite i ispustite bilo koje polje sa popisa polja i odaberite bilo koju vizualnu vrstu.

Sada možete vizualizirati sve podatke poslane s vašeg MagicBita koristeći AWS usluge !!!

Ne zaboravite dozvoliti pristup za brzi pregled za odgovarajuće S3 korpe kako biste vizualizirali podatke u njima.