DEMAC, 3D štampani modularni Beowulf klaster: 23 koraka (sa slikama)

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:05

Računanje visokih performansi (HPC) je sposobnost obrade podataka i izvođenje složenih proračuna pri velikim brzinama, to je primjena "superračunala" na računske probleme koji su ili preveliki za standardne računare ili bi im trebalo previše vremena da se završe. Top500 je lista koja se objavljuje dva puta godišnje i svrstava neke od najbržih, najmoćnijih računara na svijetu. Zemlje i velike organizacije troše milionske resurse da bi ovaj sistem pokrenuli i omogućili naučnicima da iskoriste najnoviju tehnologiju i riješe složene probleme.

Prije mnogo godina računari su poboljšavali svoje performanse povećanjem brzine procesora. Nakon što smo se suočili sa usporavanjem ove vrste pristupa, programeri su odlučili da bi nastavili povećavati performanse računara, više jezgri (ili računskih jedinica) treba biti upakirano zajedno. Agregacija više računarskih resursa i mehanizama za kontrolu ovih resursa ono je što u informatici nazivamo "paralelizam". Imati više jezgri za obavljanje više zadataka zvuči kao dobar pristup poboljšanju performansi računara … ali, ovo otvara veliko pitanje: kako da efikasnije koristimo ove resurse?

Ova pitanja su zaokupljala informatičare, postoji više načina da se računaru kaže kako da radi stvari, postoji još više načina da se više računara kaže kako da rade stvari. Ovaj projekt ima za cilj razvoj pristupačne platforme na kojoj će svi moći eksperimentirati s visoko paralelnom mašinom, testirati postojeće modele za primjenu u vlastitim projektima, razviti nove i kreativne načine rješavanja računskih problema ili ih jednostavno koristiti kao način poučavanja drugih o računarima. Nadamo se da ćete uživati u radu s DEMAC -om koliko i mi.

DEMAC

Klaster modularnih sklopova Delaware -a (DEMAC) proširiv je niz ugrađenih sistema (računari veličine kartice) i skup okvira odštampanih 3D -om koji sadrže ploče i dodatni hardver koji pružaju napajanje, hlađenje i pristup mreži.

Svaki uređaj ili ugrađeni sistem je mali računar, Parallella ploča koja kombinira resurse dvojezgrenog ARM procesora, 16-jezgrenog koprocesora zvanog Epiphany i ugrađenog FPGA-a sa fleksibilnošću kompletnog steka otvorenog koda. Nosač je kućno izrađen 3D štampani okvir koji omogućava nisku cijenu implementacije i strukturu koja se može eskalirati. Dizajniran je tako da stane u 4 jedinice stalka standardne veličine (poput onih koje nalazite u prostorijama računarskih servera).

Ovo uputstvo uključuje:

- Lista potrebnih materijala

- Upute za 3D ispis okvira

- Upute za sastavljanje i povezivanje dijelova

- Vodič za preuzimanje i instaliranje potrebnog softvera

- Opis načina povezivanja i interakcije s klasterom

- A "Zašto ovo radimo?" odjeljak

Ko smo mi?

Mi smo CAPSL (Computer Architecture and Parallel Laboratory), sa Univerziteta u Delawareu. Vjerujemo da bi budućnost računanja trebala imati snažnu osnovu u teoriji protoka podataka (što ćemo objasniti kasnije u ovom uputstvu ako vas zanima).

Supplies

Ova lista opisuje materijale potrebne za izgradnju klastera s 4 ploče

- 4 Parallella ploče (možete ih nabaviti od DigiKey -a ili drugih prodavača, više informacija možete pronaći na njihovoj web stranici

-4 micro-SD kartice sa najmanje 16Gb (ovdje je vrlo jeftino 10-pakovanje ili nešto poput ovih fleksibilnijih kombinacija)

- 4 mikro-USB kabla minimalne dužine 30 cm (1 stopa) (preporučujem ove)

- USB punjač [s najmanje 4 priključka tipa A] (preporučujem ovaj sa 6 portova ili jedan s istim faktorom, jer je kućište za napajanje dizajnirano za njega)

- Ventilator za hlađenje [maksimalna veličina 100 mm x 100 mm x 15 mm] (preporučujem ovaj jer je jeftin i radi, ali drugi sa sličnom veličinom i konfiguracijom kabela rade)

- Napajanje za ventilator za hlađenje (ako je vaša konfiguracija za više od 8 ploča, preporučujem ovu ili nešto slično [AC 100 V/ 240 V do DC 12 V 10 A 120 W] koje ima lijepo metalno kućište i može se pričvrstiti na prekidač) (Ako ćete priključiti samo dva ventilatora ili manje, možete koristiti bilo koji 12 V sa izlazom od najmanje 1 A koje možda imate u blizini)

- 5 Ethernet kabela (4 mogu biti kratka poput ovih, ovisno o udaljenosti od sklopke do ploča, a jedan bi trebao biti dovoljno dug da se prekidač poveže s vašim računalom ili modemom za pristup mreži klastera)

>> Važna napomena: Potreban je sistem hlađenja, inače se ploče mogu pregrijati! <<<

3D-štampani delovi

- 4 ladice za ploče (Frame_01)

- 1 kućište ploče (Frame_02)

- 1 kućište ventilatora (Frame_03_B & Frame_03_T)

- 1 kućište za napajanje (Frame_04)

Korak 1: O DEMAC -u

DEMAC je dio šire slike, fleksibilna platforma koja se može eskalirati i omogućava nam razvoj i testiranje novih modela izvođenja programiranja (PXM) za paralelno računanje. PXM je više od načina za opisivanje izračunavanja, on predstavlja okosnicu koja pruža dogovor između načina na koji je program izražen i kako je preveden na zajednički jezik koji mašina može izvršiti. Opisujemo skup elemenata koji korisniku omogućuje generiranje programa i način organizacije izvršenja programa. Program može biti optimiziran tako da korisnik cilja na određenu arhitekturu ili automatizirani alat temeljen na ovoj zajedničkoj pozadini.

Možete saznati više o ovom projektu na kraju ovog uputstva, također možete kliknuti ovdje za više informacija o DEMAC -u ili ovdje za više informacija o CAPSL -u)

Korak 2: 3D ispis DEMAC

U ovom odjeljku možete pronaći vodič za 3D štampanje okvira koji obuhvataju ostale komponente i pružaju strukturnu podršku. Čak i ako ste majstor 3D štampe, evo nekoliko savjeta koje možete uzeti u obzir prilikom ispisa ovih okvira. Svi okviri se mogu ispisati pomoću mlaznice od 0,4 mm sa visinom sloja 0,3 ili 0,2 (možete koristiti i prilagodljive). Štampao sam sve koristeći PLA, ali zapravo nije važno želite li koristiti druge materijale (sve dok pružaju strukturnu stabilnost i mogu podnijeti veće ili jednake temperature od PLA).

STL datoteke:

www.thingiverse.com/thing:4493780

cults3d.com/en/3d-model/various/demac-a-mo…

www.myminifactory.com/object/3d-print-dema…

Ladica za ploču (Frame_01)

Nisu potrebne dodatne podrške. Ovaj je prilično jednostavan, samo ga postavite s ravnom površinom okrenutom prema površini za štampanje.

Kućište ploče (Frame_02)

Ovo može zahtijevati određenu podršku na srednjim gredama. Možete tvrditi da dobro podešena mašina/rezač može ispisati te mostove bez dodatne podrške. Molimo vas da prvo isprobate neke testove naprezanja mostom ako želite ispisivati bez nosača jer je ideja bila da ih neće zahtijevati. S druge strane, bočni stubovi i zidovi pružaju dovoljnu podršku za ispis bez dodatnih potpornih struktura.

Kućište ventilatora (Frame_03_B & Frame_03_T)

Nisu potrebne dodatne podrške. Samo postavite oba dijela tako da ravna površina bude okrenuta prema površini za štampanje.

Kućište za napajanje (Frame_04)

Slično Frame_02, ovaj može zahtijevati određenu potporu u srednjim gredama. Možete i pokušati ispisati ovaj bez dodatnog materijala za podršku (kako je bilo predviđeno). Bočni stubovi i zidovi pružaju dovoljnu podršku za ispis bez dodatnih potpornih struktura.

Kućište izlaznog hlađenja (Frame_05_B & Frame_05_T)

Nisu potrebne dodatne podrške. Samo postavite oba dijela tako da ravna površina bude okrenuta prema površini za štampanje.

Korak 3: Sastavite DEMAC

Sada kada imate sve potrebne dijelove, vrijeme je za početak sastavljanja klastera.

Ne zaboravite ukloniti materijal za podršku koji možda imate na okvirima.

Korak 4: Postavite ventilator na kućište

Jednostavno gurnite ventilator unutar Frame_03_B (s kabelom u donjem desnom kutu), donji dio trebao bi stati unutar malih zakrivljenih zidova koji drže ventilator na mjestu.

Postavite Frame_03_T s malim zakrivljenim zidovima okrenutim prema dolje na vrh Frame_03_B (s ventilatorom koji je već postavljen). Pazite da postavite najširi poklopac Frame_03_T prema široj (stražnjoj) strani Frame_03_B. Okviri bi trebali kliknuti, a poklopci ih trebaju držati na mjestu.

Korak 5: Spojite kućište ploče s kućištem za napajanje

Postavite Frame_02 na Frame_04, ova dva su dizajnirana tako da se spoje. Na donjem dijelu Frame_02 postoji mala udubljenja koja odgovara konektorima na vrhu Frame_04. Primijenite nježnu silu da ih povežete.

Korak 6: Instalirajte rashladnu jedinicu

Frame_03 (B&T) su dizajnirani da se spoje zajedno sa Frame_02, postavite ventilator okrenut prema pločama (protok zraka treba ići prema unutra Frame_02). Na stupcima Frame_02 postoje mala udubljenja koja bi se trebala podudarati s oznakama u Frame_03_B. Lagano pritisnite bočne strane konstrukcije dok okviri ne kliknu.

Korak 7: Postavite ploče na ladice za ploče

Frame_01 ima 4 igle koje odgovaraju rupama na Parallella ploči. Ploča bi se trebala lako uklopiti u ladicu. Ovisno o kalibraciji vašeg 3D pisača, one mogu biti prevelike ili premale, možete upotrijebiti malo tekućeg silikonskog ljepila da ih držite na mjestu ili ih malo pritisnuti kliještima kako biste smanjili promjer.

>> Važna napomena: Ne zaboravite postaviti hladnjake na ploču <<<

Korak 8: Gurnite ladice ploče u kućište ploče

Frame_01 pruža utore koji se uklapaju u Frame_02 šine za svaki nivo. Imajte na umu da je otvorena samo jedna strana za primanje ladice za ploču. Postoji i mali udarac koji pomaže da Frame_01 ostane na mjestu (iskreno, ovo bi moglo koristiti neko poboljšanje u budućoj verziji).

Gurnite sve 4 ladice za ploče sa već postavljenim pločama, po 1 za svaki nivo.

Korak 9: Postavite izvor napajanja unutar kućišta za napajanje

Postavite USB napajanje unutar Frame_04 tako da USB priključci budu okrenuti prema van. S druge strane postoji mali otvor za kabel za napajanje koji napaja čvorište.

Korak 10: Priključite ventilator na izvor napajanja za hlađenje

Ventilator bi sada trebao biti spojen na 12 V napajanje koje napaja rashladnu jedinicu.

>> Važna napomena: Neka rashladni sistem radi sve vrijeme dok su ploče spojene na napajanje <<<

Korak 11: Konfigurirajte OS

1. Ovdje preuzmite preporučeni OS (Parabuntu)

Postoje dvije revizije čipova (z7010 [P1600/P1601] i z7020 [P1602/A101040]) koje zahtijevaju različite datoteke.

Za obje revizije postoji verzija bez glave (bez grafičkog korisničkog interfejsa) i verzija koja pruža HDMI podršku i grafičko korisničko sučelje)

Ako želite koristiti HDMI izlaz, ne zaboravite nabaviti mini-HDMI kabel.

Možete se povezati s verzijom bez glave putem mreže.

Više informacija i detaljno objašnjenje možete pronaći ovdje na službenoj web stranici.

Evo koraka za instaliranje operativnog sistema pomoću distribucije zasnovane na Linuxu. Možete koristiti naredbe na terminalu (bez simbola $) za sljedeće korake ili provjeriti druge procedure na web stranici.

2. Instalirajte

- Umetnite micro-SD karticu u svoj običan računar- Raspakirajte Ubuntu sliku. Promijenite [release release] za naziv slike.

$ gunzip -d [releasename].img.gz

3. Provjerite putanju vaše SD kartice do uređaja

Tačan put uređaja do vaše SD kartice zavisi od vaše Linux distribucije i postavki računara. Koristeći naredbu ispod da biste dobili pravi put. Ako iz izlaza nije jasno koja je staza prava, pokušajte naredbu sa i bez umetnute SD kartice. U Ubuntuu, vraćena staza može biti nešto poput ‘/dev/mmcblk0p1’.

$ df -h

4. Demontirajte SD karticu Morat ćete demontirati sve particije na SD kartici prije snimanja kartice. [Sd-partition-path] dolazi iz naredbe ‘df’ u koraku 3.

$ umount [sd-partition-path]

5. Narežite sliku diska Ubuntu na mikro-SD karticu

Snimite sliku na SD karticu pomoću uslužnog programa ‘dd’ prikazanog u donjem primjeru naredbe. Budite oprezni i provjerite jeste li ispravno naveli putanju jer je ova naredba nepovratna i prebrisat će sve na stazi! Primjer naredbe u Ubuntuu bio bi: ‘sudo dd bs = 4M if = my_release.img of =/dev/mmcblk0’. Budite strpljivi, ovo može potrajati (mnogo minuta) ovisno o računaru i SD kartici koju koristite.

$ sudo dd bs = 4M if = [releasename].img od = [sd-partition-path]

6. Provjerite jesu li završeni svi zapisi na SD karticu

$ sync

7. Umetnite SD karticu u utor za SD karticu na ploči

Korak 12: Priključite ploču na izvor napajanja

Upotrijebite kabel miniUSB na USB-A za spajanje jedne od ploča na USB čvorište. Možete označiti portove i kablove ili definirati redoslijed veza u slučaju da kasnije morate isključiti ploču.

Korak 13: Postavljanje usmjerivača

Ako instalirate OS bez glave dok ste na velikoj mreži, morat ćete koristiti usmjerivač i povezati ga s internetom, Parallella pločama i svojim osobnim računarom.

Ako se ne možete spojiti na usmjerivač, ploču možete povezati i direktno s računarom pomoću Ethernet kabela, ovaj postupak može biti malo složeniji i neće biti obuhvaćen ovim uputstvom.

Nakon što je sve povezano, otvorite sučelje usmjerivača kako biste saznali koja se IP adresa prema zadanim postavkama daje vašoj paraleli. Potražite karticu na kojoj piše Mreža. Zatim pronađite odjeljak s oznakom DHCP Lista klijenata. Tamo biste trebali vidjeti svoju Parallella ploču i njenu IP adresu.

Pomoću ove IP adrese možete SSH unijeti u Parallellu i postaviti statičku IP adresu.

Korak 14: Spajanje na Parallella Board pomoću SSH -a

Napomena: Za ovaj odjeljak [default_IP] je dinamička IP adresa koju ste pronašli na DHCP listi klijenata.

Provjerite vezu s pločom

$ ping [default_IP]

SSH na ploču po prvi put (zadana lozinka je paralelna)

$ ssh paralela@[default_IP]

Korak 15: Postavljanje mreže

- Promijenite naziv hosta: uredite /etc /hostname

Ovdje možete dodijeliti bilo koje ime, preporučujemo upotrebu NOPA ##

Gdje ## identificira broj ploče (tj. 01, 02,…)

- Postavite IP adrese drugih ploča: uredite /etc /hosts

Postavi statičku IP adresu: dodajte donji tekst za /etc/network/interfaces.d/eth0

#Primarno mrežno sučeljeauto eth0

iface eth0 inet statički

adresa 192.168.10.101 #IP bi trebala biti u dometu usmjerivača

maska mreže 255.255.255.0

gateway 192.168.10.1 #Ovo bi trebala biti adresa usmjerivača

nameserver 8.8.8.8

nameserver 8.8.4.4

Nakon što dodijelite IP ploči, možete ponovo pokrenuti vezu naredbom

$ ifdown eth0; ifup eth0

ili ponovo pokrenite ploču

Korak 16: Postavljanje Keygen-a i pristupa bez lozinke na pločama

Postavite privatni par javnih ključeva na svakom čvoru (uključujući i glavni čvor). Napravite privremenu mapu, generirajte novi ključ i učinite ga ovlaštenim ključem te dodajte sve NOPA -e poznatim hostovima kao što je prikazano u nastavku.

mkdir tmp_sshcd tmp_ssh ssh -keygen -f./id_rsa

#Pritisnite enter dvaput da postavite i potvrdite praznu lozinku

cp id_rsa.pub ovlašteni_ključevi

for i u `seq 0 24`; do j = $ (echo $ i | awk '{printf "%02d / n", $ 0}');

ssh-keyscan NOPA $ J >> known_hosts; gotovo

Korak 17: Instaliranje Sshfs -a

- Korištenje sshfs omogućava dijeljenje datoteka među pločama u klasteru. Pokrenite sljedeću naredbu:

$ sudo apt -get install -y sshfs

- Provjeravanje / Kreiranje grupe osigurača

Provjerite postoji li grupa osigurača:

$ cat /etc /group | grep 'osigurač'

Ako grupa postoji, izvedite sljedeću naredbu

$ bash sudo usermod -a -G osigurač paralela

- Ako grupa ne postoji, kreirajte je i dodajte joj korisnika

$ sudo groupadd osigurač

$ sudo usermod -a -G osigurač paralela

- Dekomentirajte red user_allow_other u datoteci fuse.config

$ sudo vim /etc/fuse.conf

Korak 18: Konfigurirajte NFS mapu

- Izmijenite datoteku /etc /fstab

$ sudo vim /etc /fstab

- Zamijenite sadržaj dolje prikazanim tekstom

# [sistem datoteka] [tačka montiranja] [vrsta] [opcije]

sshfs#parallella@NOPA01:/home/parallella/DEMAC_nfs/home/parallella/DEMAC_nfs komentar osigurača = sshfs, noauto, korisnici, exec, rw, uid = 1000, gid = 1000, allow_other, ponovno povezivanje, transform_symlinks, BatchMode = da, neprazno, _netdev, identityfile =/home/parallella/.ssh/id_rsa, default_permissions 0 0

Korak 19: Povežite ploču sa prekidačem

Postavite prekidač ispod klastera ili negdje u blizini, pomoću Ethernet kabela povežite ploču koju ste već konfigurirali s prekidačem. Također možete spojiti prekidač i vaše računalo na usmjerivač kako biste dobili pristup klasteru.

Trebali biste biti u mogućnosti da vršite ping i ssh na ploči koja je sada povezana sa prekidačem sa statičkim IP -om.

Takođe možete dodati IP i ime hosta u svoju /etc /hosts datoteku. Moći ćete koristiti ime hosta za povezivanje umjesto upisivanja cijele IP adrese.

Korak 20: Ponovite korake 11 do 19 za svaku ploču

Slijedite postupak za konfiguriranje OS -a i mreže za svaku ploču.

>> Važna napomena: Koristite različite hostose i IP za svaku ploču! Oni bi trebali biti jedinstveni kroz mrežu! <<<

Korak 21: Povežite periferne uređaje

Provjerite radi li ventilator:

Uvjerite se da ventilator dobija napajanje i da strujanje zraka ide prema unutra u kućište ploče. Veza bi trebala biti stabilna i neovisna o drugim elementima. Zapamtite da se ploče mogu pregrijati ako se ne ohlade pravilno.

Provjerite jesu li ploče spojene na prekidač:

U ovom trenutku trebali ste zasebno konfigurirati svaku ploču. Ploče takođe treba spojiti na prekidač. Upute za prebacivanje trebaju pružiti informacije koje se mogu koristiti za provjeru da li je proces pokretanja ispravno završen, možda postoje neke LED diode koje ukazuju na status.

Priključite ploče na izvor napajanja:

Upotrijebite mikro-USB na USB-A kabel za povezivanje svake ploče na USB čvorište. Možete označiti portove ili definirati redoslijed u slučaju da trebate odspojiti jednu ploču.

Korak 22: Primijenite napajanje

1. Ventilator bi trebao raditi.

2. Ploče treba spojiti na Ethernet prekidač.

3. Provjerite jesu li ploče spojene na USB koncentrator.

4. Omogućite napajanje USB čvorištu.

5. Omogućite DEMAC!

6. Dobit!

Korak 23: Softverski resursi

MPI (Interfejs za prenošenje poruka)

MPI je komunikacijski protokol za programiranje paralelnih računara. Podržana je i tačka-tačka i kolektivna komunikacija.

www.open-mpi.org/

OpenMP (Open Multi-Processing)

Interfejs aplikacijskog programiranja (API) OpenMP (Open Multi-Processing) podržava multiprocesorsko programiranje sa više platformi sa zajedničkom memorijom na C, C ++ i Fortran, na mnogim platformama. Sastoji se od skupa kompajler direktiva, bibliotečkih rutina i varijabli okruženja koje utiču na ponašanje tokom izvođenja.

www.openmp.org/

Parallella softver

Programeri pružaju softver otvorenog koda, uključujući SDK za povezivanje s akceleratorom.

www.parallella.org/software/

Također možete pronaći Priručnike i detaljnije informacije.

Takođe imaju GitHub spremišta:

github.com/parallella

Slobodno preuzmite i pokrenite neke od primjera, jedan od mojih omiljenih je igra života zasnovana na čuvenoj Conwayovoj igri života.

Odricanje odgovornosti: Definicije se mogu kopirati s wikipedije