Aveți nevoie de o mașină care poate furniza sute de miliarde de calcule în virgulă mobilă pe secundă? Sau aveți nevoie de o poveste despre bar despre modul în care supercomputerul din subsol a răsturnat un întrerupător? Construirea propriului cluster de calcul de înaltă performanță, numit și supercomputer, este o provocare pe care orice geek expert, cu un week-end de timp liber și cu niște bani de ars, poate să o facă. Din punct de vedere tehnic, un supercomputer modern, multiprocesor, este o rețea de computere care lucrează împreună în paralel pentru a rezolva o problemă. Acest articol va descrie pe scurt fiecare pas al procesului, concentrându-se pe hardware și software.
Pași
Pasul 1. Determinați mai întâi componentele hardware și resursele necesare
Veți avea nevoie de un nod de cap, cel puțin o duzină de noduri de calcul identice, un comutator Ethernet, o unitate de distribuție a energiei și un rack. Determinați necesarul electric, răcirea și spațiul necesar. De asemenea, decideți ce adresă IP doriți pentru rețelele dvs. private, ce să numiți nodurile, ce pachete software doriți să instalați și ce tehnologie doriți să oferiți capabilități de calcul paralele (mai multe despre aceasta mai târziu).
- Deși hardware-ul este scump, toate software-urile enumerate în acest manual sunt gratuite, iar majoritatea sunt open source.
- Dacă doriți să vedeți cât de rapid ar fi teoretic supercomputerul dvs., utilizați acest instrument:
Pasul 2. Construiți nodurile de calcul
Va trebui să asamblați nodurile de calcul sau să achiziționați servere pre-build.
- Alegeți un șasiu pentru server de computer care maximizează spațiul, răcirea și eficiența energetică.
- Sau puteți utiliza o duzină de servere uzate, învechite - al căror ansamblu va depăși suma pieselor lor, dar vă va economisi o sumă considerabilă de numerar. Toate procesoarele, adaptoarele de rețea și plăcile de bază ar trebui să fie identice pentru ca întregul sistem să se joace frumos împreună. Desigur, nu uitați de RAM și stocare pentru fiecare nod și cel puțin o unitate optică pentru nodul principal.
Pasul 3. Instalați serverele în rack
Începeți de jos, astfel încât raftul să nu fie greu. Veți avea nevoie de un prieten care să vă ajute în acest sens - serverele dense pot fi foarte grele, iar ghidarea lor în șinele care le țin în rack este dificilă.
Pasul 4. Instalați comutatorul Ethernet deasupra șasiului serverului
Profitați de acest moment pentru a configura comutatorul: permiteți dimensiuni de cadre jumbo de 9000 de octeți, setați adresa IP la adresa statică pe care ați decis-o la pasul 1 și dezactivați protocoalele de rutare inutile, cum ar fi SMTP Snooping.
Pasul 5. Instalați PDU (unitatea de distribuție a energiei)
În funcție de cât de mult curent poate avea nevoie nodurile dvs. la sarcină maximă, este posibil să aveți nevoie de 220 de volți pentru calculul de înaltă performanță.
Pasul 6. Cu tot ce este instalat, puteți începe procesul de configurare
Linux este sistemul de operare de facto pentru clusterele HPC - nu numai că este mediul ideal pentru calculul științific, dar nu costă nimic să îl instalezi pe sute sau chiar mii de noduri. Imaginați-vă cât ar costa instalarea Windows pe toate aceste noduri!
- Începeți cu instalarea celei mai recente versiuni a BIOS-ului și firmware-ului plăcii de bază, care ar trebui să fie identice pe toate nodurile.
- Instalați distro-ul dvs. Linux preferat pe fiecare nod, cu o interfață grafică pentru nodul principal. Opțiunile populare includ CentOS, OpenSuse, Scientific Linux, RedHat și SLES.
- Acest autor recomandă cu tărie utilizarea distribuției Rocks Cluster. În plus față de instalarea tuturor instrumentelor necesare pentru ca un cluster de calcul să funcționeze, Rocks folosește o metodă excelentă pentru „distribuirea” numeroaselor instanțe de la sine la noduri foarte rapid folosind boot-ul PXE și procedura Red Hat „Kick Start”.
Pasul 7. Instalați interfața de transmitere a mesajelor, managerul de resurse și alte biblioteci necesare
Dacă nu ați instalat Rocks în pasul anterior, va trebui să configurați manual software-ul necesar pentru a activa mecanismele de calcul paralele.
- Mai întâi veți avea nevoie de un sistem de gestionare bash portabil, cum ar fi Torque Resource Manager, care vă permite să separați și să distribuiți sarcini pe mai multe mașini.
- Asociați cuplul cu Maui Cluster Scheduler pentru a finaliza configurarea.
- Apoi, va trebui să instalați interfața de transmitere a mesajelor, necesară proceselor individuale pe nodurile de calcul separate pentru a partaja aceleași date. OpenMP este un joc nebunesc.
- Nu uitați de bibliotecile și compilatoarele matematice multi-threading pentru a vă construi programele de calcul paralel. Am menționat că ar trebui să instalați Rocks?
Pasul 8. Rețeaua nodurilor de calcul împreună
Nodul principal trimite sarcinile de calcul către nodurile de calcul, care la rândul lor trebuie să trimită rezultatul înapoi, precum și să trimită mesaje unul către celălalt. Cu cât mai repede, cu atât mai bine.
- Utilizați o rețea ethernet privată pentru a conecta toate nodurile din cluster.
- Nodul principal poate acționa și ca server NFS, PXE, DHCP, TFTP și NTP prin rețeaua Ethernet.
- Trebuie să separați această rețea de rețelele publice, ceea ce asigură faptul că pachetele de difuzare nu interferează cu alte rețele din rețeaua LAN.
Pasul 9. Testați clusterul
Ultimul lucru pe care poate doriți să-l faceți înainte de a elibera utilizatorilor toată această putere de calcul este să testați performanța. Punctul de referință HPL (High Performance Lynpack) este o alegere populară pentru măsurarea vitezei de calcul a clusterului. Va trebui să îl compilați din sursă cu toate optimizările posibile pe care le oferă compilatorul pentru arhitectura pe care ați ales-o.
- Desigur, trebuie să compilați din sursă cu toate opțiunile de optimizare posibile pentru platforma dvs. De exemplu, dacă utilizați procesoare AMD, compilați cu Open64 cu -0 nivel de optimizare rapidă.
- Comparați-vă rezultatele pe TOP500.org pentru a compara clusterul dvs. cu cele mai rapide 500 de supercalculatoare din lume!
Video - Prin utilizarea acestui serviciu, unele informații pot fi partajate cu YouTube
sfaturi
- Pentru viteze de rețea foarte mari, căutați în interfețele de rețea InfiniBand. Fiți pregătit să plătiți prețuri premium.
- IPMI poate face ca administrarea unui cluster mare să fie o briză oferind KVM-over-IP, ciclu de alimentare la distanță și multe altele.
- Utilizați Ganglia pentru a monitoriza sarcinile de calcul pe noduri.
