emkiset.ru

Hoe een supercomputer te maken

Heeft u een machine nodig die honderden miljarden berekeningen per seconde in drijvende komma kan uitvoeren of alleen een verhaal nodig heeft om in de balk te vertellen hoe de supercomputer die u in de kelder heeft een schakelaar omver blaast? Het maken van uw eigen high performance computing-cluster, dat wil zeggen een supercomputer, is een uitdaging die elke expert met een gratis weekend en geld kan aangaan. Technisch gezien is een moderne multi-processing supercomputer een netwerk van computers die parallel werken om een ​​probleem op te lossen. In dit artikel wordt elke stap van het proces kort beschreven, met meer aandacht voor hardware en software.

stappen

Titel afbeelding Build a Supercomputer Step 1
1
Bepaal welke hardwarecomponenten en resources u nodig hebt. U hebt een centraal knooppunt, ten minste een dozijn identieke rekenknooppunten, een Ethernet-switch, een stroomverdeeleenheid en een rack nodig. Het bepaalt de elektrische vraag, koeling en de benodigde ruimte. Het bepaalt ook het IP-adres dat u voor uw privé-netwerk gaat gebruiken, de naam van elk knooppunt, welke softwarepakketten u wilt installeren en welke technologie u wilt gebruiken voor de parallelle rekenmogelijkheden (we zullen hier later over praten).
  • Hoewel de hardware duur is, is alle software in deze handleiding gratis en het grootste deel van de open source.
  • Als u wilt zien hoe snel uw supercomputer in theorie zal zijn, kunt u de volgende tool gebruiken: http://hpl-calculator.sourceforge.net/
  • Titel afbeelding Build a Supercomputer Step 2
    2
    Maak computationele knooppunten U moet computationele knooppunten maken of vooraf gebouwde servers kopen.
  • Kies een serverchassis dat ruimte, koeling en energie-efficiëntie maximaliseert.
  • Of u kunt gebruikte en verouderde servers gebruiken. Op deze manier kunt u een aanzienlijke hoeveelheid geld besparen. Alle processoren, netwerkadapters en moederborden moeten identiek zijn, zodat het hele systeem in harmonie is. Vergeet natuurlijk niet de RAM en opslag voor elk knooppunt en minstens één optisch station voor het centrale knooppunt.
  • Titel afbeelding Build a Supercomputer Step 3
    3
    Installeer de servers in het rack. Begin vanaf de onderkant, zodat de bovenkant van het rek niet te zwaar weegt. Je hebt een vriend nodig om je hierbij te helpen, want de servers kunnen erg zwaar zijn en het kan moeilijk zijn om hen te begeleiden in de rails die ze in het rek houden.
  • Titel afbeelding Build a Supercomputer Step 4


    4
    Installeer de Ethernet-switch op het serverchassis. Profiteer nu van het configureren van de switch: laat 9000 bytes toe voor Jumbo-frames, configureer het IP-adres door het statische adres in te stellen dat u in de eerste stap hebt beslist en onnodige routeringsprotocollen zoals SMTP Snooping uit te schakelen.
  • Titel afbeelding Build a Supercomputer Step 5
    5
    Installeer de PDU (Power Distribution Unit, voor de afkorting in het Engels). Afhankelijk van de stroom die uw knooppunten bij maximale belasting nodig hebben, hebt u mogelijk 220 volt nodig voor krachtige rekenbewerkingen.



  • Titel afbeelding Build a Supercomputer Step 6
    6
    Met alles geïnstalleerd, kunt u het configuratieproces starten. Linux is het de facto besturingssysteem voor HPC-clusters, niet alleen de ideale omgeving voor wetenschappelijk computergebruik, maar ze zijn ook eenvoudig te installeren in honderden of zelfs duizenden knooppunten. Stel je voor hoeveel het je zou kosten om Windows op al die knooppunten te installeren!
  • Het begint met de installatie van de nieuwste BIOS-versie van het moederbord en de firmware, die in alle knooppunten hetzelfde zou moeten zijn.
  • Installeer de gewenste Linux-distributie op elk knooppunt, met een grafische interface voor het centrale knooppunt. De meest populaire zijn CentOS, OpenSuse, Scientific Linux, RedHat en SLES.
  • De auteur beveelt het gebruik van de Rocks Cluster-distributie aan. Naast het installeren van alle benodigde tools om een ​​computercluster te laten werken, gebruikt Rocks een geweldige methode om "verdelen" veel instanties van zichzelf naar de knooppunten zeer snel met behulp van de PXE opstarten en de procedure "Start" van Red Hat.
  • Titel afbeelding Build a Supercomputer Step 7
    7
    Installeer de interface om berichten door te geven, de resource manager en andere noodzakelijke bibliotheken. Als u in de vorige stap Rocks niet hebt geïnstalleerd, moet u de benodigde software handmatig configureren om parallelle berekeningsmechanismen in te schakelen.
  • Ten eerste hebt u een draagbaar bash-beheersysteem nodig, zoals de Torque-resource manager, waarmee u taken over meerdere machines kunt splitsen en verspreiden.
  • Koppel het koppel aan de Maui Cluster Scheduler om de configuratie te voltooien.
  • Vervolgens moet u de interface voor het doorgeven van berichten installeren, noodzakelijk voor afzonderlijke processen in afzonderlijke computerknooppunten, zodat ze dezelfde informatie delen. Het gebruik van OpenMP ligt voor de hand.
  • Vergeet de multi-threaded wiskundebibliotheken en de compilers niet om parallelle computerprogramma`s te bouwen. Heb je al gezegd dat je gewoon Rocks kunt installeren?
  • Titel afbeelding Build a Supercomputer Step 8
    8
    Verbind de computationele knooppunten met elkaar. Het centrale knooppunt zendt berekeningstaken naar de computationele knooppunten, die op hun beurt het resultaat terug moeten sturen en ook berichten naar elkaar moeten verzenden. Hoe sneller, hoe beter.
  • Het maakt gebruik van een eigen Ethernet-netwerk om alle knooppunten van het cluster met elkaar te verbinden.
  • Het centrale knooppunt kan ook werken als een NFS-, PXE-, DHCP-, TFPT- en NTP-server via het Ethernet-netwerk.
  • U moet dit netwerk van openbare netwerken scheiden, wat ervoor zorgt dat uitzendingspakketten niet interfereren met andere netwerken op uw LAN.
  • Titel afbeelding Build a Supercomputer Step 9
    9
    Test het cluster. Het laatste dat u wilt doen voordat u alle rekenkracht aan gebruikers vrijgeeft, is het controleren van hun prestaties. De HTP-benchmark (High Performance Lynpack) is een populaire keuze voor het meten van de rekensnelheid van een cluster. Je moet het uit de bron compileren met alle mogelijke optimalisaties die je compiler biedt voor de gekozen architectuur.
  • Natuurlijk moet je uit de bron compileren met alle mogelijke optimalisatieopties voor je platform. Als u bijvoorbeeld AMD-CPU`s hebt, compileert u met Open64 met optimalisatieniveau -0fast.
  • Vergelijk uw resultaten op TOP5000.org om te zien of uw cluster tot de 500 snelste supercomputers ter wereld behoort!
  • tips

    • Zoek voor de zeer hoge netwerksnelheden naar InfiniBand-netwerkinterfaces. Hoewel je je moet voorbereiden om een ​​zeer hoge prijs te betalen.
    • IPMI kan het beheren van een groot cluster heel eenvoudig maken door speciale KVM over IP, remote shutdown en power-on opties, en meer.
    • Het gebruikt Ganglia om de rekenkracht van de knooppunten te controleren.

    waarschuwingen

    • Zorg ervoor dat de infrastructuur die u hebt de belasting aankan.
    Delen op sociale netwerken:

    Verwant
    Hoe een netwerkswitch te kopenHoe een netwerkswitch te kopen
    Hoe Vista en Windows 7 aan te sluitenHoe Vista en Windows 7 aan te sluiten
    Hoe twee computers met elkaar te verbindenHoe twee computers met elkaar te verbinden
    Hoe u uw computer in een lokaal netwerk kunt instellenHoe u uw computer in een lokaal netwerk kunt instellen
    Hoe je je eigen ethernetkabel maakt en een netwerk opzet tussen twee laptops met die kabelHoe je je eigen ethernetkabel maakt en een netwerk opzet tussen twee laptops met die kabel
    Hoe een thuisnetwerk te makenHoe een thuisnetwerk te maken
    Hoe games op LAN te spelenHoe games op LAN te spelen
    Hoe een SETI-supercomputer te assemblerenHoe een SETI-supercomputer te assembleren
    Meerdere computers bedienen met een toetsenbord en een monitorMeerdere computers bedienen met een toetsenbord en een monitor
    Hoe een elektrische schakelaar toe te voegenHoe een elektrische schakelaar toe te voegen
    » » Hoe een supercomputer te maken
    © 2021 emkiset.ru