Delt Lagring I Skyen

Parallell lagring

NAS-løsninger kan gi rimelig ytelse for et bredt spekter av applikasjoner i skyen, og lar deg kjøre mange klientforekomster som deler samme lagring (delt lagring). Men hva skjer hvis du trenger mer ytelse enn hva en enkelt nas gateway kan gi? Eller hva gjør du når du har programmer som kan dra nytte av parallell IO? Den gode nyheten er at Det er noen løsninger tilgjengelig I Amazon Marketplace. Disse AMIs gir delt parallell lagring for applikasjoner.

Parallell lagring lar deg kombinere forekomster (dvs. mer enn en) og lagring til et enkelt filsystem. Dette gir svært stor kapasitet og raskere gjennomstrømning. De nøyaktige detaljene om hvordan lagring og servere kombineres til et enkelt filsystem, avhenger av det spesifikke filsystemet, men konseptuelt er ideen å spre deler av filen over flere servere med egen lagring slik at datatilgangen til en fil kan gjøres parallelt og slik at du kan miste en server og lagring uten tap av data (eller tilgang til dataene).

i denne artikkelen skal jeg dekke to alternativer I Amazon Marketplace: Lustre Og OrangeFS.

Glans: Glans er det vanligste parallellfilsystemet for hpc ifølge enkelte studier (f. eks. 2013 IDC filsystem studie). Det er åpen kildekode med et utviklingssamfunn og to sponsorgrupper(Open Scalable File System-OpenSFS og European Open File System – EOFS). Intel) eller en kombinert maskinvare – og programvareløsning (Xyratex, DDN, Dell, Terascala, Bull, Inspur) som inkluderer støtte for Glans i tillegg til maskinvaren.

Nylig Har Intel opprettet en Versjon Av Glans som kjører I AWS ved HJELP AV EC2-forekomster og EBS-volumer. DENNE versjonen, KALT ICEL (Intel Cloud Edition Of Lustre) har tre forskjellige instansalternativer på dette tidspunktet, hvorav den ene er gratis å bruke, men kommer ikke med noen støtte. Forekomstene er:

  • Global Støtte VED HJELP AV HVM-forekomster
  • Global Støtte
  • Fellesskapsversjon

de to versjonene Med Global Støtte gir deg støtte, hvorav DEN ene bruker HVM-forekomster. «Fellesskapsversjonen» er gratis å bruke, men hvis du får problemer, må du vende deg til fellesskapets Glanslister for å få hjelp.

PÅ samme måte som andre lagringsløsninger i skyen, ER ICEL konstruert fra AWS-databehandlings-og lagringsinstanser. Du bruker en forekomst som EN OSS (Object Storage Server) og legger EBS-volumer til den for lagring. Du gjør det samme for serverne Mds (Metdata Server) og Mgs (Management Server): velg en databehandlingsforekomst og legg DERETTER EBS-volumer til DEN. For å få ønsket ytelse, velger du antall oss-forekomster du trenger, og for å få kapasiteten du vil ha, knytter DU et antall EBS-volumer til hver OSS. (For å gjøre ting symmetrisk, anbefales det at du bruker samme ANTALL EBS-volumer for HVER OSS-forekomst.)

Montering AV OSS-og mds-forekomster med vedlagte OG formaterte EBS-volumer, inkludert installering og konfigurering Av Glans, kan være tidkrevende. ICEL har opprettet En CloudFormation mal som gjør alt dette for deg. Du trenger bare å sette KeyName-verdien til ssh-tasten, og sette LustreZA-verdien til Den spesifikke Tilgjengelighetssonen i regionen du bruker, og malen automatiserer distribusjonen AV ICEL for deg. Når ICEL er oppe, må du installere Lustre-klienten på de tilfellene du planlegger å bruke MED ICEL.

det er noen materialer rundt på nettet som diskuterer ICEL og ytelsen. Den første presentasjonen var i April 2013 på 2013 Lustre User Group (LUG). Det er også en video av papiret, Hvor Robert Read diskuterer Glans i AWS. Legg merke Til At Robert gjorde noen tester ved HJELP AV DNE (Distributed NameSpace) For Glans, som er den første utgivelsen av distribuerte metadata for Glans. Den virkelig fantastiske tingen om å bygge parallelle lagringsløsninger i AWS er at hvis du trenger mer samlet IO-gjennomstrømning, kan DU bare legge TIL oss-forekomster. Hvis du trenger mer kapasitet, spinner du bare opp flere oss-noder. Hvis du trenger mer samlet metadataytelse, spinner du bare OPP mds-forekomster med EBS-volumer. Du trenger ikke å vente i flere uker for å få ny maskinvare – du spinner bare opp en ny forekomst, og du er av til løpene.

den siste presentasjonen er Fra Høsten 2013 PÅ LAD13-konferansen (European Lustre User Group Conference). ICEL-presentasjonen er tilgjengelig online. Det er også en medfølgende video av presentasjonen. Hvis du merker i presentasjonen, nevner forfatterne at dagens Lustre AMIs i Marketplace kommer Med Ganglia, LMT (Lustre Monitoring Tool) og ltop (del AV LMT), som kan brukes til å overvåke Lustre filsystemet. De har til og med et skjermbilde Av Ganglia som illustrerer overvåkingsverktøy for ICEL.

Som et spørsmål om full avsløring jobber Jeg Hos Intel som senior product manager For Intel Lustre i High Performance Data Division (HPDD), men ICEL-produktet håndteres hovedsakelig av et annet team med divisjonen.

OrangeFS: ET av de aller første parallelle filsystemene ER PVFS (Parallel Virtual File System). Det startet som et forskningsprosjekt Ved Clemson University med det første papiret som ble publisert i 1996. PVFS har blitt jevnt raffinert og utviklet over tid, selv gyting en omskrivning, PVFS2. Et programvareselskap kalt Omnibond har nylig opprettet en kommersiell versjon AV PVFS2, Kalt OrangeFS som kommer med full støtte.

Det er en versjon Av OrangeFS I AWS som bruker databehandlingsforekomster samt EBS-volumene. «OrangeFS in The Cloud» ble annonsert I Mai 2013. Det er to AMIs:

  • Fellesskapsversjon
  • Avansert (Klargjort IOPS)

fellesskapsversjonen bruker ikke klargjorte IOPS med EBS-volumene, noe som resulterer i lavere ytelse. Det er totalt syv MULIGE EC2-databehandlingsforekomster du kan bruke med DENNE AMI. Det har også en fast pris per forekomst på $0.45 / hr, men ingen støtte.

Den Avanserte Versjonen leveres med støtte, koster $ 0,85 / time, og bruker de samme forekomstene Som Fellesskapsversjonen, bortsett fra at Den bruker Klargjort IOPS for å oppnå bedre iops-ytelse.

både fellesskaps-og avanserte utgaver har fire opprettelsesalternativer:

  1. «1-klikk» enkelt forekomst med 1.28 TB kapasitet
  2. 4 forekomster med 5 TB kapasitet
  3. 8 forekomster med 10 TB kapasitet
  4. 16 forekomster med 20 TB kapasitet

antallet FOREKOMSTER refererer til ANTALLET EC2-databehandlingsforekomster som brukes.

Det er et par referanser på nettet som snakker Om OrangeFS selv og om bruk Av OrangeFS i skyen. DU kan lese OM PVFS eller OrangeFS på deres respektive nettsteder, men det er et ganske omfattende papir fra 2012 Ieee International Conference Om Massive Lagringssystemer og Teknologi som er verdt å lese. Det er forfattet Av Walt Ligon, som var en av opphavsmennene TIL PVFS-prosjektet.

et annet notat er en presentasjon med tittelen, Et Mpi-IO Cloud Cluster Bioinformatices Summer Project. Presentasjonen er ganske interessant fordi den har et par deler. Den første delen er en presentasjon På Amazon storage components. Den andre delen handler om å bruke bioinformatikkprogrammer som bruker MPI-IO og OrangeFS i skyen.

Sammendrag

Flere og flere tekniske databehandling eller HPC-arbeidsbelastninger beveger seg inn i skyen. Mange av disse arbeidsbelastningene trenger eller fungerer bedre med delt lagring. Å opprette delt lagring i skyen begynner bare å bli adressert. Disse løsningene er bygget fra de samme komponentene SOM nas-løsninger i datasenteret: databehandling, nettverk, lagring og programvare. Den store forskjellen er at du kan spinne opp en databehandlingseksempel eller legge til lagring i løpet av noen få minutter i stedet for uker eller kanskje måneder som venter på at maskinvaren skal ankomme, installeres, testes og settes i produksjon.

Ved Å Bruke Amazon som et eksempel, er Det noen innledende design og eksperimenter med NAS i skyen, inkludert noen kommersielle løsninger som SoftNAS Cloud. Det er ganske enkelt å konfigurere DIN EGEN nas-løsning hvis du ønsker å bruke nøyaktig samme kommandoer du ville bruke hvis du skulle bygge din egen løsning. Kommersielle løsninger som SoftNAS Cloud tilbyr muligheten til å ha alle de tunge løftene gjort for deg i bytte for å betale for programvaren (og du får støtte).

i TILLEGG TIL NAS kan du også opprette parallelle lagringsløsninger. For Eksempel, I Amazon AWS, er det to alternativer, en For Glans, og en For OrangeFS (PVFS). Begge bruker samme databehandlings-og lagringsforekomster som du bruker FOR NAS, men du oppretter flere forekomster som kombineres for å opprette et enkelt filsystem. Hvis du trenger mer ytelse, bare legge til flere forekomster. Hvis du trenger mer kapasitet, bare legge til flere forekomster. Siden dette er skyen, er det veldig enkelt å spinne opp en ny forekomst og legge den til eksisterende lagring.

Photo courtesy of .

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert.