jaettu tallennustila pilvessä

Rinnakkaistallennus

NAS-ratkaisut voivat tarjota kohtuullisen suorituskyvyn useille pilvessä käytettäville sovelluksille ja antaa sinulle mahdollisuuden suorittaa monia asiakastallennuksia, jotka jakavat saman tallennustilan (jaetun tallennustilan). Mutta mitä tapahtuu, jos tarvitset enemmän suorituskykyä kuin mitä yksi NAS gateway voi tarjota? Tai mitä teet, kun sinulla on sovelluksia, jotka voivat hyötyä parallel IO: sta? Hyvä uutinen on, että on olemassa joitakin ratkaisuja saatavilla Amazonin markkinoilla. Nämä AMIs-järjestelmät tarjoavat sovelluksille yhteistä rinnakkaistallennusta.

Rinnakkaistallennuksella voidaan yhdistää instanssit (eli useampi kuin yksi) ja tallennus yhteen tiedostojärjestelmään. Tämä mahdollistaa erittäin suuret kapasiteetit ja nopeamman läpimenon. Tarkat tiedot siitä, miten tallennus ja palvelimet yhdistetään yhdeksi tiedostojärjestelmäksi, riippuvat tietystä tiedostojärjestelmästä, mutta käsitteellisesti ajatuksena on levittää tiedoston osia useille palvelimille, joilla on oma tallennustila, jotta tiedoston tiedonsaanti voidaan tehdä rinnakkain ja jotta voit menettää palvelimen ja tallennustilan ilman tietojen menetystä (tai pääsyä tietoihin).

tässä artikkelissa aion käsitellä kahta vaihtoehtoa Amazonin markkinoilla: Lustre, ja OrangeFS.

Lustre: Lustre on joidenkin tutkimusten mukaan HPC: n yleisin rinnakkainen tiedostojärjestelmä (esim. 2013 IDC-tiedostojärjestelmätutkimus). Se on avoimen lähdekoodin kehitysyhteisö ja kaksi sponsorointiryhmää (Open Scalable File System – OpenSFS ja European Open File System – EOFS). Useat yritykset myyvät joko tukisopimuksia Lustrelle (esim.Intel) tai yhdistettyä laitteisto-ja ohjelmistoratkaisua (Xyratex, DDN, Dell, Terascala, Bull, Inspur), joka sisältää laitteiston lisäksi tuen Lustrelle.

hiljattain Intel on luonut lustresta version, joka toimii AWS: ssä käyttäen EC2-instansseja ja EBS-volyymeja. Tämä versio, nimeltään ICEL (Intel Cloud Edition of lustre) on kolme eri instanssi vaihtoehtoja tällä hetkellä, joista yksi on ilmainen käyttää, mutta ei tule mitään tukea. Instanssit ovat:

  • maailmanlaajuinen tuki käyttäen HVM-ilmentymiä
  • maailmanlaajuinen tuki
  • yhteisön versio

kaksi maailmanlaajuista tukea sisältävää versiota tarjoavat sinulle tukea, joista toinen käyttää HVM-ilmentymiä. ”Community Version” käyttö on ilmaista, mutta jos törmäät ongelmiin, sinun on käännyttävä yhteisön postituslistojen puoleen saadaksesi apua.

kuten muutkin pilvipalvelun tallennusratkaisut, ICEL on rakennettu AWS-laskenta-ja tallennusastioista. Käytät instanssia OSS-palvelimena (Object Storage Server) ja liität EBS-taltiot siihen tallennusta varten. Teet saman MDS (Metdata Server) ja MGS (Management Server) palvelimille: valitse Laske instanssi ja liitä siihen EBS-volyymit. Saadaksesi halutun suorituskyvyn, valitset tarvitsemasi OSS-esiintymien määrän ja saadaksesi haluamasi kapasiteetin, liität jokaiseen OSS: ään useita EBS-taltioita. (Jotta asiat symmetrinen, on suositeltavaa, että käytät saman määrän EBS volyymit kunkin OSS instanssi.)

OSS – ja MDS-instanssien kokoaminen liitetyillä ja muotoilluilla EBS-taltioilla, mukaan lukien Lustren asentaminen ja konfigurointi, voi olla aikaa vievää. ICEL on luonut CloudFormation-mallin, joka tekee kaiken tämän puolestasi. Sinun tarvitsee vain asettaa keyname-arvo ssh-avaimellesi ja lustreza-arvo käytettävän alueen tietylle Käytettävyysalueelle, ja malli automatisoi ICELIN käyttöönoton puolestasi. Kun ICEL on toiminnassa, sinun on asennettava Lustre-asiakasohjelma instansseihin, joita aiot käyttää ICELIN kanssa.

netissä on jonkin verran materiaalia, jossa keskustellaan jäästä ja esityksestä. Ensiesittely oli huhtikuussa 2013 vuoden 2013 Lustre User Group (LUG) – tapahtumassa. Lehdestä on myös video, jossa Robert Read keskustelee AWS: n himoista. Huomaa, että Robert teki joitakin testejä käyttäen DNE (Distributed NameSpace) lustre, joka on ensimmäinen julkaisu distributed metadata lustre. AWS: n rinnakkaisten tallennusratkaisujen rakentamisessa on todella hämmästyttävää se, että jos tarvitset enemmän IO-aggregaattia, voit vain lisätä OSS-esiintymiä. Jos tarvitset lisää kapasiteettia, pyöräytät vain lisää OSS-solmuja. Jos tarvitset enemmän yhteenlaskettua metatietoa suorituskykyä, voit vain spin up MDS esiintymiä EBS volyymit. Sinun ei tarvitse odottaa viikkoja saada uusia laitteita—voit vain spin up Uusi esimerkki, ja olet pois kilpailuista.

viimeisin esitys on syksyltä 2013 LAD13-konferenssista (European Lustre User Group Conference). ICEL-esitys on luettavissa verkossa. Esittelystä on myös oheisvideo. Jos huomaat esityksessä, kirjoittajat mainitsevat, että nykyiset Lustre amis Marketplacessa tulevat Ganglian, LMT: n (Lustre Monitoring Tool) ja ltop: n (osa LMT: tä) kanssa, joita voidaan käyttää Lustre-tiedostojärjestelmän seurantaan. Heillä on jopa kuvakaappaus Ganglia havainnollistaa seurantatyökaluja ICEL.

itse asiassa työskentelen Intelillä Intel Lustrelle korkean suorituskyvyn Data-divisioonan (HPDD) tuotepäällikkönä, mutta ICEL-tuotetta hoitaa pääasiassa toinen tiimi divisioonan kanssa.

OrangeFS: yksi ensimmäisistä rinnakkaisista tiedostojärjestelmistä on PVFS (Parallel Virtual File System). Se alkoi tutkimushankkeena Clemsonin yliopistossa, ja ensimmäinen paperi julkaistiin vuonna 1996. PVF: ää on jatkuvasti jalostettu ja kehitetty ajan myötä, jopa kirjoitettu uudelleen, PVFS2. Ohjelmistoyritys Omnibond on äskettäin luonut kaupallisen version PVFS2, nimeltään OrangeFS, joka tulee täyden tuen.

AWS: ssä on orangefs-versio, jossa käytetään laskentaefektejä sekä EBS: n volyymejä. ”Orangefs In The Cloud” julkistettiin toukokuussa 2013. Amisia on kaksi:

  • Community Version
  • Advanced (Provisioned IOPS)

yhteisöversiossa ei käytetä EBS-volyymien kanssa varattuja IOPS-sopimuksia, mikä heikentää suorituskykyä. On yhteensä seitsemän mahdollista EC2 laskea tapauksissa voit käyttää tämän AMI. Se on myös kiinteä hinta per esimerkiksi $0.45 / hr mutta ei tukea.

Advanced Version mukana tulee tuki, maksaa $0.85/tunti, ja käyttää samoja instansseja kuin yhteisön versio, paitsi että se käyttää varauksellisia IOPS saavuttaa parempi IOPS suorituskykyä.

sekä yhteisö-että edistyneemmissä painoksissa on neljä luontivaihtoehtoa:

  1. ”1-klikkaa” yksi instanssi 1.28tb kapasiteettia
  2. 4 tapausta, joissa 5 tonnia kapasiteettia
  3. 8 tapausta, joissa 10 tonnia kapasiteettia
  4. 16 tapausta, joissa 20 tonnia kapasiteettia

tapausten lukumäärä viittaa käytettyjen EC2-laskentatapojen määrään.

verkossa on pari viittausta, joissa puhutaan itse Orangefeistä ja orangefien käytöstä pilvessä. Voit lukea PVFS: stä tai OrangeFS: stä niiden verkkosivuilta, mutta vuonna 2012 pidetystä IEEE: n kansainvälisestä konferenssista on olemassa melko laaja asiakirja massiivisista tallennusjärjestelmistä ja teknologiasta, joka on lukemisen arvoinen. Sen on kirjoittanut Walt Ligon, joka oli yksi PVFS-projektin alkuunpanijoista.

toinen huomionosoitus on esitys nimeltä, An mpi-IO Cloud Cluster Bioinformatices Summer Project. Esitys on varsin mielenkiintoinen, koska siinä on pari osaa. Ensimmäinen osa on esittely Amazonin varastokomponenteista. Toinen osa käsittelee mpi-IO: ta ja orangefsia hyödyntävien bioinformatiikan sovellusten käyttöä pilvessä.

Yhteenveto

yhä useampi tekninen laskenta-tai HPC-työkuorma siirtyy pilveen. Monet näistä työmääristä tarvitsevat tai toimivat paremmin jaetun tallennustilan avulla. Jaetun tallennustilan luominen pilveen on vasta alkamassa. Nämä ratkaisut on rakennettu samoista komponenteista kuin konesalisi NAS-ratkaisut: laskenta, verkko, varastointi ja ohjelmisto. Suuri ero on, että voit spin ylös laskea esimerkiksi tai lisätä tallennustilaa muutamassa minuutissa eikä viikkoja tai ehkä kuukausia odottaa laitteiston saapua, asennetaan, testataan ja otetaan tuotantoon.

käyttäen Amazonia esimerkkinä, on olemassa joitakin alustavia suunnitelmia ja kokeiluja NAS: n kanssa pilvessä, mukaan lukien joitakin kaupallisia ratkaisuja, kuten SoftNAS Cloud. Oman nas-ratkaisun määrittäminen on melko helppoa, jos haluat käyttää täsmälleen samoja komentoja, joita käyttäisit, jos rakentaisit omaa ratkaisuasi. Kaupalliset ratkaisut, kuten SoftNAS Cloud, tarjoavat mahdollisuuden teettää kaikki raskaat nostot puolestasi vastineeksi ohjelmiston maksamisesta (ja saat tukea).

NAS: n lisäksi voi luoda myös rinnakkaisia tallennusratkaisuja. Esimerkiksi Amazonin AWS: ssä on kaksi vaihtoehtoa, toinen Lustre, ja toinen ORANGEFS (PVFS). Molemmat käyttävät samaa laskenta-ja tallennusastetta, jota käytät NAS: lle, mutta luot useita instansseja, jotka yhdistetään yhden tiedostojärjestelmän luomiseksi. Jos tarvitset enemmän suorituskykyä, vain lisätä esiintymiä. Jos tarvitset enemmän kapasiteettia, lisää vain lisää tapauksia. Koska tämä on pilvi, se on erittäin helppo pyöräyttää Uusi instanssi ja lisätä sen olemassa olevaan tallennustilaan.

Photo courtesy of .

Vastaa

Sähköpostiosoitettasi ei julkaista.