współdzielona Pamięć masowa w chmurze

pamięć równoległa

rozwiązania NAS mogą zapewnić rozsądną wydajność dla szerokiej gamy aplikacji w chmurze i umożliwiają uruchamianie wielu wystąpień klienta współdzielonych tą samą pamięć masową (współdzielona pamięć masowa). Ale co się stanie, jeśli potrzebujesz większej wydajności niż pojedyncza Brama NAS? Albo co zrobić, gdy masz aplikacje, które mogą korzystać z równoległego IO? Dobrą wiadomością jest to, że istnieją pewne rozwiązania dostępne na Amazon Marketplace. Te ami zapewniają współdzieloną równoległą pamięć masową dla aplikacji.

pamięć równoległa umożliwia łączenie wystąpień (tj. więcej niż jednej) i pamięci masowej w jeden system plików. Pozwala to na bardzo duże pojemności i szybszą przepustowość. Dokładne szczegóły dotyczące tego, w jaki sposób pamięć masowa i serwery są połączone w jeden system plików, zależą od konkretnego systemu plików, ale koncepcyjnie ideą jest rozłożenie części pliku na wiele serwerów z ich własnym magazynem, tak aby dostęp do danych dla pliku mógł odbywać się równolegle i tak, że można stracić serwer i magazyn bez utraty danych (lub dostępu do danych).

w tym artykule omówię dwie opcje w Amazon Marketplace: Lustre i OrangeFS.

Lustre: Lustre jest najpopularniejszym równoległym systemem plików dla HPC według niektórych badań (np. 2013 IDC file system study). Jest open-source ze społecznością programistów i dwiema grupami sponsorującymi (Open Scalable File System-OpenSFS i European Open File System-EOFS). Intel) lub połączone rozwiązanie sprzętowe i programowe (Xyratex, DDN, Dell, Terascala, Bull, Inspur), które oprócz sprzętu obejmuje wsparcie dla Lustre.

Ostatnio Intel stworzył wersję Lustre, która działa w AWS przy użyciu instancji EC2 i woluminów EBS. Ta wersja, o nazwie ICEL (Intel Cloud Edition of Lustre)ma trzy różne opcje instancji w tej chwili, z których jedna jest darmowa, ale nie ma żadnego wsparcia. Instancje są:

  • globalne wsparcie przy użyciu wystąpień HVM
  • globalne wsparcie
  • Wersja społeczności

dwie wersje z globalnym wsparciem zapewniają wsparcie, z których jedna korzysta z wystąpień HVM. „Wersja społecznościowa” jest darmowa, ale jeśli napotkasz problemy, musisz zwrócić się o pomoc do list dyskusyjnych Lustre społeczności.

podobnie jak inne rozwiązania pamięci masowej w chmurze, ICEL jest zbudowany z instancji obliczeniowych i pamięci masowej AWS. Instancji używa się jako serwera Oss (Object Storage Server) i dołącza do niej woluminy EBS w celu przechowywania. To samo robisz dla serwerów MDS (Metdata Server) i MGS (Management Server): wybierz instancję obliczeniową, a następnie podłącz do niej woluminy EBS. Aby uzyskać żądaną wydajność, Wybierz liczbę instancji OSS, których potrzebujesz, a aby uzyskać żądaną pojemność, dołącz do każdego OSS liczbę woluminów EBS. (Aby uczynić rzeczy symetrycznymi, zaleca się użycie tej samej liczby woluminów EBS dla każdej instancji OSS.)

montaż instancji OSS i MDS z dołączonymi i sformatowanymi woluminami EBS, w tym instalacja i konfiguracja Lustre może być czasochłonna. ICEL stworzył szablon CloudFormation, który robi to wszystko za Ciebie. Wystarczy ustawić wartość KeyName na klucz ssh i ustawić wartość LustreZA na określoną strefę dostępności w regionie, którego używasz, a szablon automatyzuje wdrażanie ICEL za Ciebie. Po uruchomieniu programu ICEL należy zainstalować klienta Lustre na instancjach, które mają być używane z ICEL.

w sieci jest kilka materiałów, które omawiają ICEL i wydajność. Pierwsza prezentacja miała miejsce w kwietniu 2013 r.podczas 2013 Lustre User Group (LUG). Jest też film z referatu, w którym Robert Read omawia Lustre w AWS. Zauważ, że Robert przeprowadził kilka testów przy użyciu dne (Distributed NameSpace) dla Lustre, które jest pierwszym wydaniem rozproszonych metadanych dla Lustre. Naprawdę niesamowitą rzeczą w budowaniu równoległych rozwiązań pamięci masowej w AWS jest to, że jeśli potrzebujesz większej zagregowanej przepustowości IO, możesz po prostu dodać instancje OSS. Jeśli potrzebujesz większej pojemności, po prostu rozkręć dodatkowe węzły OSS. Jeśli potrzebujesz większej wydajności zagregowanych metadanych, po prostu uruchom instancje MDS z woluminami EBS. Nie musisz czekać tygodniami na nowy sprzęt-po prostu rozkręcasz nową instancję i wyruszasz na wyścigi.

najnowsza prezentacja pochodzi z jesieni 2013 roku na konferencji LAD13 (European Lustre User Group Conference). Prezentacja ICEL jest dostępna online. Do prezentacji dołączony jest również film wideo. Jeśli zauważysz w prezentacji, autorzy wspominają, że obecne ami Lustre w Marketplace są wyposażone w Ganglia, LMT (narzędzie do monitorowania Lustre) i ltop (część LMT), które mogą być używane do monitorowania systemu plików Lustre. Mają nawet zrzut ekranu zwojów ilustrujący narzędzia monitorujące dla ICEL.

w ramach pełnej jawności pracuję w firmie Intel jako senior product manager w firmie Intel Lustre w dziale High Performance Data Division (HPDD), ale produktem ICEL zajmuje się głównie inny zespół z tego działu.

OrangeFS: jednym z pierwszych równoległych systemów plików jest PVFS (Parallel Virtual File System). Rozpoczął się jako projekt badawczy na Uniwersytecie Clemson, a pierwsza praca została opublikowana w 1996 roku. PVF był stale udoskonalany i rozwijany w miarę upływu czasu, a nawet pojawiał się w wersji rewrite, PVFS2. Firma programistyczna o nazwie Omnibond niedawno stworzyła komercyjną wersję PVFS2 o nazwie OrangeFS, która pochodzi z pełnym wsparciem.

istnieje wersja OrangeFS w AWS, która używa instancji obliczeniowych, a także woluminów EBS. „OrangeFS in The Cloud” został ogłoszony w maju 2013 roku. Są dwa ami:

  • Wersja społecznościowa
  • zaawansowana (Aprowizowane IOPS)

wersja community nie używa aprowizowanych IOPS z woluminami EBS, co skutkuje niższą wydajnością. Istnieje w sumie siedem możliwych instancji obliczeniowych EC2, których można używać z tym AMI. Ma również stałą cenę za wystąpienie $0.45 / h, ale bez wsparcia.

wersja Advanced jest dostarczana z obsługą, kosztuje 0,85 USD/godzinę i używa tych samych wystąpień co Wersja Community, z wyjątkiem tego, że używa Aprowizowanych IOPS, aby osiągnąć lepszą wydajność IOPS.

zarówno wersja community, jak i wersja advanced mają cztery opcje tworzenia:

  1. „1-Kliknij” pojedyncza instancja z 1.28 TB pojemności
  2. 4 wystąpienia o pojemności 5 TB
  3. 8 wystąpień o pojemności 10 TB
  4. 16 wystąpień o pojemności 20 TB

liczba wystąpień odnosi się do liczby używanych wystąpień obliczeniowych EC2.

istnieje kilka odniesień w internecie, które mówią o samym OrangeFS i o użyciu OrangeFS w chmurze. Możesz przeczytać o PVFS lub OrangeFS na ich stronach internetowych, ale jest dość obszerny artykuł z Międzynarodowej Konferencji IEEE 2012 na temat systemów i technologii masowych pamięci masowych, który warto przeczytać. Jego autorem jest Walt Ligon, który był jednym z pomysłodawców projektu PVFS.

drugą uwagą jest prezentacja zatytułowana, letni projekt bioinformatyki klastra chmurowego MPI-IO. Prezentacja jest dość ciekawa, bo składa się z kilku części. Pierwsza część to prezentacja na temat komponentów pamięci masowej Amazon. Druga część dotyczy wykorzystania aplikacji bioinformatycznych wykorzystujących MPI-IO i OrangeFS w chmurze.

podsumowanie

coraz więcej obliczeń technicznych lub obciążeń HPC przenosi się do chmury. Wiele z tych obciążeń wymaga lub działa lepiej ze współdzieloną pamięcią masową. Tworzenie współdzielonej pamięci masowej w chmurze dopiero zaczyna być rozwiązywane. Rozwiązania te są zbudowane z tych samych komponentów, co rozwiązania NAS w centrum danych: obliczeniowej, sieciowej, pamięci masowej i oprogramowania. Duża różnica polega na tym, że możesz uruchomić instancję obliczeniową lub dodać pamięć masową w ciągu kilku minut, a nie tygodni, a może miesięcy czekających na przybycie sprzętu, zainstalowanie, przetestowanie i uruchomienie produkcji.

wykorzystując Amazon jako przykład, istnieje kilka wstępnych projektów i eksperymentów z NAS w chmurze, w tym kilka komercyjnych rozwiązań, takich jak chmura SoftNAS. Skonfigurowanie własnego rozwiązania NAS jest dość łatwe, jeśli chcesz użyć dokładnie tych samych poleceń, których używałbyś podczas tworzenia własnego rozwiązania. Rozwiązania komercyjne, takie jak SoftNAS Cloud, oferują możliwość wykonania wszystkich ciężkich prac za Ciebie w zamian za zapłatę za oprogramowanie (i otrzymasz wsparcie).

oprócz NAS można również tworzyć równoległe rozwiązania pamięci masowej. Na przykład w Amazon AWS istnieją dwie opcje, jedna dla Lustre i jedna dla OrangeFS (PVFS). Oba korzystają z tych samych wystąpień obliczeniowych i magazynowych, których używa się w przypadku serwera NAS, ale tworzy się kilka wystąpień połączonych w jeden system plików. Jeśli potrzebujesz większej wydajności, po prostu dodaj więcej wystąpień. Jeśli potrzebujesz większej pojemności, po prostu dodaj więcej instancji. Ponieważ jest to chmura, bardzo łatwo jest utworzyć nową instancję i dodać ją do istniejącej pamięci masowej.

Zdjęcie dzięki uprzejmości .

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.