Projektując architekturę pamięci masowych dla systemów obliczeniowych o wysokiej wydajności HPC (High-Performance Computing), największą wagę przykłada się do wydajności systemu plikowego. Kolejne wyzwanie, to zarządzanie wszystkimi plikami, które są używane przy wprowadzaniu danych lub tworzone jako dane wyjściowe, zazwyczaj w dłuższym przedziale czasowym.
W danych tych zwykle tkwi wartość, którą można wydobyć za pomocą nowoczesnych systemów analitycznych (Hadoop czy Big Data Analytics). Stworzenie optymalnego repozytorium danych (Data Lake) dla środowisk HPC i systemów analitycznych umożliwia skalowalna macierz plikowa Dell EMC Isilon.
Macierz plikowa z unikatowym systemem plików OneFS
Dell EMC Isilon to wieloprotokołowy system NAS typu scale-out, który wykorzystuje rozproszony, równoległy system plików OneFS, umożliwiający składowanie danych w ogromnych ilościach, przy użyciu różnorodnych protokołów dostępu: nfs, rest api, smb, fttp, http czy hdfs. Macierz plikowa Isilon umożliwia łatwą rozbudowę, automatyczne dostosowywanie obciążeń do zmiennych warunków pracy oraz wymianę informacji między różnorodnymi systemami.
System operacyjny Dell EMC Isilon OneFS zapewnia inteligencję macierzom Isilon. Łączy trzy warstwy tradycyjnej architektury pamięci masowej: system plików, menedżera woluminów i ochronę danych — w jednej, zunifikowanej warstwie oprogramowania, tworząc pojedynczy, inteligentny system plików, obejmujący wszystkie węzły w obrębie klastra.
Unikatowy system plików OneFS (obecnie dostępna jest ósma jego generacja) ułatwia wymianę danych. System może być rozbudowywany poprzez dołączanie kolejnych elementów, które razem tworzą jeden system plików. Zarządzanie nim odbywa się za pomocą graficznego interfejsu użytkownika lub przy użyciu rest api, co umożliwia zarówno integrację z innymi systemami (zarządzanie), jak i dostęp do danych składowanych w macierzy.
Całość, przypominająca architekturę klastra HPC, jest połączona przy użyciu łączy Infiniband, co gwarantuje szybki transfer danych między węzłami klastra, jednocześnie minimalizując opóźnienia wynikające z rozproszonej architektury systemu. Takie rozwiązanie określa się jako repozytorium danych Data Lake, które można elastycznie dopasowywać, zachowując spójność i bezpieczeństwo przechowywanych informacji.
Jednoczesne zwiększanie pojemności i wydajności
Skalowalne systemy (scale-out) składowania danych to koncepcja tworzenia i rozbudowy przestrzeni dyskowej, zakładająca zwiększanie pojemności z jednoczesnym powiększaniem możliwości systemu przez dokładanie kolejnych bloków tworzących macierz. Każdy z bloków ma swoje zasoby procesorowe, pamięciowe oraz dyski i przyłącza wejścia/wyjścia, które są połączone za pomocą szerokopasmowych sieci o niskim opóźnieniu.
Macierz Dell EMC Isilon to przykład skalowalnej (scale-out), sieciowej pamięci masowej z unikatowym systemem plików, która doskonale sprawdza się wszędzie tam, gdzie wymagane jest przetwarzanie danych w komputerach o dużej mocy. Pierwszym rynkiem docelowym dla Isilon była branża medialna i rozrywkowa. Obecnie ponad 8 tys. klientów (z sektorów zdrowia, produkcyjnego, wydobywczego oraz naukowego) wykorzystuje macierz Dell EMC Isilon jako centralne repozytorium dla danych niestrukturalnych.
HPC i Hadoop zintegrowane z Isilon Data Lake – natywny dostęp do tych samych danych
Przy projektowaniu nowoczesnego środowiska IT do obsługi zarówno systemów HPC, jak i analitycznych Big Data Analytics, kluczowe kryterium stanowi potrzeba zapewnienia dostępu do tych samych danych. Spełnia je Dell EMC Isilon. Jest to jedyny system na rynku, który oferuje natywny dostęp do tych samych danych w tym samym czasie przy użyciu dowolnego z następujących protokołów: nfs, cifs, hdfs lub swift. „Natywny” w tym przypadku oznacza optymalny i zapewniający pełną wydajność.
Środowiska Big Data Analytics i Hadoop pomagają przekształcać przechowywane dane w informacje i wydobywać z nich ukrytą wartość. W tym zakresie wiele korzyści wnosi możliwość zintegrowania rezpozytorium Data Lake z nowoczesnym środowiskiem HPC, zwłaszcza jeśli te same dane są również wykorzystywane w systemach Big Data Analytics.
Dell EMC Isilon
- Skalowalna, wysokowydajna architektura modułowej pamięci masowej, zaprojektowana na potrzeby przedsiębiorstw, które chcą zarządzać swoimi danymi, a nie tylko swoją pamięcią masową.
- Rozwiązanie NAS z jednym systemem plików i nazw, dedykowane do składowania i wydajnego przetwarzania plików. Łatwe w instalacji i zarządzaniu, a także użytkowaniu, niezależnie od wielkości dodanej pamięci czy wymaganej wydajności.
- Skalowalność pojemności i wydajności do praktycznie dowolnej wielkości, poprzez możliwość rozbudowy o kolejne urządzenia.
- Możliwość długoterminowego archwizowania plików na jednej uniwersalnej platformie dyskowej.
- Zapewnia najwyższy poziom bezpieczeństwa i dostępności danych. Dodatkowe funkcje macierzy pozwalają na budowę centrum zapasowego w oparciu o tę samą platformę.
- Elastyczna linia produktowa zawiera modele o zróżnicowanych możliwościach skalowalności pod względem pojemności i wydajności tak, aby dopasować się do zmieniających się wymogów i potrzeb biznesowych.
Autor
Daniel Michalczak, Isilon
