Klaster obliczeniowy (PL/HPC) - roadmap

Powrót do usługi

Stan obecny usługi

Usługa HPC jest obecnie w fazie produkcyjnej, wszelkie zmiany nie będą wpływały na proces obliczeniowy.

Aktualnie dostępna wersja klastra Blueocean: v.1.6.0

Typ wersji: rozwojowa

• Standaryzacja i udokumentowanie kontenera uruchamiania
• Zmiana sposobu prezentacji aplikacji
• Publikacja informacji o sposobie transferu danych do klastra i z klastra
• Ustandaryzowane zarządzanie zmiennymi środowiskowymi (module)
• Ograniczenia/limity wykorzystania zasobów dla użytkowników klastra
• Środowisko graficzne oparte o SL7

• Instalacja i konfiguracja oprogramowania Psi4 (zrealizowane: 22.01.2018)
• Blokowanie usuwania współdzielonych danych użytkowników (SCRATCH) (zrealizowane: 15.09.2017)
• Aktualizacja oprogramowania statystycznego "R" (zrealizowane: 5.09.2017)

Typ wersji: aktualna,produkcyjna

• Przeniesienie noda dostepowego klastra na nową platformę sprzętowo/systemową. Dzięki zmianie dostep do klastra (do noda dostepowego) zawiera mechanizmy wysokiej dostepności (HA) co w konsekwencji zminimalizuje niedostępność klastra,
• Aktualizacja oprogramowania wspierającego: DNS, Firewall, NTP, Logowania (dziennika zdarzeń), PXE/NFS,
• Zmiana modelu komunikacji z serwerami licencji oprogramowania używanego w klastrze. Nowy model pozwala na bezpośredni dostep do serwerów licencji po separowanym segmencie sieci, co w konsekwencji usprawni komunikację i dostep do serwerów licencji w klastrze,
• Wdrożenie standardu logowania adminstracyjnego CK. Standard obejmuje cały szereg mechanizmów zabezpieczających środowisko klastra w zakresie: ograniczenia nieuprawnionego dostepu, rozliczalności działań administratorów i użytkowników, bezpiecznego logowania administracyjnego itp.,
• Wdrozenie rozszerzonego monitoringu wykorzystania zasobów klastra.

Historia:

Blueocean v.1.5  (11.12.2015)

Niektóre zmiany wprowadzane w środowisku 1.5:

• Rozproszony system plików. Dzięki aktualizacji znacznie zwiększy się wydajność, stabilność oraz możliwości rozproszonego systemu plików m.in. mechanizm limitów, wsparcie ACL-i,
• System kolejkowy - aktualizacja pozwoli uruchamiać obliczenia równoległe (parallel), ponadto daje możliwość bardziej elastycznego zarządzania zasobami klastra
• Aktualizacja systemów operacyjnych środowiska klastra Blueocean. Dzięki aktualizacji systemów operacyjnych(jądra systemu) użytkownicy klastra będą mieli dostęp do nowych wersji oprogramowania i bibliotek systemowych. Ponadto nowe wersje pozbawione są wielu błędów co pozwoli uzyskać większa stabilność, a zastosowanie nowych rozwiązań poprawi wydajność systemów,
• Punkt dostępowy klastra - aktualizacja przewiduje wprowadzenie punktu dostępowego (Access gateway), swojego rodzaju pośrednika służącego do logowania, bardziej elastycznego i bezpiecznego dla środowiska.
• Rozbudowa o nowe nody obliczeniowe - w zasobach klastra pojawią się nowe nody wyposażone w procesory najnowszej generacji (Intel Haswell). Dzięki takiemu działaniu zwiększona w stopniu znaczącym zostanie wydajność klastra w zakresie CPU, pamięci operacyjnej (RAM).
• Mechanizm przestrzeni lokalnej i przestrzeni rozproszonej, będzie to rozwiązanie które pozwoli zachować proces obliczeniowy niezależnie od działania sieci i systemu rozproszonego - wpłynie znacząco na stabilność środowiska. Ostatecznie po zakończeniu obliczenia automatycznie wyniki przekazywane będą do rozproszonego systemu plików.
• Interaktywne uruchamianie obliczeń - Dzięki takiej metodzie uruchamiania zadań użytkownik będzie mógł przenieść się do noda na którym rzeczywiście prowadzone są obliczenia (noda obliczeniowego) i tam w sposób interaktywny z poziomu linii komend uruchamiać zadania obliczeniowe. Rozwiązanie było dostępne już w poprzedniej wersji klastra jednak w tej odsłonie zostanie standaryzowane  i opisane.  
• Zabezpieczenie na poziomie sieci - do infrastruktury klastra zostanie dodany element umożliwiający redundancję połączeń sieciowych. Dzięki takiemu rozwiązaniu znacznie ograniczy się liczba  błędów związanych z niedostępnością rozproszonego systemu plików.
   

Blueocean v1.4 (17.01.2014)

Wygaszana wersja: Bluoeocean v1.4

Niektóre zmiany wprowadzone w środowisku 1.4:

• Aktualizacja systemów operacyjnych środowiska klastra Blueocean. Dzięki aktualizacji systemów operacyjnych (jądra systemu) użytkownicy klastra mają dostęp do nowych wersji oprogramowania i bibliotek systemowych. Ponadto nowe wersje pozbawione są wielu błędów co pozwala uzyskać większą stabilność, a zastosowanie nowych rozwiązań poprawiło wydajność systemów,
• Instalacja nowego oraz aktualizacja dotychczasowego oprogramowania użytkowego np.: „Medea Vasp”, ”R Project v3.0.2”, „VirtualGL (3D rendering)”, „TurboVNC”,
• Przeniesienie infrastruktury zarządzającej klastrem do środowisk wirtualnych. Przejście do środowiska wirtualnego zaowocowało zwiększeniem niezawodności i elastyczności środowiska,
• Dostęp do środowiska graficznego klastra, który umożliwia wizualizację prowadzonych prac.
• Zdalny rendering modeli 3D, dzięki takiemu rozwiązaniu możliwe jest przetwarzanie obiektów 3D bezpośrednio w zasobach klastra,
• Umożliwienie prowadzenia obliczeń wykorzystujących technologię GPU CUDA, Rozbudowa środowiska o karty graficzne wykorzystujące tą technologię. Potencjalny znaczny przyrost prędkości obliczeń,
• Scentralizowanie systemu uwierzytelniania różnych dystrybucji/nodów klastra. Ujednolicenie sposobu logowania, zmieni system uwierzytelnienia na prostszy w użytkowaniu i bezpieczniejszy,
• Rozbudowanie zasobów klastra przez włączenie zasobów pochodzących z innych niż CK jednostek PŁ, jako początek integracji środowisk obliczeniowych w jedno spójne środowisko obliczeniowe PŁ. Dzięki nawiązaniu współpracy z ośrodkami: Katedrą Przyrządów Półprzewodnikowych i Optoelektronicznych, Fabryką Inżynierów XXI wieku, Międzyresortowym Instytutem Techniki Radiacyjnej (MITR), które wyraziły zgodę na współużytkowanie części swoich zasobów w ramach klastra Bluecoean, powstaje spójne środowisko obliczeniowe dysponujące większą mocą oraz posiadające szereg nowych funkcjonalności. Dalsze rozmowy z kolejnymi ośrodkami PŁ są prowadzone, mamy nadzieję na szybką finalizację uzgodnień oraz zwiększenie możliwości środowiska klastra Blueocean,
• Większa i bardziej wydajna przestrzeni składowania. Powodem rozbudowy była szybko kurcząca się przestrzeń przeznaczona na wyniki prowadzonych obliczeń. Rozbudowa umożliwia przechowywanie wyników obliczeń, z którymi praca nie była dotychczas możliwa.

Blueocean v1.3 (06.04.2012)

Obowiązująca wersja: Bluoeocean v1.3

Niektóre zmiany wprowadzone w środowisku 1.3:

• Rozbudowa klastra

W nowej strukturze do obliczeń wykorzystane będą nody IBM x3650 oraz IBM HS22 co powinno znacznie (niemal dwukrotnie) zwiększyć moce obliczeniowe klastra.

• Zmiana sposobu inicjowania nodów obliczeniowych - administracja centralna.

Zmiana dotyczy wykorzystania mechanizmów PXE oraz synchronizacji nodów z centralnym hostem. Docelowa struktura pozwala na centralne zarządzanie nodami obliczeniowymi. Dzięki temu rozwiązaniu znacznie  ograniczono czas potrzebny na administrację oprogramowaniem oraz zwiększono bezpieczeństwo całego środowiska.

• Reorganizacja oprogramowania

Instalacja nowego w zależności od potrzeb użytkowników oprogramowania oraz aktualizacja istniejącego. 

• Wielokrotnie zwiększona przestrzeń składowania !

Dzięki zastosowaniu tanich rozwiązań dyskowych opartych o rozproszony system plików przestrzeń składowania zwiększy się co najmniej kilka razy. Biorąc pod uwagę aspekt bezpieczeństwa środowiska klastrowego wszystkie dane będą zdublowane co pozwoli osiągnąć bezpieczne rozproszone środowisko składowania danych.

• Oprogramowanie Ansys

Wdrożenie środowiska umożliwiającego wykonywanie obliczeń wsadowych wykorzystując oprogramowanie Ansys w wersji 14.  

Blueocean v1.2 ( testowana do 02.2012, autor/twórca: dr. Sebastian Pierzgalski )

Wersja testowa, data zapoczątkownia budowy środowiska: 12.2011, data odstapienia od środowiska: 2.2012.

Wersja 1.2 nigdy nie została wdrożona jako klaster produkcyjny. Wersja ta roboczo nazwana "Redocean" z uwagi na zbyt dużą zależnośc od sieci oraz problemy w administracji klasterm została porzucona.  

Charakterystyczne cechy dla wersji:

- Wersja oparta o środowisko PXE/NFS

- Całkowita zależność od hosta zarzadzającego (SPOF)

Blueocean v1.1 ( obowiazywała do 06.04.2012, autor/twórca: dr. Sebastian Pierzgalski )

Wersja obowiązywała do 06.04.2012

Pierwowzór obecnie istniejącej struktury. Na wersji 1.1 były prowadzone obliczenia od ponad roku. Z datą 06.04.2012 klaster został zastąpiony zupełnie nową infrastrukturą: v1.3

Charakterystyczne cechy dla wersji:

- System instalowany bezpośrednio na dyskach twardych zarówno dla hosta zarzadzającego jak i nodów obliczeniowych.

- Zwielokrotniona administracja - per nod ( korzystanie z oprogramowania jeden do wielu takiego jak: parallel-ssh, jak najbardziej spełniało swoją rolę, jednak istniało prawdopodobiestwo niespojności danych/pakietów nodów )

Powrót do usługi