Migracja danych – jak robić to dobrze!

Migracja danych to właściwie jeden z podstawowych procesów biznesowych. Ma miejsce zawsze, gdy firmy wdrażają nowy system lub przenoszą dane do nowej lokalizacji (np. chmury). Dlaczego to tak ważne? Analitycy marki Gartner podają interesujące szacunki:

• do końca 2022 roku usługi chmury publicznej będą niezbędne aż dla 90% innowacji dotyczących analityki danych (Źródło)
• do 2025 roku ponad 50% danych o krytycznej wartości dla przedsiębiorstw będzie tworzone i przetwarzane poza centrum danych lub chmurą (Źródło)

Migracja danych – informacje podstawowe

Obserwujemy bardzo duże zapotrzebowanie na prowadzenie rzetelnej migracji danych, która zachowuje ich bezpieczeństwo. Tylko z pozoru proces ten wydaje się mało skomplikowany. Zawsze należy wziąć pod uwagę trzy podstawowe kroki:

• wyodrębnienie
• przekształcenie
• ładowanie

To podstawowy schemat, który pozwala odpowiednio przygotować i załadować dane do nowej bazy. Migracja danych często dotyczy bardziej złożonych procesów, jak mapowanie i ponowne formatowanie danych.

Jakie formy może przybierać migracja danych?

W praktyce każda migracja danych musi być w pełni dostosowana do potrzeb konkretnej firmy. Najbardziej popularne typy migracji dotyczą:

• transferu danych do pamięci masowej lub innego systemu
• migracji aplikacji
• przenoszenia całych baz danych

Przenoszenie danych do pamięci masowej lub innego systemu

Bardzo często zdarza się, że dane źródłowe zapisane są w innym formacie niż standardy przyjęte przez nowy system czy pamięć masową. Ujednolicenie formatu zapisu danych jest więc pierwszym wyzwaniem. W praktyce istnieją jedynie dwie opcje na rozwiązanie tej sytuacji:

• zatrudnienie sztabu specjalistów, którzy w mechaniczny sposób będą dostosowywać dane i przenosić je ręcznie  – w tej sytuacji mamy do czynienia z generowaniem sporych kosztów personalnych już na starcie. Dodatkowo mogą pojawić się błędy ludzkie a całość zajmie dosyć dużo czasu;
• powierzenie migracji danych sprawdzonej firmie, tak, by specjaliści ustalili kompleksowy plan migracji oraz stworzyli dedykowane oprogramowanie. Wszystko po to, by maksymalnie zoptymalizować cały proces i zadbać o przeprowadzenie kompleksowej migracji.

Migracje pamięci masowej należą do stosunkowo prostych, jeśli zastosuje się odpowiednie podejście. Solidny plan i doświadczony wykonawca ograniczają ryzyko utraty danych do minimum. Te kwestie są szczególnie istotne w przypadku pracy z danymi o krytycznym znaczeniu dla organizacji. W takim wypadku staranne przygotowanie do procesu migracji danych pozwala odpowiednio zaplanować ewentualne przestoje i ograniczyć ryzyko. Taki solidny plan migracji pozwala również zabezpieczyć terminy realizacji oraz sam budżet. Pełna kontrola kosztów jest równie istotna, jak bezpieczeństwo danych.

Migracje aplikacji

Proces migracji całej aplikacji np. na nowy serwer/chmurę jest zdecydowanie bardziej złożony. Przenoszenie aplikacji łączy się bowiem z koniecznością zmigrowania wielu folderów, baz danych i plików instalacyjnych. To spora ilość informacji.  By usprawnić te działania może być potrzebne stworzenie dedykowanego oprogramowania. Czasem wystarczy jednak wiedza o tym, które z istniejących już na rynku rozwiązań może się sprawdzić w tym konkretnym przypadku. Zawsze należy patrzeć indywidualnie na przypadek każdego klienta. Znamy kilka wzorców migracji aplikacji:

• rehosting aplikacji – dosyć powszechny proces. Nie wprowadzamy tutaj żadnych znaczących zmian w samej aplikacji. To szybki i najbardziej ekonomiczny sposób. Pojawia się jednak jedno „ale”. Możliwe, że bez dokonania podstawowych zmian aplikacja nie będzie mogła w pełni wykorzystać potencjału nowego środowiska;
• refaktoryzacja aplikacji – w tym przypadku team przeprowadzający migrację wprowadza zaawansowane zmiany w aplikacji. Dzięki temu można ją swobodnie skalować. Taka aplikacja będzie dostosowana do efektywnego funkcjonowania w nowym środowisku. Przy prowadzeniu migracji do chmury bardzo często można zobaczyć jak monolit zostaje przekształcony w aplikację opartą na architekturze mikrousług. Równie często możemy spotkać modernizację magazynów danych. Każdy wymieniony przykład dotyczy specjalistycznych zmian. Ich wdrożenie powinno być poprzedzone dokładną analizą i stworzeniem kompleksowego planu zmian i samej migracji;
• zmiana platformy/architektury  –  wprowadzenie jedynie niezbędnych, drobnych zmian w aplikacji. Tak, by mogła sprawnie funkcjonować na nowym serwerze/chmurze. Tego typu zmiany dotyczą aktualizacji aplikacji do pracy z konkretną bazą danych lub oprogramowaniem pośredniczącym.

W migracji aplikacji nie ma mowy o przypadku. Wszystkie podejmowane kroki muszą być przemyślane i zaplanowane odpowiednio wcześnie. Tworząc strategię takiej migracji należy skoncentrować uwagę na dopasowaniu do unikalnego środowiska IT oraz zgodności z potrzebami biznesowymi danej marki. Nie wolno zapominać o bezpieczeństwie i zachowaniu zgodności danych. Przed przystąpieniem do migracji aplikacji warto zadać sobie dwa proste pytania:

• dlaczego decyduję się na migrację?
• co chcę dzięki temu osiągnąć?

Odpowiedzi pozwolą dobrać optymalną ścieżkę działań.

Migracje baz danych

Zdarza się, że migracji podlega cała baza danych. W takich przypadkach najczęściej należy zaktualizować silnik bazy danych by sprawnie przenieść całość w nowe miejsce. Główną trudnością jest tu ogromna ilość danych, bardzo często sformatowanych inaczej, niż wymaga tego specyfika nowego środowiska. Bezsprzecznie przed przystąpieniem do prac należy wykonać kopię bazy danych (bo lepiej zabezpieczyć się na wszelkie możliwe sposoby przed utratą cennych informacji). Powodów, które prowadzą do zaistnienia takiej migracji jest wiele, przykładowe to:

• funkcjonalności nowej bazy danych pozwalają w bardziej efektywny sposób realizować krytyczne dla przedsiębiorstwa funkcje
• modernizacja infrastruktury IT i cyfryzacja przedsiębiorstwa (np. zgodnie z założeniami Przemysłu 4.0)
• aspekt finansowy –  wybór bardziej optymalnego rozwiązania dla firmy
• ujednolicenie baz danych wszystkich oddziałów globalnej marki
• przeniesienie danych do centralnej bazy

Czy migracja danych jest bezpieczna?

W celu optymalnego zabezpieczenia danych firmy tworzą specjalne, powtarzalne mechanizmy przetwarzania danych i ich późniejszej weryfikacji. Automatycznie sprawdzana jest przede wszystkim kompletność i spójność danych. Nie wystarczy więc posiadać lub stworzyć dedykowane oprogramowanie, trzeba wiedzieć w jaki sposób poprawnie go używać. Nie bez znaczenia jest nieustanna kontrola efektywności i poprawności wszelkich wprowadzanych modyfikacji.

Oprogramowanie do migracji danych opiera się na zestawie informacji o tym w jaki sposób, krok po kroku przekształcić obecną bazę danych do nowych wymagań. Wszelkie wprowadzane zmiany można śledzić. Kontroli podlega każda wersja, każda zainicjowana zmienna. Dzięki tak kompleksowemu nadzorowi można znacząco usprawnić sam proces migracji, jak i zadbać o bezpieczeństwo wszystkich istotnych informacji.

Sektor energetyczny – przykłady obróbki danych

Praca na konkretach zawsze pozwala szczegółowo zrozumieć omawiane tematy. Właśnie dlatego, warto skoncentrować uwagę na sektorze energetycznym i przykładach z naszych działań projektowych. Wyzwania, przed jakimi staje zespół prowadzący migrację są tak różne, jak różne są przedsiębiorstwa, które do nas trafiają. Najważniejsze jest odpowiednie przygotowanie struktury danych pod migrację. Przykłady obróbki danych:

• sposób zapisu danych – różne formaty plików, brak ujednoliconego nazewnictwa
• format przyjęcia zlecenia – w starym systemie data i godzina zapisywane w jednym polu, wymagania pod nowe miejsce: godzina w jednym polu, dzień, miesiąc rok – w trzech osobnych polach, itp.

Migracja danych – rób to mądrze

Wielokrotnie podkreślaliśmy, że każde zlecenie przeprowadzenia migracji ma własną specyfikę i indywidualne wyzwania. Jednak istnieją zasady, które znacznie ułatwiają ten proces. O czym mowa? To proste:

• wykorzystaj do maximum fazę przygotowawczą – dobrze zaplanuj cały proces, stwórz plan step by step i przestrzegaj go
• zadbaj o dane źródłowe – sprofiluj je jeszcze przed napisaniem skryptów
• zaufaj ekspertom – migracja danych to tylko z pozoru łatwy proces, zdecyduj się na pomoc specjalistów, którzy zapanują nad natłokiem informacji i umiejętnie o nie zadbają
• zawsze twórz kopie zapasowe – tym samym Twoje dane będą cały czas bezpieczne
• zadbaj o wysokie standardy – nie idź na łatwiznę, pamiętaj, że wysiłek zawsze popłaca – przecież zależy Ci na ochronie wszystkich krytycznych danych
• skorzystaj z okazji – podczas migracji danych możesz dokładnie zweryfikować ich jakość i dokonać niezbędnych optymalizacji. To doskonała okazja do zadbania o wysokie standardy twoich danych

Zainteresowany? Zapytaj o możliwości naszego wsparcia