Bulletpoints
- Polski Światłowód Otwarty odziedziczył po spółkach matkach niekompatybilne bazy danych. Utrudniało to firmie integrację danych i hamowało jej rozwój.
- Zespół Alterdata zaprojektował i wdrożył bezpieczną, skalowalną platformę bezserwerową, co rozwiązało odziedziczone problemy i stworzyło system zarządzania danymi gotowy na wyzwania przyszłości.
- Użyte rozwiązania objęły skonteneryzowane aplikacje do integracji ze źródłami danych w Cloud Run, ekonomiczny Google Cloud Storage jako data lake, płynną integrację i transformację danych przez BigQuery z Dataform oraz Google Cloud Composer do zarządzania procesami przetwarzania danych.
- Po zakończeniu projektu sukcesem PŚO powierzył Alterdata obsługę swojej platformy zarządzania danymi oraz reporting w wygodnym modelu Data Team as a Service.
Światłowód w Twoim domu: lider na drodze do 6 milionów podłączeń
Polski Światłowód Otwarty to największy w Polsce wyłącznie hurtowy dostawca szerokopasmowego internetu. Dociera on dziś do 4 milionów gospodarstw domowych, a w planach ma ekspansję do 6 milionów w roku 2028.
PŚO powstał z połączenia dwóch wiodących operatorów telekomunikacyjnych, UPC Polska oraz Play. Jego celem jest dostarczanie najnowszej technologii dostępu do internetu światłowodowego. Firma stale rozwija sieć podłączeń i wprowadza rozwiązania, które umożliwiają partnerom szybkie rozpoczęcie świadczenia usług ich klientom.
Dylemat danych: odziedziczone problemy wydajności wymagają rozwiązania
Niedługo po rozpoczęciu działalności, Polski Światłowód Otwarty stanął przed wyzwaniem zarządzania i integracji niespójnych źródeł danych, w tym odziedziczonych po spółkach matkach. Obejmowały one:
- 50 różnych systemów wykorzystywanych w organizacji,
- 13 systemów do zintegrowania w Data Lake w pierwszej fazie, w tym 6 poza kontrolą PŚO, łącznie 20 źródeł danych,
- 210 tabel do pobrania w pierwszej fazie, ok. 1 miliard wierszy, ponad 240 active logical Gibibytes, z największą tabelą liczącą 565 422 508 wierszy i ponad 93 active logical Gibibytes.
PŚO mógł stworzyć niezależną jednostkę w hurtowni danych spółki matki lub osobną składnicę danych, ale nie rozwiązałoby to problemu wydajności ani jakości danych. Firma zdecydowała, że najlepszym wyborem będzie stworzenie od podstaw własnej hurtowni danych.
Bez ograniczeń: PŚO stawia na integrację w chmurze
Organizacja chciała zintegrować różne źródła danych i praktyki ich przetwarzania, używając nowoczesnych technologii chmurowych. Zespół PŚO nie był jednak przygotowany na przeprowadzenie tak dużego projektu samodzielnie.
Firma potrzebowała zatem doświadczonych ekspertów, którzy mogliby zaprezentować dostępne na rynku rozwiązania i wskazać te najlepiej dopasowane do jej potrzeb.
“Chcieliśmy odejść od zastanych systemów przetwarzania danych stosowanych w obu firmach i zbudować nową platformę w oparciu o najnowsze technologie chmurowe. Wybraliśmy Alterdata.io ze względu na ekspercką wiedzę i doświadczenie z Google Cloud”.
- Aleksander Tomczyk, Product Owner w PŚO
Kluczowe było też terminowe zakończenie projektu. PŚO od początku dążył do szybkiego rozwoju, co wymuszało stworzenie nowego rozwiązania do raportowania i analizy danych w ciągu 3 do 6 miesięcy.
Dodatkowym wyzwaniem były zasoby ludzkie. PŚO stawiał na mały, zwinny zespół, a napięty harmonogram prac wykluczał stworzenie działu in-house. Firma oczekiwała zatem, że dostawca platformy będzie mógł też skutecznie zarządzać nią po zakończeniu projektu.
Inżynieria sukcesu: jak zbudować płynnie działający ekosystem danych
Wieloaspektowy projekt stworzenia rozwiązania dla PŚO zakładał:
- zbieranie oraz integrację danych ustrukturyzowanych i nieustrukturyzowanych
- zarządzanie danymi
- bezpieczeństwo danych i zgodność procesów z regulacjami,
- transformację danych
- koordynację procesów zarządzania nimi.
Priorytetem prac była sprawna ekstrakcja danych z baz relacyjnych (SQL Server, PostgreSQL, Oracle) i nierelacyjnych (MongoDB) do jednego, spójnego systemu, z zapewnieniem wsparcia dla różnych strategii ekstrakcji.
Prace rozpoczęliśmy od wspólnych warsztatów z PŚO, by określić ich wymagania odnośnie nowego systemu i przeanalizować strategię pozyskiwania danych. Razem ustaliliśmy główne wymagania dla nowego systemu:
- Skalowalność (systemu, wdrażania i kosztów utrzymania)
- Łączność między jego elementami
- Łatwość integracji z różnymi źródłami danych
- Preferowane rozwiązania bezserwerowe
- Wysoka wydajność pozwalająca na dostarczanie raportów szybciej, niż dotychczas
- Niski koszt wdrożenia
Ważna była też strategia pozyskiwania danych:
- Inkrementalna (częściowe odświeżanie danych)
- Pełnego odświeżenia (gdy odświeżenie częściowe jest niemożliwe)
- Scalania (gdy dane uległy zmianom wstecz)
Oceniliśmy bieżące oraz przyszłe potrzeby klienta i zdecydowaliśmy się na spójne rozwiązanie do zarządzania danymi, które ułatwi i ustandaryzuje integrację źródeł danych oraz uprości dokonywanie zmian.
Rozwiązanie Alterdata: zoptymalizowane, skalowalne zarządzanie danymi przyszłości
Zespół Alterdata zbudował zaawansowaną architekturę Data Hub opartą o ekosystem Google Cloud. Umożliwiło to niezależne, precyzyjne zarządzanie danymi i ich centralizację, zapewniając elastyczność i szybką skalowalność systemu zależnie od potrzeb.
Kluczowym elementem było uruchomienie Data Lake i Enterprise Data Warehouse, w tym budowa, orkiestracja i monitorowanie procesów ELT. Dało to PŚO możliwość wydajnego gromadzenia, przetwarzania i analizy danych w czasie rzeczywistym.
Narzędzia sukcesu: DevOps, Cloud Run i Google Cloud w rewolucji danych PŚO
Wykorzystaliśmy metodologię DevOps i Terraform, jako narzędzie Infrastructure as Tool, do automatyzacji wdrożenia zasobów w trzech środowiskach, co dało szybką i niezawodną implementację oraz utrzymanie ciągłości operacyjnej.
Zbudowaliśmy i wdrożyliśmy też w Cloud Run skonteneryzowane aplikacje, dopasowane do potrzeb PŚO, by zintegrować dane źródłowe. Wyeliminowało to obawy o skalowalność, koszty, czy zarządzanie infrastrukturą.
Cloud Run umożliwił też bezpieczne połączenia w sieci UPC, niezbędne dla dostępu do informacji w centrach danych firmy. Rozszerzenie tej usługi, Cloud Run Jobs, pozwoliło PŚO na łatwy import dużych tabel źródłowych bez dodatkowych, złożonych konfiguracji.
Następnie użyliśmy Google Cloud Storage (GCS) do przechowywania danych po wstępnym przetworzeniu i transformacji w Cloud Run. GCS pozwolił na obsługę dużych ilości danych bez dużych kosztów początkowych i usprawnił zarządzanie danymi.
Używając BigQuery zbudowaliśmy hurtownię danych do analityki biznesowej i transformacji danych, co usprawniło przepływ pracy w przetwarzaniu informacji. Google Cloud Composer umożliwił zarządzanie wieloma źródłami danych, oraz 20 różnymi systemami (w momencie pisania case study). Zarządzanie zadaniami i uruchamianie procesów w oparciu o wykonanie zadania w Airflow ułatwiło też zarządzanie złożonymi przepływami danych oraz procesami ich transformacji.
Wdrożyliśmy również narzędzia analityczne, takie jak Power BI oraz przeszkoliliśmy ich użytkowników. Poprawiło to dostępność danych, zwiększyło korzyści z ich demokratyzacji oraz przyspieszyło tworzenie interaktywnych raportów i dashboardów.
“Firma Alterdata.io wykazała się doskonałą wiedzą fachową, profesjonalizmem oraz indywidualnym podejściem do klienta podczas całego procesu implementacji systemu. Jej zespół inżynierów i specjalistów był niezwykle zaangażowany w projekt, dostarczając wysokiej jakości rozwiązania zgodnie z naszymi oczekiwaniami oraz obecnymi standardami stosowanymi na rynku informatycznym”.
- Aleksander Tomczyk, Product Owner w PŚO
Gotowi na przyszłość: skalowalna platforma danych, która dostosowuje się do wyzwań
Elastyczność i skalowalność
Kluczowa funkcjonalność naszego rozwiązania dla PŚO leży w jego zdolności skutecznego dostosowania się do nawet najbardziej gwałtownych zmian. Wydajnie integruje ono źródła danych i jest łatwe do modyfikowania, gdy wymuszają to okoliczności.
Gotowi na event-based approach
Zastosowana przez nas platforma pozwala PŚO w pełni korzystać z event-based approach. Sensory Google Cloud Composer potrafią błyskawicznie wykryć pożądane zdarzenia, dając firmie możliwość natychmiastowej ich analizy.
Łatwe zarządzanie i modyfikowanie konfiguracji
Plik konfiguracyjny naszej platformy, kluczowy element wdrożonego rozwiązania, upraszcza zarządzanie i konfigurację systemu, dzięki czemu jest on bardziej intuicyjny oraz wydajny. Użytkownicy mają pełną kontrolę nad ustawieniami systemu i mogą szybciej reagować na zmiany w otoczeniu biznesowym.
Obsługa dużych plików
Nowe rozwiązanie PŚO jest zoptymalizowane pod kątem obsługi dużych plików i szybkiego przetwarzania ogromnych ilości danych bez utraty wydajności. Zapewnia to analizę danych bez zakłóceń, nawet w przypadkach największych obciążeń.
Generator DAGów
Platforma, którą wdrożyliśmy dla klienta, generuje grafy zależności (DAG) automatycznie i wspomaga orkiestrację z wykorzystaniem sensorów, przez co konfiguracja procesów jest jeszcze prostsza i bardziej wydajna. To z kolei przyspiesza projektowanie i zarządzanie strukturą danych i sprawia, że jest ono bardziej przejrzyste.
Nasi klienci mówią:
Współpraca z firmą Alterdata była dla nas nie tylko efektywna, ale także inspirująca. Polecamy firmę Alterdata jako solidnego i kompetentnego partnera w zakresie digitalizacji danych w przedsiębiorstwie
Współpraca z firmą Alterdata była dla nas nie tylko efektywna, ale także inspirująca. Polecamy firmę Alterdata jako solidnego i kompetentnego partnera w zakresie digitalizacji danych w przedsiębiorstwie
Strategiczny sukces: chmura rośnie, koszty maleją, a PŚO osiąga niezależność
Klient osiągnął wszystkie założone cele krótkoterminowe
Rozwiązania Alterdata zapewniły PŚO dostęp do danych całkowicie niezależny od spółek matek, w założonym terminie. Organizacja wydajnie zarządza starymi i nowymi danymi oraz korzysta w czasie rzeczywistym z wnikliwych informacji, które rozwijają biznes.
Firma ma teraz elastyczny i skalowalny system bezserwerowy do pobierania danych oraz ujednolicone źródła danych, co usprawnia raportowanie, skraca czas pozyskiwania danych i pozwala wyciągać lepsze wnioski.
Dzięki wysokiej wydajności nowego rozwiązania czas generowania danych skrócił się o kilka godzin w stosunku do wcześniej wykorzystywanych rozwiązań. To osiągnięcie pozwala na budowanie przewagi nad konkurencją, ponieważ każdego dnia użytkownik biznesowy rozpoczyna swoją pracę z dostępem do aktualnych informacji.
Ekonomiczne rozwiązanie Alterdata
Wdrożenie Google Cloud obniżyło koszty, a ponieważ firma znała wcześniej tę platformę, mogła natychmiast zacząć z niego korzystać. Była też zadowolona z narzędzia i pomocy działu wsparcia klienta Google.
Data Team as a Service - profesjonaliści Alterdata zarządzają platformą 24/7
PŚO ma dziś do swojej dyspozycji dedykowany zespół ekspertów Alterdata, który zarządza jego nowym ekosystemem. To rozwiązanie obniża koszty, zapewnia wysoką wydajność platformy oraz natychmiastową reakcję w razie wystąpienia problemów.
PŚO zyskał strategiczną, długoterminową przewagę
Po zakończonej pełnym sukcesem transformacji elastyczna i skalowalna platforma oraz jej kluczowe funkcjonalności są gotowe na wyzwania, jakie mogą nadejść w przyszłości. Nowa infrastruktura może szybko zmienić się, by obsłużyć więcej danych i nowe ich źródła, dając PŚO podstawę do podejmowania lepszych decyzji biznesowych.
