{"id":2740,"date":"2024-12-02T15:44:19","date_gmt":"2024-12-02T14:44:19","guid":{"rendered":"https:\/\/alterdata.com\/?post_type=case_studies&#038;p=2740"},"modified":"2026-05-15T10:13:24","modified_gmt":"2026-05-15T08:13:24","slug":"migracja-modeli-danych-dbt","status":"publish","type":"case_studies","link":"https:\/\/alterdata.com\/pl\/case-studies\/migracja-modeli-danych-dbt\/","title":{"rendered":"Stworzyli\u015bmy skalowaln\u0105 platform\u0119, kt\u00f3ra zmniejszy\u0142a koszty utrzymania danych o 60%."},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Nasz klient z bran\u017cy technologicznej, zmaga\u0142 si\u0119 z wyzwaniem zarz\u0105dzania rosn\u0105c\u0105 ilo\u015bci\u0105 danych i konieczno\u015bci\u0105 optymalizacji proces\u00f3w analitycznych. Firma intensywnie korzysta\u0142a z danych, nap\u0119dzaj\u0105c swoje dzia\u0142ania marketingowe, operacyjne i produktowe. Celem projektu by\u0142a modernizacja modelu konsumpcji danych oraz dostosowanie jej do potrzeb rosn\u0105cej organizacji.<\/p>\n\n\n\n<div style=\"height:30px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1728\" height=\"572\" src=\"https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005891.png\" alt=\"Automatyzacja proces\u00f3w danych i optymalizacja koszt\u00f3w infrastruktury analitycznej z wykorzystaniem nowoczesnych narz\u0119dzi data engineering\" class=\"wp-image-9835\" srcset=\"https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005891.png 1728w, https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005891-300x99.png 300w, https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005891-1024x339.png 1024w, https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005891-768x254.png 768w, https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005891-1536x508.png 1536w\" sizes=\"auto, (max-width: 1728px) 100vw, 1728px\" \/><\/figure>\n\n\n\n<div style=\"height:30px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h3 class=\"wp-block-heading\"><strong>Cel projektu:<\/strong><\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Kluczowym wyzwaniem organizacji by\u0142o uporz\u0105dkowanie i modernizacja modelu konsumpcji danych, kt\u00f3ry wraz z rozwojem firmy sta\u0142 si\u0119 kosztowny w utrzymaniu i trudny do skalowania. Projekt zak\u0142ada\u0142 eliminacj\u0119 naros\u0142ego d\u0142ugu technologicznego, standaryzacj\u0119 proces\u00f3w transformacji danych oraz wdro\u017cenie wydajnego, zautomatyzowanego \u015brodowiska analitycznego, umo\u017cliwiaj\u0105cego szybsze przetwarzanie danych i znacz\u0105ce obni\u017cenie koszt\u00f3w infrastruktury przy rosn\u0105cych wolumenach danych.<br><\/p>\n\n\n\n<div style=\"height:70px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Zakres prac<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Wsp\u00f3\u0142praca obejmowa\u0142a <a href=\"https:\/\/alterdata.com\/pl\/migracja-hurtowni-danych-do-chmury\/\" data-type=\"page\" data-id=\"28\" target=\"_blank\" rel=\"noreferrer noopener\">kompleksow\u0105 migracj\u0119<\/a> i refaktoryzacj\u0119 niezarz\u0105dzalnych, nieuporz\u0105dkowanych proces\u00f3w danych, kt\u00f3re przez lata ros\u0142y swobodnie i przekszta\u0142ci\u0142y si\u0119 w d\u0142ug technologiczny, wymagaj\u0105cy pilnych zmian, do <a href=\"https:\/\/alterdata.com\/pl\/budowa-hurtowni-danych\/\" data-type=\"page\" data-id=\"30\" target=\"_blank\" rel=\"noreferrer noopener\">nowoczesnego \u015brodowiska DBT<\/a> (<strong>Data Build Tool) core.<\/strong> Kluczowe etapy projektu obejmowa\u0142y:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li><strong>Analiza istniej\u0105cego modelu konsumpcji danych:<\/strong>\n<ul class=\"wp-block-list\">\n<li>Nasz zesp\u00f3\u0142 analityk\u00f3w przeprowadzi\u0142 <strong>mapowanie wszystkich istniej\u0105cych proces\u00f3w transformacji danych<\/strong>, identyfikuj\u0105c kluczowe obszary wymagaj\u0105ce optymalizacji w istniej\u0105cych modelach. Analizy wykaza\u0142y, \u017ce dotychczasowy model op\u00f3\u017ania\u0142 czas od\u015bwie\u017cania, generowa\u0142 niesp\u00f3jno\u015bci w wynikach oraz nie pozwala\u0142 na dynamiczne skalowanie infrastruktury w odpowiedzi na rosn\u0105ce potrzeby biznesowe proces\u00f3w transformacji danych, identyfikuj\u0105c kluczowe punkty zapalne, takie jak wolne od\u015bwie\u017canie danych oraz brak standaryzacji w kodzie SQL.<\/li>\n\n\n\n<li>Zesp\u00f3\u0142 dokona\u0142 <strong>przegl\u0105du oko\u0142o 20 projekt\u00f3w danych<\/strong>, obejmuj\u0105cych r\u00f3\u017cnorodne \u017ar\u00f3d\u0142a, takie jak systemy monitorowania u\u017cytkownik\u00f3w, narz\u0119dzia marketingowe oraz dane finansowe.<br><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><strong>Migracja proces\u00f3w danych do DBT:<\/strong>\n<ul class=\"wp-block-list\">\n<li>Przenie\u015bli\u015bmy istniej\u0105ce procedury SQL (BigQuery Routines) do DBT core, wzbogacaj\u0105c sugerowany model danych w DBT (modele stagingowe, intermediate i marty) o modele core zawieraj\u0105ce kluczowe wymiary i wska\u017aniki, wykorzystywane p\u00f3\u017aniej w wi\u0119kszo\u015bci mart\u00f3w. Marty zosta\u0142y zaprojektowane w taki spos\u00f3b, aby by\u0142y <strong>efektywne kosztowo i zaspokaja\u0142y potrzeby raportowe klienta<\/strong>.\u00a0<\/li>\n\n\n\n<li>Opracowali\u015bmy uniwersalne makra, kt\u00f3re zast\u0105pi\u0142y powtarzalny kod SQL. Dzi\u0119ki temu zwi\u0119kszono sp\u00f3jno\u015b\u0107 proces\u00f3w oraz uproszczono zarz\u0105dzanie i wprowadzanie zmian.<\/li>\n\n\n\n<li>Nasi eksperci przeprojektowali proces predykcji w taki spos\u00f3b, aby ujednolici\u0107 i upro\u015bci\u0107 proces przy wykorzystaniu makr.<br><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><strong>Optymalizacja wydajno\u015bci:<\/strong>\n<ul class=\"wp-block-list\">\n<li>Wdro\u017cyli\u015bmy partycjonowanie i klastrowanie w istniej\u0105cych procedurach BigQuery jeszcze przed zako\u0144czeniem migracji, aby mo\u017cliwie szybko wprowadzi\u0107 optymalizacje. Dzi\u0119ki czemu mogli\u015bmy znacz\u0105co <strong>zmniejszy\u0107 bie\u017c\u0105ce koszty przetwarzania danych jeszcze przed zako\u0144czeniem projektu migracyjnego<\/strong>.<\/li>\n\n\n\n<li>W nowym podej\u015bciu, wykorzystuj\u0105cym modele DBT, r\u00f3wnie\u017c zastosowano partycjonowanie i klastrowanie. Zmiany te w po\u0142\u0105czeniu z nowym, <a href=\"https:\/\/alterdata.com\/pl\/optymalizacja-hurtowni-danych\/\" data-type=\"page\" data-id=\"32\" target=\"_blank\" rel=\"noreferrer noopener\">zoptymalizowanym przep\u0142ywem danych<\/a> <strong>czterokrotnie zmniejszy\u0142y czas od\u015bwie\u017cania<\/strong> i zapewni\u0142y, \u017ce wraz ze wzrostem wolumenu danych koszty przetwarzania nie rosn\u0105 liniowo, lecz pozostaj\u0105 optymalnie zarz\u0105dzane dzi\u0119ki skalowalno\u015bci wprowadzonego rozwi\u0105zania.<\/li>\n\n\n\n<li>Wprowadzono zmiany w strukturze danych, w tym kolumn typu STRUCT na zapis JSON, co obni\u017cy\u0142o koszty przetwarzania tej tabeli wzgl\u0119dem alternatywnego rozwi\u0105zania prawie o 30%, a <strong>czas jej utworzenia by\u0142 kr\u00f3tszy o 85%<\/strong>.<br><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><strong>Orkiestracja proces\u00f3w:<\/strong>\n<ul class=\"wp-block-list\">\n<li>Nasz zesp\u00f3\u0142 wdro\u017cy\u0142 Airflow do zarz\u0105dzania harmonogramem od\u015bwie\u017cania danych, co pozwoli\u0142o na bardziej precyzyjne planowanie zada\u0144 i dynamiczne dostosowanie do zmieniaj\u0105cych si\u0119 wymaga\u0144.<\/li>\n\n\n\n<li>Dzi\u0119ki zastosowaniu DAG-\u00f3w (Directed Acyclic Graphs) zbudowanych z my\u015bl\u0105 o wsp\u00f3\u0142dzielonych zale\u017cno\u015bciach, procesy mog\u0142y by\u0107 realizowane wielow\u0105tkowo, co znacz\u0105co skr\u00f3ci\u0142o czas przetwarzania danych i wyeliminowa\u0142o konieczno\u015b\u0107 manualnych interwencji. W po\u0142\u0105czeniu z zaawansowanymi powiadomieniami o b\u0142\u0119dach, Airflow pozwoli\u0142 zespo\u0142owi skupi\u0107 si\u0119 na strategicznych dzia\u0142aniach, zamiast na rutynowym monitorowaniu proces\u00f3w.<\/li>\n\n\n\n<li>CI\/CD zosta\u0142o zintegrowane w Google Cloud Build, co usprawni\u0142o kontrol\u0119 wersji i przyspieszy\u0142o wdra\u017canie zmian. Dzi\u0119ki tej integracji proces wdra\u017cania nowego kodu oraz synchronizacji mi\u0119dzy zespo\u0142ami sta\u0142 si\u0119 szybszy i bardziej przejrzysty, eliminuj\u0105c op\u00f3\u017anienia wynikaj\u0105ce z manualnych proces\u00f3w i minimalizuj\u0105c ryzyko konflikt\u00f3w w kodzie.<br><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><strong>Walidacja i czyszczenie danych:<\/strong>\n<ul class=\"wp-block-list\">\n<li>Zastosowano testy w DBT, aby automatycznie kontrolowa\u0107\u00a0 poprawno\u015b\u0107 danych na r\u00f3\u017cnych etapach przetwarzania, na przyk\u0142ad nieunikatowe klucze, czy nieoczekiwane braki w warto\u015bciach lub nag\u0142y spadek kluczowego wska\u017anika. Pozwoli\u0142o to na proaktywne podej\u015bcie w znajdowaniu b\u0142\u0119d\u00f3w w danych i informowaniu biznesu o potencjalnych problemach.<\/li>\n\n\n\n<li>In\u017cynierowie opracowali mechanizmy korekty danych historycznych, eliminuj\u0105c b\u0142\u0119dy w \u017ar\u00f3d\u0142ach danych z mo\u017cliwo\u015bci\u0105 dokumentacji, z czego wynika\u0142a dana potrzeba.<br><\/li>\n<\/ul>\n<\/li>\n\n\n\n<li><strong>Raportowanie i wizualizacja:<\/strong>\n<ul class=\"wp-block-list\">\n<li>Dzi\u0119ki zaprojektowaniu nowych data mart\u00f3w, <strong>dashboardy dzia\u0142aj\u0105 szybciej i konsumuj\u0105 mniej danych<\/strong>.<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n\n\n\n<div style=\"height:30px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1728\" height=\"572\" src=\"https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005892-1.png\" alt=\"Nowoczesna architektura danych w chmurze przedstawiaj\u0105ca warstwowy model przetwarzania danych i zautomatyzowane procesy analityczne dla digital native company\" class=\"wp-image-9833\" srcset=\"https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005892-1.png 1728w, https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005892-1-300x99.png 300w, https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005892-1-1024x339.png 1024w, https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005892-1-768x254.png 768w, https:\/\/alterdata.com\/wp-content\/uploads\/2024\/12\/Frame-1000005892-1-1536x508.png 1536w\" sizes=\"auto, (max-width: 1728px) 100vw, 1728px\" \/><\/figure>\n\n\n\n<div style=\"height:30px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Rezultaty<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Kluczowe wyniki:<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Skr\u00f3cenie czasu od\u015bwie\u017cania danych z oko\u0142o 8 godzin do 2 godzin.<\/li>\n\n\n\n<li>Redukcja koszt\u00f3w utrzymania infrastruktury danych o oko\u0142o 60%, dzi\u0119ki optymalizacjom w BigQuery.<\/li>\n\n\n\n<li>Nowe procesy umo\u017cliwi\u0142y szybsz\u0105 realizacj\u0119 powtarzalnych zada\u0144 dzi\u0119ki standaryzacji kodu i lepszej organizacji danych, co znacz\u0105co przyspieszy\u0142o integracj\u0119 nowych \u017ar\u00f3de\u0142 informacji oraz usprawni\u0142o operacyjno\u015b\u0107 zespo\u0142\u00f3w.<\/li>\n\n\n\n<li>Zmniejszenie ryzyka b\u0142\u0119d\u00f3w manualnych dzi\u0119ki automatyzacji i testom jako\u015bci danych.<\/li>\n<\/ul>\n\n\n\n<div style=\"height:70px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Warto\u015b\u0107 biznesowa:<\/strong><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Zwi\u0119kszona efektywno\u015b\u0107 operacyjna zespo\u0142\u00f3w analitycznych, marketingowych i produktowych.<\/li>\n\n\n\n<li>Lepsza skalowalno\u015b\u0107 infrastruktury danych, umo\u017cliwiaj\u0105ca dalszy rozw\u00f3j organizacji.<\/li>\n\n\n\n<li>Zarz\u0105dzanie kosztami operacyjnymi, co wspiera strategiczne decyzje inwestycyjne.<\/li>\n\n\n\n<li>Mo\u017cliwo\u015b\u0107 szybszego wdra\u017cania nowych pracownik\u00f3w do projekt\u00f3w BI oraz samodzielno\u015b\u0107 zaawansowanych u\u017cytkownik\u00f3w w korzystaniu z narz\u0119dzi BI.<\/li>\n<\/ul>\n\n\n\n<div style=\"height:70px\" aria-hidden=\"true\" class=\"wp-block-spacer\"><\/div>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Podsumowanie<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Projekt migracji i optymalizacji danych dla anonimowego klienta z bran\u017cy technologicznej to przyk\u0142ad kompleksowego podej\u015bcia do modernizacji modelu konsumpcji danych. Dzi\u0119ki wprowadzeniu DBT, Airflow i CI\/CD firma osi\u0105gn\u0119\u0142a znacz\u0105c\u0105 popraw\u0119 wydajno\u015bci i zarz\u0105dzalno\u015bci proces\u00f3w danych, co jednocze\u015bnie wyeliminowa\u0142o d\u0142ug technologiczny i znacz\u0105co zredukowa\u0142o barier\u0119 wej\u015bcia dla nowych analityk\u00f3w. <\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Dzi\u0119ki temu zaawansowani u\u017cytkownicy BI mog\u0105 teraz skuteczniej korzysta\u0107 z narz\u0119dzi i realizowa\u0107 self-service. Ten projekt pokazuje, jak w\u0142a\u015bciwe zarz\u0105dzanie danymi mo\u017ce przynie\u015b\u0107 wymierne korzy\u015bci zar\u00f3wno na poziomie operacyjnym, jak i strategicznym.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Je\u015bli Twoja organizacja mierzy si\u0119 z rosn\u0105cymi kosztami utrzymania danych, d\u0142ugu technologicznym lub potrzeb\u0105 skalowalnej analityki, <a href=\"https:\/\/alterdata.com\/pl\/kontakt\/\" data-type=\"page\" data-id=\"22\" target=\"_blank\" rel=\"noreferrer noopener\">skontaktuj si\u0119 z nami.<\/a> Pomo\u017cemy zaprojektowa\u0107 nowoczesny i efektywny kosztowo model pracy z danymi.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Nasz klient z bran\u017cy technologicznej, zmaga\u0142 si\u0119 z wyzwaniem zarz\u0105dzania rosn\u0105c\u0105 ilo\u015bci\u0105 danych i konieczno\u015bci\u0105 optymalizacji proces\u00f3w analitycznych. Firma intensywnie korzysta\u0142a z danych, nap\u0119dzaj\u0105c swoje dzia\u0142ania marketingowe, operacyjne i produktowe. Celem projektu by\u0142a modernizacja modelu konsumpcji danych oraz dostosowanie jej do potrzeb rosn\u0105cej organizacji. Cel projektu: Kluczowym wyzwaniem organizacji by\u0142o uporz\u0105dkowanie i modernizacja modelu konsumpcji [&hellip;]<\/p>\n","protected":false},"featured_media":7789,"template":"","meta":{"_acf_changed":true},"case_study_tag":[33,47,153,24,44,32,40,41,39],"class_list":["post-2740","case_studies","type-case_studies","status-publish","has-post-thumbnail","hentry","case_study_tag-analityka-danych","case_study_tag-business-intelligence-services","case_study_tag-case-study","case_study_tag-digital-natives","case_study_tag-integracja-zrodel","case_study_tag-inzynieria-danych","case_study_tag-modelowanie-danych","case_study_tag-optymalizacja-hurtowni-danych","case_study_tag-projektowanie-architektury"],"acf":[],"_links":{"self":[{"href":"https:\/\/alterdata.com\/pl\/wp-json\/wp\/v2\/case_studies\/2740","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alterdata.com\/pl\/wp-json\/wp\/v2\/case_studies"}],"about":[{"href":"https:\/\/alterdata.com\/pl\/wp-json\/wp\/v2\/types\/case_studies"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alterdata.com\/pl\/wp-json\/wp\/v2\/media\/7789"}],"wp:attachment":[{"href":"https:\/\/alterdata.com\/pl\/wp-json\/wp\/v2\/media?parent=2740"}],"wp:term":[{"taxonomy":"case_study_tag","embeddable":true,"href":"https:\/\/alterdata.com\/pl\/wp-json\/wp\/v2\/case_study_tag?post=2740"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}