Wprowadzenie: papierowy / pdf-owy chaos kontra cyfrowa precyzja
Dla każdego zespołu, który mierzył się z przetwarzaniem dokumentów papierowych, PDF-owych skanów czy nieustrukturyzowanych zasobów, jedno jest jasne: to nie jest problem intelektualny czy technologiczny tylko problem skali. Dziesiątki (a czasem tysiące) formatów, brak standardów, aneksy i decyzje administracyjne, łącznie setki tysięcy dokumentów, miliony stron. Przy takich wolumenach nawet najlepiej zorganizowane zespoły operacyjne uginają się pod ciężarem manualnej pracy.
Tu właśnie pojawia się rola AI. Ale nie tej, która wszystko zrobi sama. Tylko tej, która odpowiednio wysterowana wydobędzie potrzebne informacje szybciej, taniej i nierzadko z mniejszą liczbą błędów niż człowiek. Wdrożenie nowoczesnych rozwiązań opartych na AI pozwala na efektywne zarządzanie dokumentami i przyspieszenie procesów biznesowych – technologie te pozwalają automatyzować kluczowe etapy przetwarzania dokumentów, od ekstrakcji danych po ich analizę. To pozwoli odciążyć ludzi i przyspieszyć procesy decyzyjne. W tym tekście pokażę Ci, jak wykorzystaliśmy modele GenAI i narzędzia GCP do przetworzenia dziesiątek tysięcy dokumentów w jednym z projektów Alterdata i jakie praktyczne wnioski możesz z tego wynieść dla swojej organizacji.śnie dlatego kluczowe jest przestrzeganie najlepszych praktyk w budowie i wdrażaniu modeli ML.
Od czego zaczęliśmy: skala i bałagan
Startowaliśmy jak wiele organizacji: z cyfrowym archiwum, które w rzeczywistości było zbiorem ponad 40 000 dokumentów w różnych formatach (PDF, skany JPG, TIFF), o różnych nazwach, długościach, bez wspólnej struktury. Wiele z tych plików stanowiły dane nieustrukturyzowane, które nie miały określonej struktury, co znacząco utrudniało ich analizę i dalsze wykorzystanie. W dokumentach znajdowały się dane wrażliwe, decyzje administracyjne, aneksy do umów, zgody lokalizacyjne, faktury kosztowe, raporty techniczne, protokoły odbioru, pisma procesowe i wiele innych kategorii.
Właśnie ten miks form i treści powodował, że tradycyjne podejście (OCR – optical character recognition + regex + reczna weryfikacja) nie miało szans zadziałać w akceptowalnym czasie i budżecie. W przypadku danych nieustrukturyzowanych oraz braku określonej struktury dokumentów pojawia się konieczność stosowania zaawansowanych narzędzi do automatyzacji przetwarzania dokumentów, aby uniknąć angażowania się w skomplikowane procesy lub długotrwałe szkolenia modeli. powinniśmy spróbować podjąć, aby go zatrzymać i w jakim momencie chcemy je wykonać.
Proof of Concept: Jak Generative AI poradzi sobie z analizą dokumentów?
Zaczęliśmy od dwutygodniowego PoC-u na wybranej próbce 500 dokumentów. To nie była tylko szybka demonstracja – nad tym etapem pracowaliśmy intensywnie: iterując podejścia, testując różne warianty promptów i oceniając, jak model radzi sobie z nietypowymi strukturami, skanami niskiej jakości czy niespójnym językiem dokumentów. W procesie tym wykorzystaliśmy techniki przetwarzania języka naturalnego oraz uczenia maszynowego, aby zwiększyć precyzję i efektywność automatyzacji.
Cel: sprawdzić, czy model (w tym przypadku Google Gemini + GCP Functions) jest w stanie:
- rozpoznać typ dokumentu (np. decyzja lokalizacyjna vs. aneks vs. umowa),
- wyodrębnić kluczowe dane (numery spraw, daty, lokalizacje, strony, kontrahenci) z wykorzystaniem funkcji rozpoznawania tekstu i ekstrakcji danych,
- przetworzyć dokumenty o różnej strukturze i jakości,
- ustandaryzować dane wyjściowe do formy tabelarycznej (BigQuery).
Efekty? Po dwóch tygodniach testów model osiągnął ponad 90% trafności w klasyfikacji dokumentów i około 95% skuteczności w wyodrębnianiu danych z kluczowych pól. Jak na różnorodność form, układów i jakości źródeł – to wynik, który uznaliśmy za wystarczająco dobry, by przejść dalej.
Analiza dokumentów oraz analiza danych, jako kluczowe funkcje narzędzi AI użytych w projekcie, pozwoliły na automatyczne wyodrębnianie i interpretację informacji z różnych typów dokumentów, co znacząco usprawniło proces przetwarzania.
Architektura: prostota, która skaluje
Finalne rozwiązanie zbudowaliśmy w oparciu o:
- Google Cloud Storage do przechowywania dokumentów,
- Cloud Functions jako kontroler orkiestracji i wywołań modelu,
- Gemini (Vertex AI) do klasyfikacji, ekstrakcji i cięcia wielostronicowych plików,
- BigQuery jako docelowy storage danych ustrukturyzowanych,
- oraz dashboard analityczny + interfejs do walidacji i inspekcji wyników.
Całość opiera się na oprogramowaniu działającym w chmurze, co zapewnia elastyczność, skalowalność i łatwą integrację z innymi systemami, takimi jak ERP czy CRM. Rozwiązanie umożliwia również integrowanie różnych źródeł danych, co pozwala na spójne przygotowanie informacji do dalszej analizy.
Całość została przemyślana tak, by dobrze znosić rzeczywistość projektu: powtarzalne testy, zmienne dane i nieoczywiste przypadki.
- Obsługa iteracyjnych poprawek (czyli dziesiątki prób z promptami, dopasowywanie logiki do wyjątków, walidacja edge-case’ów) była podstawą.
- Architektura musiała uwzględniać model pracy, w którym AI wspiera ludzi, ale nie działa autonomicznie – dlatego każda decyzja była możliwa do zweryfikowania.
- System obsługuje przetwarzanie dokumentów w czasie rzeczywistym, umożliwiając natychmiastową analizę i walidację danych oraz skuteczne zarządzanie dokumentami w ramach całego procesu.
- Przygotowaliśmy też wszystko pod dużą skalę – przetwarzanie batchowe, bez zawieszania się na pojedynczym błędzie i bez ręcznej interwencji przy każdym pliku, co usprawnia automatyzację procesu.
Dashboard analityczny pozwala na monitorowanie wyników przetwarzania i efektywności automatyzacji.
Dodatkowo, rozwiązanie umożliwia wykorzystanie niestandardowych modeli do analizy plików PDF, formularzy (zarówno drukowanych, jak i odręcznych) oraz e-maili, co pozwala na precyzyjne wyodrębnianie danych zgodnie z indywidualnymi potrzebami klienta.
Bezpieczeństwo danych
W dobie cyfrowej transformacji bezpieczeństwo danych staje się jednym z najważniejszych aspektów analizy dokumentów. Przetwarzanie dużych wolumenów dokumentów, często zawierających dane wrażliwe, wymaga nie tylko skutecznych narzędzi do ekstrakcji, ale także rozwiązań gwarantujących pełną ochronę informacji. Każda firma, która wdraża automatyzację procesów i zarządzanie dokumentami, powinna zadbać o to, by dostęp do danych mieli wyłącznie uprawnieni użytkownicy.
Kluczowe jest stosowanie oprogramowania, które zapewnia bezpieczeństwo na każdym etapie – od przechowywania dokumentów, przez ich przetwarzanie, aż po integrację z innymi systemami. Szyfrowanie danych, kontrola dostępu oraz regularne audyty bezpieczeństwa to dziś standard, który pozwala chronić firmę przed nieautoryzowanym dostępem i utratą informacji. W Alterdata zawsze stawiamy na rozwiązania, które nie tylko przyspieszają analizę dokumentów, ale także gwarantują pełne bezpieczeństwo danych naszych klientów.
Integracja z innymi systemami
Efektywna analiza dokumentów i automatyzacja procesów biznesowych nie mogą istnieć w oderwaniu od reszty ekosystemu IT firmy. Kluczowe jest, aby systemy zarządzania dokumentami były w pełni zintegrowane z innymi narzędziami – takimi jak bazy danych, systemy CRM czy platformy ERP. Tylko wtedy możliwe jest płynne przekazywanie informacji, szybkie wyszukiwanie danych i automatyczne generowanie raportów, co realnie przyspiesza procesy biznesowe.
Współczesne rozwiązania, takie jak API czy webhooki, pozwalają na bezproblemową komunikację między systemami, eliminując konieczność ręcznego przenoszenia danych i minimalizując ryzyko błędów. Dzięki temu zarządzanie dokumentami staje się nie tylko bardziej efektywne, ale i bezpieczne. W Alterdata zawsze projektujemy architekturę z myślą o łatwej integracji, by nasi klienci mogli w pełni wykorzystać potencjał swoich danych i narzędzi, niezależnie od branży czy skali działalności.
ItIteracje i lekcje: bez iluzji, złożona praca i konkretne doświadczenie
Największe wyzwania nie były ani czysto techniczne, ani stricte operacyjne – pojawiały się właśnie na styku technologii i praktyki, gdzie narzędzia mają realnie wspierać realizację celów biznesowych:
- Jak zbudować matrycę typów dokumentów, która obejmie wszystkie przypadki?
- Jak walidować dane, które często pojawiały się w różnej formie (np. adres raz skrócony, raz opisowy)?
- Jak zdecydować, co model ma odczytać zawsze, a co tylko wtedy, gdy to możliwe?
- Konieczne okazały się także szkolenia pracowników i użytkowników w zakresie obsługi narzędzi AI oraz automatyzacji przetwarzania dokumentów, aby zapewnić skuteczne wdrożenie i bezpieczeństwo procesów.
W sumie przeszliśmy kilkaset iteracji promptów i logiki kontrolnej, zanim doszliśmy do momentu, w którym zespół uznał jakość danych za “produkcyjną”. W trakcie tych iteracji wykonywaliśmy różne zadania związane z analizą i rozpoznawaniem tekstu, w tym rozpoznawanie kluczowych informacji oraz usuwanie nieistotnych danych, takich jak branding czy zniekształcenia, aby poprawić efektywność procesu. Wprowadziliśmy też mechanizmy walidacji biznesowej i reguły flagowania podejrzanych wartości (np. niezgodności w liczbach).
Jakość danych była dla nas priorytetem – skupiliśmy się na zapewnieniu wysokiej dokładności przetwarzania oraz wdrożeniu strategii poprawy jakości danych na każdym etapie. Analizowanie danych stało się kluczowym elementem procesu, umożliwiającym ciągłe doskonalenie rozwiązań i lepsze zrozumienie potrzeb użytkowników.
Efekty: 30 000 dokumentów w dwa tygodnie i odzyskane 2000 godzin pracy
W finalnym przetwarzaniu uzyskaliśmy:
- przetworzenie prawie 30 000 dokumentów w mniej niż dwa tygodnie,
- skuteczność ekstrakcji na poziomie 95% dla krytycznych danych,
- dane gotowe do raportowania i integracji z ERP,
- odzyskane ~2000 roboczogodzin pracy manualnej.
Ale to, co okazało się najistotniejsze, wydarzyło się po stronie interpretacji wyników. Dzięki dobrze przetworzonym i uporządkowanym danym klient uzyskał wgląd w informacje, których wcześniej nie znał. Zidentyfikowano nieuświadomione wcześniej rozbieżności, dublujące się zobowiązania i niepotrzebne koszty.
Efekt? Realne decyzje biznesowe, które w perspektywie roku przyniosły kilka milionów złotych oszczędności. To pokazuje, że największa wartość z wdrożenia GenAI nie leży tylko w szybkości, ale w możliwości zrozumienia tego, co do tej pory było ukryte w plikach PDF.
Co możesz zrobić u siebie?
Jeśli mierzysz się z podobnym problemem nieustrukturyzowanych danych:
- Zacznijmy od audytu: jakie masz dokumenty, ile, w jakiej formie, czego od nich oczekujesz? Już na tym etapie warto opracować strategie wdrożenia automatyzacji przetwarzania dokumentów, aby skutecznie zaplanować kolejne kroki.
- Wybierzemy kluczowe typy dokumentów i zdefiniuj wymagane dane do ekstrakcji. Rozważ korzystanie z narzędzi działających w chmurze, które umożliwiają integrację z innymi systemami oraz elastyczne skalowanie procesów.
- Zbudujemy PoC na małej próbie: sprawdź co działa, a co nie, przy użyciu niestandardowych modeli dopasowanych do określonej struktury dokumentów. Dzięki temu nie ma konieczności angażowania się w skomplikowane procesy wdrożeniowe, a integracja z istniejącymi systemami przebiega sprawnie.
- Będziemy interować prompt engineering + walidacja + ocena jakości.
- A potem będziemy skalować
Pamiętaj: AI nie zastąpi człowieka, ale jeśli zrobi to 10x szybciej i 10x taniej – a do tego zyskujesz dostęp do informacji, do których wcześniej nie miałeś wglądu, co może przynieść wartość wielokrotnie większą niż oszczędności czasu i zasobów, jeśli tylko odpowiednio je wykorzystasz. To często właśnie te dane decydują o zmianie decyzji, renegocjacjach, optymalizacjach – i realnych pieniądzach. masz realny powód, by z niej skorzystać.
Chcesz porozmawiać o tym, jak AI może pomóc Twoim dokumentom?
Odezwij się do nas.
W Alterdata łączymy dane, narzędzia AI i realne potrzeby biznesowe. Z efektem - umów się na bezpłatną konsultację!
