1. Noc z 7 na 8 listopada 2024 roku
W nocy z 7 na 8 listopada 2024 roku Platforma e-Zamówienia — jedyny oficjalny kanał, przez który instytucje publiczne w Polsce publikują ogłoszenia o przetargach — przestawała odpowiadać w odstępach kilku minut. Błąd 502. Potem 503. Potem znów działa, potem znów nie. Seria takich incydentów ciągnęła się od 17 października. Urząd Zamówień Publicznych tłumaczył, że trwa migracja do nowej chmury.
Chciałbym móc napisać, że to wstrząsnęło opinią publiczną. Prawdę mówiąc, poruszyło ono tylko tych, którzy mieli w tych dniach coś do złożenia — i to połowicznie, bo większość zamawiających została zmuszona do przedłużania terminów albo unieważniania postępowań. Obywatel, dla którego Platforma e-Zamówienia teoretycznie istnieje, nie dowiedział się o niczym. Zresztą i tak by nie wiedział, dlaczego miałoby go to obchodzić.
Przez tę jedną platformę przechodzi rocznie, w zależności od metodologii, od 9 do 16 procent polskiego PKB — w złotych od około 275 miliardów do blisko 600. To nie jest dodatek do budżetu państwa. To jest połowa wszystkiego, co kupuje publiczny sektor: od autostrad, przez pensje ochroniarzy w szpitalach, po licencje na Excela w gminach. I to jest, jak każdy, kto chociaż raz w tych danych pogrzebał, może zaświadczyć, najbardziej podstawowy test, czy otwartość danych publicznych w Polsce cokolwiek znaczy.
Otóż w rankingu Open Data Maturity Unii Europejskiej za rok 2024 Polska zajęła drugie miejsce. Z wynikiem 98 procent, zaraz za Francją i przed Ukrainą. W wymiarze politycznym — sto procent, ex aequo z Estonią, Francją, Włochami i Ukrainą. Rok później Polska zajmuje trzecie miejsce, wciąż w klastrze trendsetterów. Brzmi to jak sukces. I byłby to sukces, gdyby te liczby coś znaczyły.
2. Paradoks rankingu
Rankingi otwartości danych mierzą — i w tym nie ma żadnej sensacji — to, co łatwo zmierzyć: istnienie portalu centralnego, strategię rządu, ramy prawne, liczbę opublikowanych zbiorów, ich format, licencje. Open Data Maturity patrzy na politykę, portale, wpływ i jakość. Polska w każdym z tych wymiarów wypada bardzo dobrze. Dane.gov.pl to już blisko 40 tysięcy zbiorów od ponad 500 instytucji, około 450 API i ponad 1500 zbiorów na najwyższym (czwartym i piątym) poziomie otwartości. Urząd Zamówień Publicznych ma własną platformę. Sejm ma API. GUS przez Bank Danych Lokalnych publikuje tysiące wskaźników regionalnych.
Równolegle, w grudniu 2023 roku, Sieć Obywatelska Watchdog Polska opublikowała Raport o stanie jawności w Polsce — pierwsze kompleksowe opracowanie tego tematu. O tyle symptomatyczne, że dotąd nikt nie pomyślał, żeby zmierzyć, jak ten cały aparat otwartości faktycznie działa z perspektywy obywatela, który chce się czegoś dowiedzieć. Cytowane tam wskaźniki OECD: Polska spełnia 67 procent kryteriów regulacyjnych i 54 procent praktycznych — przy średniej OECD na poziomie 62. Raport Watchdoga pokazuje też, że instytucje publiczne w Polsce nie mają w ogóle obowiązku raportowania, jak realizują prawo do informacji publicznej. Nikt tego nie mierzy. W marcu 2024 roku Europejski Trybunał Praw Człowieka uznał, że odmowa udostępnienia kalendarzy Julii Przyłębskiej i Mariusza Muszyńskiego była bezpodstawna. Sprawa ciągnęła się latami.
Obie liczby — 98 i 54 — są prawdziwe. Mierzą tylko co innego. Pierwsza mówi, że państwo zbudowało aparat. Druga, że ten aparat działa z trudem, gdy ktoś spoza urzędu próbuje go użyć.
Moja hipoteza jest prosta i bardziej praktyczna niż polityczna: między publikacją danych a ich używalnością przebiega warstwa, której polski sektor publiczny nie zbudował, a społeczeństwo obywatelskie samo nie dźwignie. Ranking tego nie widzi, bo tego nie mierzy. A właśnie tam mieszka cała odpowiedź na pytanie, dlaczego większość ludzi w Polsce z danych publicznych nie korzysta, mimo że formalnie wszystko jest.
3. Co właściwie publikujemy
Krajobraz polskich danych publicznych jest, jak się szybko przekonuje każdy, kto chce z nich coś zbudować, rozległy i chaotyczny.
Portal centralny — dane.gov.pl — działa dobrze jako katalog, przyzwoicie jako hub API, słabiej jako warstwa jakości. Opublikowany tam zbiór może być świeżym JSON-em aktualizowanym codziennie albo PDF-em z raportem kwartalnym sprzed trzech lat. Jedno i drugie formalnie „spełnia” definicję otwartego zbioru. Wyszukiwarka tego nie odróżnia.
Sejm prowadzi własne API pod api.sejm.gov.pl, z dokumentacją OpenAPI i interfejsem Swagger. Są posłowie, głosowania, druki, interpelacje, komisje, kluby, stenogramy, pliki wideo, procesy legislacyjne. Z tego samego źródła lecą akty prawne w standardzie ELI: Dziennik Ustaw, Monitor Polski. Jakość, jak na polskie standardy, bardzo dobra; dokumentacja napisana przez kogoś, kto wiedział, że pisze dla programisty, nie dla urzędnika.
Zamówienia publiczne rozpadają się na dwa światy. Platforma e-Zamówienia pod ezamowienia.gov.pl obsługuje ogłoszenia krajowe i pełni rolę pośrednika przy publikacji w unijnym TED (Tenders Electronic Daily), suplemencie do Dziennika Urzędowego UE. W TED rocznie publikuje się ponad 700 tysięcy ogłoszeń z całej Unii, dziennie od dwóch i pół do trzech tysięcy. Biuletyn Zamówień Publicznych — część Platformy — udostępnia webservice za darmo, bez procedury rejestracyjnej. To jedna z nielicznych decyzji, za które UZP należy pochwalić. Inne komponenty platformy (MT, MO, PP, MMIA, OCID, CRD) wymagają rejestracji i zdania testów integracyjnych.
Do tego rejestry KRS, REGON, CEIDG; dane GUS z BDL-a; TERYT; mapy Geoportalu; dane meteorologiczne IMGW; Krajowy Rejestr Karny; system ZUS; przepływy celne; rejestry lekowe; rejestry wyborcze; BIP-y kilkunastu tysięcy instytucji publicznych, każdy osobno. Licznik łatwo przekracza dwieście niezależnych źródeł, jeśli pójść wystarczająco głęboko.
Rzecz w tym, że żadne z tych źródeł nie rozmawia z żadnym innym. Schematy, identyfikatory, formaty, cykle aktualizacji, polityki autoryzacji — wszystko osobno. Państwo opublikowało dane, ale nie zbudowało języka, w którym te dane mogłyby ze sobą rozmawiać.
4. Cztery tryby, w których „dane” przestają być danymi
Pracując na Atlasie Przetargów — serwisie, który pobiera BZP i TED, normalizuje je, porządkuje i wystawia w jednej przeszukiwalnej bazie — ułożyłem sobie roboczą typologię problemów. Cztery tryby, w których publikacja jest formalna, a użycie utrudnione.
Pierwszy: formatowy. PDF-y udające dane. Skany udające PDF-y. Pliki Excel z komórkami scalonymi, które wybuchają przy pierwszej próbie wczytania do pandasa. CSV kodowane CP1250, kiedy reszta świata pisze w UTF-8. To nie są anegdoty z długiego ogona — tak wygląda istotna część publikowanych przez polskie instytucje „zbiorów danych”. Formalnie plik jest. Plik jest otwarty. Plik leży na dane.gov.pl. Praktycznie — wymaga godziny ręcznej obróbki, zanim stanie się czymkolwiek, co program potrafi przeczytać.
Drugi: strukturalny. Plik CSV bez schematu. Dziesięć kolumn, bez nagłówka, bez dokumentacji, bez typów. Zgadywanie, co oznacza kol5, bywa archeologią. W TED mamy odwrotny skrajny przypadek: ogłoszenia opisane w schemacie eForms, który ma setki pól rzadko używanych w praktyce, z dokumentacją zrozumiałą dopiero po kilkudziesięciu godzinach czytania. Oba bieguny — zero struktury i nadmiar struktury — prowadzą do tego samego skutku: tylko osoby, które już wiedzą, co tam jest, potrafią to odczytać.
Trzeci: semantyczny. Ta sama instytucja w dwóch rejestrach ma dwie różne nazwy. Ten sam przedmiot zamówienia w BZP opisany jest jako „usługa ochrony osób i mienia”, a w TED — jako security services. Ten sam NIP w jednym systemie ma kreski, w drugim nie. Klasyfikacje CPV (wspólny słownik zamówień) przecinają się z PKD (klasyfikacja działalności), a ta z klasyfikacją budżetową. Bez warstwy mapującej nie da się sensownie odpowiedzieć na pytanie „ile państwo wydaje rocznie na ochronę szpitali”, bo nie istnieje jedna kategoria „ochrona szpitali” — istnieje rozproszony po dziesiątkach etykiet zbiór ogłoszeń, który trzeba dopiero zszyć.
Czwarty: operacyjny. API bez SLA, bez wersjonowania, bez notyfikacji o zmianach. Endpoint zwracał strukturę A, a od czwartku zwraca B, bo ktoś wdrożył update w piątek po południu. Jesień 2024 na Platformie e-Zamówienia to nie wypadek. To logiczne rozszerzenie tego trybu: kiedy stabilność nie jest traktowana jako stały priorytet operacyjny, tylko jako projekt zakończony wdrożeniem, kryzysy wracają cyklicznie. System działa, dopóki działa.
Żaden z tych problemów nie jest specyficznie polski. W każdej jurysdykcji, która publikuje dane, jakaś ich frakcja ma jeden z tych defektów. Specyficzna dla Polski jest skala — i fakt, że w rankingach tego nie widać, bo rankingi liczą zbiory, nie pytają, czy można z nich coś zbudować.
5. Case: API Sejmu
API Sejmu jest dobrym przykładem tego, co się udaje. Jest dokumentacja OpenAPI. Jest interfejs Swagger. Są sensownie zbudowane zasoby: /MP, /votings, /prints, /interpellations, /committees, /proceedings. Paginacja działa. Sortowanie działa. Format — JSON, przewidywalny.
Z tego API można, bez nadmiernego wysiłku, zbudować narzędzie, które odpowie na pytanie „jak posłanka X głosowała przez ostatnie pięć lat”. Można też trudniejsze: „którzy posłowie najczęściej łamią dyscyplinę klubową”. To drugie wymaga już warstwy analitycznej — trzeba pobrać kluby, pobrać głosowania, pobrać przynależność klubową w czasie (bo ludzie zmieniają kluby), zmapować, policzyć. Kilkadziesiąt linijek kodu. Ale kilkadziesiąt linijek, których państwo już za ciebie nie napisało.
I tu dochodzimy do sedna. Fundacja Moje Państwo, dawniej ePaństwo, działa od 2010 roku (Sejmometr — od 2009). Kilka osób, organizacja pozarządowa, przez piętnaście lat utrzymuje sejmometr.pl i mojepanstwo.pl — portale, dzięki którym zwykły obywatel może zobaczyć, co jego posłowie robią, na jaki druk głosowali, które interpelacje napisali. To jest warstwa, której na poziomie państwa nie ma. Za API Sejmu odpowiada Kancelaria. Za używalność API Sejmu — Fundacja. Od piętnastu lat.
Analogiczną rolę przy danych o jawności pełni Sieć Obywatelska Watchdog Polska (działająca od 2003 roku) — w samym 2024 roku wysłała 1410 wniosków o informację publiczną, uzyskała 87 procent odpowiedzi. Gdyby tego nie robiła, nikt by tych danych nie miał. Nie istnieją.
Podkreślam to, bo jest to konsekwentne: każda mała nisza polskich danych publicznych, w której coś realnie działa dla obywatela, ma za sobą pojedynczą organizację pozarządową albo garstkę ludzi z dnia zero dbających o infrastrukturę między surowymi danymi a nieurzędowym odbiorcą. Finansowanie — projektowe, niepewne. Ciągłość — zależna od fundraisingu. Pokrycie — wąskie.
6. Case: zamówienia publiczne, czyli tam, gdzie są prawdziwe pieniądze
Jeśli API Sejmu jest dobrym przykładem udanego publikowania, to zamówienia publiczne są dobrym przykładem wszystkiego, co się łamie — przy wielokrotnie wyższej stawce.
Liczby zostały już przytoczone: 9–16 procent PKB rocznie. Różnica bierze się w znacznej mierze z metodologii — jedne statystyki obejmują tylko zamówienia z ustawy Pzp, inne wszystkie zakupy sektora publicznego. W liczbach bezwzględnych to jest 275 do 587 miliardów złotych z budżetu państwa, samorządów, spółek Skarbu Państwa i jednostek podległych, przechodzących rocznie przez system.
Z publikacji gorzej. Ogłoszenia są — krajowe w BZP, unijne w TED. Można je przeglądać przez wyszukiwarkę UZP, ezamowienia.gov.pl albo interfejs TED na stronie Unii Europejskiej. Obie wyszukiwarki są zbudowane pod pracownika instytucji zamawiającej — nie pod analityka, dziennikarza, organizację społeczną ani obywatela. Filtry ubogie. Eksport niewygodny. Łączenie danych BZP z TED nie działa; to technicznie dwa różne systemy z dwoma różnymi schematami i dwoma różnymi identyfikatorami tego samego zdarzenia.
Dane są dostępne przez API, darmowe, bez rejestracji — i to, powtórzę, jest dobra wiadomość. Ale schema webservice’u jest, powiedzmy delikatnie, pochodną formularza, który urzędnik wklepuje ręcznie. Pola tekstowe tam, gdzie powinny być kontrolowane słowniki. Różne opisy tego samego przedmiotu zamówienia w zależności od urzędu. CPV — klasyfikacja unijna — wpisywane bywa źle, z pomyłkami, na najwyższym (a więc bezużytecznym) poziomie ogólności. Numery umów, numery postępowań, numery ogłoszeń — trzy różne identyfikatory tego samego zdarzenia, plus identyfikator TED dla wersji unijnej.
I teraz: jesień 2024. Migracja Platformy do nowej chmury. Od 17 października do 8 listopada — sporadyczne awarie. Urząd komunikował je przez portal, przepraszał, przesuwał terminy. Dla kancelarii prawnej, która pisze ofertę, wygląda to jak niedogodność. Dla ekosystemu danych — jak przypomnienie, że polski system zamówień publicznych, przez który płynie połowa wydatków państwa, stoi na platformie, w której stabilność została potraktowana jako projekt wdrożony raz i skończony. Nie jako stały koszt operacyjny.
To jest szczególnie frustrujące, bo rzecz jest do zrobienia. Open Contracting Data Standard istnieje i jest implementowany w państwach znacznie uboższych od Polski. Ukraina — wojująca Ukraina — ma ProZorro, publikujący zamówienia publiczne w OCDS w czasie rzeczywistym, z otwartymi danymi o każdym kontrakcie, każdym wykonawcy, każdej zmianie umowy. Mołdawia, Kolumbia, Paragwaj — to samo. UZP ma komponent CRD, który publikuje dane zgodne z OCDS, ale zasięg jest cząstkowy, a warstwa udostępniająca — praktycznie nieobecna. Dane formalnie są. Używalność — w produkcji zewnętrznej.
7. Kto z tego korzysta i kto z tego żyje
Mapę użytkowników polskich danych publicznych można narysować na serwetce.
Są firmy monitoringowe, sprzedające dostęp do uporządkowanych ogłoszeń przetargowych: Pressinfo, Oferent, ExpertOffer, kilkadziesiąt mniejszych. Ich produkt to właśnie warstwa, której państwo nie zbudowało — uporządkowany, przeszukiwalny, filtrowalny interfejs do publicznych danych. Odbiorca: przedsiębiorca, który chce składać oferty. Model: abonament, od kilkuset do kilku tysięcy złotych miesięcznie. Obywatel płaci tu dwa razy: raz podatkami za zebranie danych, drugi abonamentem, jeśli chce je zobaczyć w postaci użytecznej.
Są organizacje pozarządowe: Moje Państwo, Watchdog Polska, Fundacja im. Stefana Batorego, Panoptykon. Ich produkt to czasem monitoring (sejmometr, mojepanstwo), czasem raport, czasem litygacja (jak sprawa kalendarzy przed ETPC). Odbiorca: obywatel aktywny, badacz, dziennikarz. Model: projekty, granty, składki. Pokrycie: wycinkowe.
Są dziennikarze śledczy. OKO.press, Fundacja Reporterów z ich Frontstory i międzynarodowym Vsquare, redakcje Onetu, regionalne redakcje Gazety Wyborczej, część Rzeczpospolitej. Przy części śledztw pracują z danymi z rejestrów, z BZP, z TED, z CEIDG, z KRS. Ale jest to praca w przeważającej mierze ręczna — cierpliwe klikanie w wyszukiwarki, pobieranie PDF-ów, przepisywanie tabel. Narzędzi do masowej analizy polskich otwartych danych niemal się w tym środowisku nie używa, bo niemal żadne nie istnieją.
Są badacze akademiccy. Ekonometria instytucjonalna, analizy sektora publicznego, badania nad zamówieniami. Zwykle pracują z własnymi, pieczołowicie zebranymi podzbiorami — i publikują wyniki w anglojęzycznych czasopismach, często nie wracając do polskiego obiegu wcale.
I jest obywatel. Z raportu Watchdoga: 72 procent Polaków nie skorzystało nigdy z żadnej formy dostępu do informacji publicznej, a zaledwie 3,9 procent kiedykolwiek wysłało wniosek o dostęp do informacji publicznej. To nie są liczby źle zredagowanego sondażu. To jest stan rzeczy. Państwo dało ludziom ustawę z 2001 roku i portal centralny — i uznało sprawę za załatwioną.
Problem nie polega na tym, że ludzie są leniwi. Polega na tym, że między ustawą o dostępie do informacji publicznej a użytecznym wynikiem leży nieuformowana infrastruktura, której nikt nie zbudował. Obywatel staje przed wyszukiwarką BZP i — całkiem racjonalnie — stwierdza, że to nie jest dla niego. Bo faktycznie nie jest.
8. Krótka wycieczka poza Polskę
Co różni kraje, w których coś jednak działa.
Wielka Brytania — data.gov.uk, plus Open Data Institute, powołany w 2012 roku z inicjatywy Tima Berners-Lee. Plus cała kultura data journalism wykreowana wokół Guardiana. Różnica strukturalna: warstwa pośrednicząca — dokumentacja, ewangelizacja, standaryzacja, narzędzia — została potraktowana jako osobna funkcja publiczna z własnym budżetem.
Francja — Etalab, dawna misja rządowa, dziś departament w DINUM. Portal data.gouv.fr, API centralne, jasne standardy. Rząd wymusza publikację danych od instytucji, ale też buduje własną warstwę analityczną. Czasem nieoptymalną, ale buduje.
Estonia — X-Road, magistrala danych, w której rejestry rozmawiają ze sobą automatycznie na poziomie państwa. Estończyk logujący się do usługi publicznej ma przed sobą spójne dane, bo wszystkie źródła zostały zharmonizowane na poziomie technologicznym. W Estonii otwarte dane są produktem ubocznym dobrej integracji wewnętrznej — pierwsze jest to, że państwo potrafi ze sobą rozmawiać.
Ukraina — ProZorro i DoZorro. Zamówienia publiczne w OCDS, w czasie rzeczywistym, z rozbudowanym systemem monitoringowym przez NGO-sy i z zaangażowaniem obywatelskim wpisanym w projekt od pierwszego dnia.
Lekcja z tego nie brzmi: „Polska powinna skopiować X”. Brzmi raczej tak: we wszystkich tych przypadkach państwo nie zostawiło warstwy używalności społeczeństwu obywatelskiemu. Gdzieś po stronie publicznej ktoś wziął odpowiedzialność za to, żeby dane były używalne, a nie tylko obecne. W Polsce tej osoby — tego zespołu, tej funkcji — po prostu nie ma.
9. Co właściwie by trzeba
Postulaty z perspektywy osoby, która buduje warstwę, której państwo nie buduje.
Po pierwsze: standaryzacja. Nie jako deklaracja, tylko jako twardy wymóg. OCDS dla wszystkich zamówień publicznych — krajowych i unijnych — na poziomie pełnym, nie cząstkowym. Spójne identyfikatory instytucji. Jedna zdyscyplinowana taksonomia przedmiotów zamówienia (a raczej: jedno, zdyscyplinowane użycie istniejącej CPV). Wersjonowanie schematów. Jeśli coś się zmienia w strukturze, musi być changelog.
Po drugie: stabilność jako priorytet operacyjny. Platforma e-Zamówienia nie jest stroną promocyjną ministerstwa. To infrastruktura, przez którą idą pieniądze liczone w setkach miliardów złotych rocznie. Potrzebuje SLA, potrzebuje monitoringu, potrzebuje on-calla, potrzebuje publicznego statusu. Migracja do chmury w trakcie sezonu przetargowego, z tygodniami awarii, nie jest wpadką — jest symptomem tego, że kierownictwo traktuje system jako projekt, nie jako produkt.
Po trzecie: warstwa normalizująca na poziomie państwa. Nie dziesięć API, do których użytkownik musi sam dobudować klienta, tylko jedna, wyższa warstwa, która te API sczytuje, mapuje, zszywa i publikuje w postaci użytecznej dla nietechnicznego odbiorcy. To zadanie, którego Fundacja Moje Państwo, Watchdog, Atlasy — pojedyncze organizacje — nie są w stanie udźwignąć w pełnej szerokości. I nie powinny być. To funkcja państwa.
Po czwarte: dokumentacja pisana dla programisty, dla dziennikarza, dla badacza. A nie dla urzędnika czytającego BIP. API Sejmu jest dobrym przykładem. Większość reszty — złym.
Po piąte: finansowanie infrastrukturalnej strony otwartości. Nie dotacje projektowe po pół miliona złotych dla NGO-sów na dwa lata (z których rok idzie na pisanie wniosku, a drugi na rozliczanie). Tylko trwałe, roczne finansowanie mechanizmów, które dbają o to, żeby dane były używalne. Open Data Institute w Wielkiej Brytanii. Etalab we Francji. Coś analogicznego w Polsce — nie istnieje. Można się spierać o formę. Nie można się sensownie spierać o to, że takiej funkcji nie ma.
10. Dlaczego Atlasy
Nie ma w tym tekście manifestu. Nie przekonuję, że otwarte dane zbawią demokrację — nie zbawią, demokracja ma szerszą agendę. Nie piszę też, że Polska jest zacofana: w wielu miejscach polski sektor publiczny pracuje naprawdę dobrze, a trzecie miejsce w Europie nie jest przypadkowym nadmuchaniem statystyki. W rzeczach mierzalnych jest nieźle.
Piszę o tym, co zobaczyłem, próbując zbudować serwis, który pozwoli obywatelowi wpisać „remonty dróg w powiecie X” i zobaczyć, ile te remonty kosztowały w ostatnich pięciu latach. Tak banalne pytanie — i tak trudne, gdy ma się za frontową warstwą BZP, za nim TED, za nim niespójne rejestry instytucji, a za nimi klasyfikacje, które się zmieniają w połowie okresu analizy. Atlas Przetargów rozwiązuje tylko pierwszą warstwę tego łańcucha. Chciałbym, żeby rozwiązywał więcej — dotacje (Atlas Dotacji), rejestr podmiotów publicznych (Atlas Podmiotów), działalność legislacyjną (Atlas Polityczny), finanse publiczne (Atlas Publiczny).
To nie są pomysły na zastąpienie państwa. To są pomysły na zbudowanie kawałka warstwy, której państwo nie zbudowało, w nadziei, że pokazanie, jak to wygląda, kiedy ktoś tę warstwę dokończy, jest samo w sobie argumentem.
Ranking jest drugi w Europie. Obywatel o tym nie wie. I dopóki między danymi a obywatelem leży niezaorana ziemia — będzie mieszkał w kraju, o którym formalnie wiadomo wszystko, a praktycznie bardzo niewiele.