Sztuczna inteligencja, która „konfabuluje”

Sztuczna inteligencja coraz częściej wspiera pracę zamawiających, wykonawców i kontrolerów w postępowaniach o udzielenie zamówienia publicznego. Z tymi możliwościami wiąże się jednak istotne ryzyko, o którym każdy użytkownik narzędzi takich jak ChatGPT, Copilot czy Gemini powinien wiedzieć: zjawisko tzw. halucynacji modeli językowych. Poniżej przedstawiam fragmenty mojej książki „AI w zamówieniach publicznych”, które wyjaśniają, jak to zjawisko działa, jakie ma konsekwencje w praktyce, jakie regulacje prawne dotyczą obecnie systemów AI oraz jak formułować polecenia (prompty), aby ryzyko błędnych odpowiedzi ograniczyć.

Gdy AI mówi z pełnym przekonaniem... i myli się

Halucynacja to sytuacja, w której model AI generuje informację, która brzmi wiarygodnie, ale jest fałszywa. Problem polega na tym, że taka odpowiedź często niczym nie różni się – pod względem tonu i formy – od odpowiedzi prawdziwej.

„W praktyce halucynacje objawiają się jako bardzo pewne siebie, ale błędne odpowiedzi na pytania. Przykładowo, chatbot może szczegółowo opisać historyczne wydarzenie, które nigdy nie miało miejsca, albo podać zmyślony fakt z pełnym przekonaniem.”

Co ciekawe, ta sama właściwość modeli, która prowadzi do halucynacji, jest jednocześnie źródłem ich kreatywności.

„Sam Altman (szef OpenAI) zwrócił uwagę, że umiejętność halucynowania to także źródło kreatywności AI – model potrafi generować oryginalne pomysły, bo nie ogranicza się tylko do znanych faktów.”

Dla osób pracujących z dokumentacją przetargową wniosek jest jeden: AI bywa świetnym narzędziem wspierającym kreatywność i przyspieszającym pracę, ale nie może być traktowane jako wyrocznia w sprawach faktów, przepisów czy orzecznictwa.

Wymyślone przepisy i nieistniejące orzeczenia – ryzyko w pracy prawniczej i przetargowej

Szczególnie wysokie ryzyko związane z halucynacjami dotyczy zastosowań prawniczych – a więc również obszaru zamówień publicznych, gdzie precyzyjne odwołanie do właściwego przepisu czy orzeczenia Krajowej Izby Odwoławczej ma realne znaczenie dla wyniku postępowania.

„ChatGPT, jak każdy model AI, bywa przekonujący nawet gdy się myli. W kontekście prawnym potrafi wygenerować pozornie wiarygodne, lecz błędne odpowiedzi (np. wymyślone podstawy prawne, nieistniejące orzeczenia). Konieczna jest zatem weryfikacja uzyskanych treści przez eksperta przed ich wykorzystaniem.”

Innymi słowy: odpowiedź AI może wyglądać profesjonalnie, zawierać przypisy, numery artykułów i odwołania do konkretnych wyroków – a mimo to być całkowicie zmyślona. Bez weryfikacji przez osobę znającą aktualny stan prawny, taka treść może stać się źródłem poważnego błędu w dokumentacji postępowania.

Przykład z praktyki: uchylony przepis, który AI „przywraca do życia”

Najlepiej ilustruje to konkretny przykład związany z asystentem AI zintegrowanym z pakietem biurowym – Microsoft 365 Copilot.

„Halucynacje w Copilocie również mogą wystąpić – np. wygeneruje on zdanie »Zgodnie z art. 15 Pzp oferta podlega odrzuceniu...«, podczas gdy taki przepis został uchylony – bo model »myśli«, że pasuje do kontekstu.”

Dla osoby, która nie śledzi na bieżąco zmian w przepisach, taka odpowiedź może wydawać się całkowicie wiarygodna – model nie sygnalizuje żadnej niepewności, a powołanie na konkretny artykuł ustawy brzmi przekonująco. W praktyce oznacza to, że korzystanie z AI w pracy nad SWZ, ofertami czy odwołaniami zawsze wymaga dodatkowej weryfikacji aktualności wskazanych przepisów.

Podstawa prawna: czym jest AI Act i kogo obowiązuje?

Świadome korzystanie z AI w zamówieniach publicznych wymaga znajomości nie tylko ograniczeń technologicznych, lecz także obowiązującego otoczenia prawnego. Podstawowym aktem regulującym stosowanie sztucznej inteligencji w Unii Europejskiej jest rozporządzenie znane jako AI Act.

„Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 z dnia 13 czerwca 2024 r. w sprawie ustanowienia zharmonizowanych przepisów dotyczących sztucznej inteligencji (AI Act) stanowi pierwszy kompleksowy akt prawny regulujący zasady rozwoju, wdrażania i stosowania systemów sztucznej inteligencji w Unii Europejskiej. [...] Jako rozporządzenie UE akt jest bezpośrednio stosowany we wszystkich państwach członkowskich.”

AI Act przyjmuje podejście oparte na ryzyku – im wyższy poziom ryzyka związanego z zastosowaniem danego systemu AI, tym bardziej restrykcyjne wymogi musi on spełniać.

„AI Act opiera się na podejściu proporcjonalnym i opartym na ryzyku – im wyższy poziom ryzyka związanego z użyciem systemu AI, tym bardziej restrykcyjne wymogi. Akt rozróżnia cztery kategorie ryzyka: niedopuszczalne, wysokie, ograniczone i minimalne.”

Co istotne dla zamawiających, AI Act wprost wskazuje obszar zamówień publicznych jako jeden z objętych regulacją.

„Celem AI Act jest zapewnienie, że systemy AI stosowane w Unii są bezpieczne, zgodne z prawem i etyczne. Rozporządzenie obejmuje systemy AI stosowane w sektorze publicznym, w tym w obszarach takich jak rekrutacja, edukacja, ocena wiarygodności kredytowej, a także udzielania zamówień publicznych.”

Pełny tekst rozporządzenia (UE) 2024/1689 dostępny jest na stronie EUR-Lex: eur-lex.europa.eu

Jak ograniczyć ryzyko halucynacji? Rola dobrze sformułowanego promptu

Świadomość ryzyka halucynacji to pierwszy krok. Drugim, równie ważnym, jest umiejętność formułowania poleceń (promptów) w sposób, który to ryzyko realnie ograniczy. W książce „AI w zamówieniach publicznych” wyodrębniłem pięć kategorii fraz, które – stosowane łącznie – pozwalają znacząco zwiększyć przewidywalność i wiarygodność odpowiedzi AI.

„Prompty nie są jedynie pytaniami kierowanymi do systemu AI, lecz narzędziem sterowania sposobem analizy, zakresem odpowiedzi oraz poziomem ostrożności, z jakim system generuje treść. [...] właściwe łączenie [fraz] pozwala na ograniczenie ryzyk charakterystycznych dla systemów AI, w szczególności ryzyka halucynacji, nadinterpretacji oraz odpowiedzi nieadekwatnych do realiów zamówień publicznych.”

Szczególną rolę w ograniczaniu halucynacji odgrywają tzw. frazy kontrolne (self-check / guardrail prompts) – czyli polecenia wymuszające na modelu samokontrolę i ujawnienie niepewności.

„Frazy kontrolne służą wymuszeniu samokontroli odpowiedzi generowanej przez system AI. Ich celem jest ograniczenie halucynacji poprzez zobowiązanie systemu do ujawnienia podstaw odpowiedzi, zakresu pewności oraz ewentualnych braków danych.”

Przykłady takich fraz, które warto na trwałe wpisać do swojego „warsztatu pracy” z AI:

„Jeżeli brak danych – wskaż to wprost. Nie formułuj odpowiedzi hipotetycznych. Wskaż podstawę prawną lub zaznacz jej brak. Oddziel fakty od założeń. [...] Nie twórz fikcyjnych orzeczeń. [...] Nie interpretuj poza zakresem danych.”

W praktyce najlepsze efekty daje połączenie frazy rolowej (np. „Występujesz jako prawnik specjalizujący się w Pzp”), frazy zadaniowej (np. „Przeanalizuj projekt SWZ”), frazy kontekstowej (np. „Kontekst: postępowanie poniżej progów unijnych”) oraz – co najważniejsze z perspektywy ryzyka halucynacji – frazy kontrolnej. Taki prompt znacząco zmniejsza ryzyko otrzymania odpowiedzi przekonującej, lecz nieprawdziwej.

Co z tego wynika dla praktyki zamówień publicznych?

Opisane zjawisko nie oznacza, że narzędzia AI należy odrzucić – wręcz przeciwnie, mogą one znacząco usprawnić pracę zamawiających, wykonawców i kontrolerów. Kluczowe jest jednak budowanie wokół tych narzędzi odpowiedniego „systemu bezpieczników”: świadomej weryfikacji uzyskanych odpowiedzi, sprawdzania aktualności wskazywanych przepisów i orzeczeń oraz traktowania AI jako wsparcia, a nie zastępstwa dla wiedzy i odpowiedzialności specjalisty.