Jak sztuczna inteligencja przeinacza wiadomości. Analiza PBC

ilustracja: Gemini AI

Polskie Badania Czytelnictwa w styczniu zaprezentowały replikację badań międzynarodowych na temat jakości odpowiedzi AI. Wyniki są zbliżone do podobnych badań robionych w innych językach i krajach. Problemy AI mają charakter systemowy, transgraniczny oraz wielojęzyczny. Jeśli ich jakość się nie poprawi a skala używania wzrośnie, to mogą one podważyć zaufanie publiczne do mediów i do wszystkich przekazów treści. Wydawcy z jednej strony intensywnie korzystają z narzędzi AI, z drugiej strony AI wykorzystuje ich treści do trenowania modeli językowych a z trzeciej są zmuszeni konkurować z AI.

Nowe formy przekazywania wiedzy oparte na algorytmach AI próbują wejść w rolę tradycyjnych mediów streszczając wiadomości z serwisów internetowych i gazet.

Coraz mniej szukamy. Wierzymy odpowiedziom AI

Według raportu Digital News Report Instytutu Reutersa z 2025 roku, tylko 7% wszystkich odbiorców wiadomości online intencjonalnie korzysta z asystentów AI, w szczególności z ChatGPT, Gemini czy Perplexity. Wśród osób poniżej 25. roku życia odsetek ten wzrasta do 15%.


Wyszukiwarki dla niedużej, ale ciągle rosnącej grupy ludzi przestały być głównym źródłem wyszukiwania informacji. Na odpowiedź wiodącego gracza w tym segmencie nie trzeba było długo czekać: rok 2025 był rokiem wejścia sztucznej inteligencji do wyszukiwarki Google - w marcu ubiegłego roku w Polsce w wyszukiwarce wdrożono pierwszy model AI Overview, w październiki jego kolejną wersję AI Mode.

Ile odpowiedzi jest wyświetlanych w trybie AI w wyszukiwarce Google? Dokładnie nie wiemy, bo to Google decyduje na jakie zapytania da odpowiedź w trybie AI, a na jakie w postaci tradycyjnych linków, ale eksperci szacują, że może to być już średnio 20% odpowiedzi, a w niektórych segmentach tematycznych nawet blisko 50%.

Dla mediów jest to zmiana. Rewolucyjna czy ewolucyjna - to się okaże. Na pewno jest to test na utrzymanie czytelników czy widzów przy tradycyjnych formach przekazu. A dla nowych sposobów przedstawiania informacji opartych na sztucznej inteligencji duży test jakości.

Czy AI rzetelnie przekazuje informacje? BBC i EBU sprawdziły

Z badań prowadzonych na świecie wynika, że wielu użytkowników postrzega sztuczną inteligencję jako godną zaufania. Czy jednak podsumowywania informacji są rzeczywiście godne zaufania? W mediach "sprawdzam" jako pierwszy powiedział koncern medialny BBC. W lutym 2025 roku, na brytyjskim rynku wykonano badanie jakości odpowiedzi AI. Badanie to po raz pierwszy oceniło jakość sztucznej inteligencji i nazwało problemy pojawiające się przy streszczaniu wiadomości.

Ponieważ blisko połowa odpowiedzi sztucznej inteligencji zawierała błędy a badanie było zrobione tylko w Wielkiej Brytanii i w jednym z najpopularniejszym języków świata - angielskim - BBC, aby potwierdzić swoje spostrzeżenia zainicjowało rozszerzenie tego testu na wiele innych krajów i języków.


Druga runda badań była koordynowana przez Europejską Unię Nadawców (EBU) pod kierownictwem BBC i miała bezprecedensowy zasięg i skalę. Wykonano testy z udziałem organizacji z 18 krajów, komunikujących się w 14 językach. W badaniu wzięły udział organizacje z Belgii, Wielkiej Brytanii, Kanady, Czechy, Finlandii, Francji, Gruzji, Niemiec, Włoch, Litwy, Holandii, Norwegii, Portugalii, Hiszpanii, Szwecji, Szwajcarii, Ukrainy i Stanów Zjednoczonych.

Profesjonalni dziennikarze uczestniczący w międzynarodowym teście ocenili w 18 krajach blisko 3000 odpowiedzi z serwisów

• ChatGPT,
• Copilot,
• Gemini
• i Perplexity.

Oceniali dokładność, sposób i jakość odniesień do źródeł w streszczaniu informacji, odróżnienie w przedstawianych odpowiedziach opinii od faktów, ujęcie redakcyjne oraz kontekst wypowiedzi, tj, dostarczenie wystarczających informacji lub odpowiednich perspektyw, aby dać czytelnikowi niebędącemu ekspertem kompletną i nie wprowadzającą w błąd odpowiedź. W odniesieniu do każdego z tych kryteriów oceniano poszczególne odpowiedzi jako niebudzące zastrzeżeń, budzące pewne zastrzeżenia, budzące poważne zastrzeżenia.

Badanie jakości odpowiedzi. AI przeinacza fakty

W Polsce spółka Polskie Badania Czytelnictwa zrobiła replikację tych badań, aby również ocenić jakość polskojęzycznych modeli językowych. Przetestowano po 60 zapytań w modelach ChatGPT, Gemini oraz Perplexity.

	Badania EBU i BBC (18 krajów, 14 języków)	Badania PBC (Polska)
Procent odpowiedzi zawierający co najmniej jeden istotny błąd	45%	46%
Procent odpowiedzi mających poważne problemy ze źródłami	31%	27%
Procent odpowiedzi mających poważne braki w dokładności	20%	19%

Wyniki obu testów były zbieżne. Blisko połowa odpowiedzi sztucznej inteligencji zawiera co najmniej jeden błąd (badania międzynarodowe: 45%, badania polskie 46%); blisko 1/3 odpowiedzi ma niepoprawnie podane źródła lub ich brak (badania międzynarodowe: 31%, badania polskie 27%), a 1/5 odpowiedzi jest nieprawidłowych, ma poważne błędy w dokładności lub halucynacje (badania międzynarodowe: 20%, badania polskie 19%).

Asystenci AI, będący już codziennym źródłem informacji dla milionów ludzi, notorycznie przeinaczają treści informacyjne, niezależnie od tego, jaki język, terytorium lub platforma AI są testowane. Badania wskazały, że problem ma charakter systemowy i nie jest związany z językiem, rynkiem ani asystentem AI.

Wyniki polskich testów dla różnych modeli językowych wskazują na problemy we wszystkich modelach, najmniejsze w Perplexity a najczęstsze w Gemini.

Podstawowe problemy wyników generowanych przez AI (badanie PBC)

Kategoria problemu	Gemini	ChatGPT	Perplexity	Średnia ogólna
Co najmniej jeden istotny problem	57%	55%	25%	46%
Poważne braki w dokładności	17%	32%	8%	19%
Istotne problemy ze źródłami	brak źródeł	38%	17%	27%
Odpowiedzi stronnicze	15%	12%	8%	12%

PBC robiło testy na różnych rodzajach treści: z tematyki dzienników, dzienników regionalnych, pism kobiecych luksusowych oraz specjalistycznych. Odsetek odpowiedzi zawierających co najmniej jeden istotny błąd wygląda następująco:

Tematyka	Gemini	ChatGPT	Perplexity	Średnia sekcji
dzienniki ogólnopolskie	40%	20%	40%	33%
dzienniki lokalne	64%	48%	20%	44%
pisma kobiece luksusowe	64%	86%	50%	67%
pisma specjalistyczne	60%	70%	50%	60%

O ile na ogólnych informacjach 1/3 wypowiedzi zawierała co najmniej jeden istotny błąd, to im bardziej specjalistyczne treści testowano, tym bardziej ten procent rósł. Co najmniej jeden istotny błąd zawierało 67% zapytań generowanych na treściach poradniczych dla kobiet a 60% w treściach specjalistycznych (zdrowotnych, budowlanych czy ogrodniczych).

Błędy zagrażające reputacji

- Badania jednoznacznie dowodzą, że te niedociągnięcia nie są odosobnionymi incydentami - mówi Jean Philip De Tender, dyrektor ds. mediów i zastępca dyrektora generalnego EBU, organizatora międzynarodowych badań. - Mają one charakter systemowy, transgraniczny i wielojęzyczny, i naszym zdaniem zagrażają zaufaniu publicznemu. Kiedy ludzie nie wiedzą, komu ufać, w końcu nie ufają niczemu, a to może zniechęcać do uczestnictwa w demokracji.
- Mimo przełomowej zmiany jaka się dokonała w sposobie wyszukiwania informacji, błędy są na tyle poważne, że mogą zagrażać reputacji cytowanych mediów, bo odniesienie w źródłach do renomowanej redakcji czy nazwiska znanego dziennikarza uwiarygadnia podsumowanie, które często nie jest najlepszej jakości - podkreśla Renata Krzewska, Prezes Polski Badań Czytelnictwa. - Opinie naukowców wskazują, że algorytmy sztucznej inteligencji mogą popełniać błędy, ponieważ niektóre pytania są z natury trudne lub po prostu nie mają uogólnialnego wzorca. Błędne odpowiedzi wynikają także ze zwyczajnego przyzwolenie firm technologicznych; gdyby model zbyt często przyznawał się do odpowiedzi "nie wiem", użytkownicy po prostu szukaliby odpowiedzi gdzie indziej.

Dla marek prasowych - często będących źródłami odpowiedzi dla AI - bardzo istotne jest utrzymywanie wysokiej reputacji i wiarygodności, kierowanie odbiorców bezpośrednio do swoich treści; odróżnienie się, pokazanie że za nimi stoi tradycja, profesjonalizm oraz ciężka praca, aby te informacje pozyskać i wiarygodnie opracować.

Pełne wyniki badań i komentarze dostępbe są na stronie Polskich Badań Czytelnictwa:
https://www.pbc.pl/prasa-w-czasach-ai/