menu szukaj
tygodnik internetowy ISSN 2544-5839
nowe artykuły w każdy poniedziałek
tytuł monitorowany przez IMM i PSMM
zamknij
Czytaj gazety  PDF. Na kmputerze, czytniku, tablecie i smartfonie.

20.03.2023 Rynek medialny

ChatGPT nie zna się na żartach

Ludwika Tomala

Naukowcy z Politechniki Wrocławskiej sprawdzili czy ChatGPT rozumie żarty, wychwytuje błędy językowe, sarkazm i agresję, rozpoznaje spam. Poprosili program o wykonanie ponad 38 tysięcy zadań. Na razie wypada on gorzej niż nowoczesne wyspecjalizowane w tym programy, nie mówiąc już o ludziach.

ChatGPT nie zna się na żartachfot. Airam Dato-on/CC0/Pexels

- Jak na program, który nie był trenowany specyficznie w tym zakresie, ChatGPT i tak wypadł całkiem nieźle - komentuje jeden z autorów badania dr Jan Kocoń.

Język naturalny w komunikacji człowiek-komputer


- Ludzie przyzwyczaili się już, że w komunikacji z komputerem używają formularzy, komend czy słów kluczowych zamiast języka naturalnego. A głównym celem opracowania ChatGPT miało być wykonanie kroku w stronę naturalnej interakcji człowiek-komputer w formie konwersacji. Według nas ChatGPT jest w tym zakresie czymś rewolucyjnym - wyjaśnia dr Jan Kocoń z Politechniki Wrocławskiej. - ChatGPT szybko zaczął być jednak stosowany do celów, o których nie śniło się jego twórcom: rozwiązywania bardzo różnych problemów, które często wymagają świetnego rozumienia języka i znajomości kontekstów towarzyszących używaniu języka. Pytanie więc, jak dobrze ChatGPT orientuje się w tych obszarach.

Jak zadać 38 ty sięcy pytań


Naukowcy z zespołu CLARIN-PL - zajmujący się badaniami nad sztuczną inteligencją i przetwarzaniem języka naturalnego - postanowili to systematycznie sprawdzić. Poddali nowy chatbot restrykcyjnym testom. Zadali sztucznej inteligencji ponad 38 tysięcy zapytań.

AUTOPROMOCJA. Masz minutę? Poznaj nasz format #59sec REPORT na Youtube

- To było bardzo pracochłonne, bo nie było wtedy jeszcze do tego żadnej API (interfejsu) do zadawania takiej liczby pytań. Dostępna była również jedynie bezpłatna wersja z limitem około 50 pytań na godzinę dla jednego użytkownika. 20 osób z zespołu użyczało swoich kont w serwisie ChatGPT, dzięki czemu możliwe było automatyczne zadawanie ok. 2 tys. pytań dziennie - opowiada dr Kocoń.

To jedne z największych dotąd badań dotyczących Chatu GPT. Na razie badania te nie były jeszcze zrecenzowane, badacze udostępnili preprint.

ChatGPT a konkurencja


Naukowcy chcieli porównać, jak ChatGPT prezentuje się na tle najlepszych dostępnych na rynku modeli do automatycznej analizy języka. Chodzi choćby o systemy do analizy tzw. sentymentu. To programy, które np. firmom marketingowym pozwalają analizować, jakie emocje wywołuje w sieci dana informacja, usługa czy marka.
- Dostawaliśmy bowiem zapytania od firm, czy opłaca się zrezygnować z tych wyspecjalizowanych programów i zdać się jedynie na ChatGPT - opowiada dr Kocoń.

Wniosek? Na razie ChatGPT wypada gorzej niż te programy. Im gorzej radziły sobie z jakimś zadaniem inne modele, tym słabiej na ich tle wypadł ChatGPT. Popełniał błędy, które wychwyciłaby większość ludzi. Specjalista do wszystkich tematów nie okazał się więc być mistrzem w żadnym z nich - oceniają w swojej publikacji naukowcy.

Bazy ludzkich ocen


Badacze wzięli na warsztat 25 obszarów tematycznych powiązanych z wielkimi bazami różnych tekstów, w których każdy tekst oceniony był już ręcznie przez ludzi. I tak np. korzystano z bazy prawie 40 tysięcy tweetów z Twittera, gdzie każdy oceniony był już wcześniej przez ileś osób jako sarkastyczny lub nie. Zrobiono też użytek z bazy projektu Wikipedia Detox, gdzie wikipedyści głosowali nad tym, czy dany komentarz jest agresywny czy nie. Użyto też bazy kilkudziesięciu tysięcy wpisów z portalu Reddit otagowanych przez ekspertów jako zawierających jakieś konkretne emocje.

Badacze zadawali Chatowi GPT te same pytania, na które wcześniej odpowiedzieli już ludzie. Np. pytali, czy zacytowany przez nich tekst jest spamem albo czy zawiera sarkazm, jest humorystyczny, agresywny albo czy jest poprawny gramatycznie. Były też prośby o rozpoznanie w tekście emocji, o wnioskowanie na podstawie informacji zaszytych w tekście czy o rozwiązanie prostych matematycznych zadań "z treścią".

- We wszystkich z 25 badanych obszarów chatbot od OpenAI znacznie ustępował swojej konkurencji. Aktualnie najlepsze modele przetwarzania języka naturalnego SOTA (state-of-the-art) znacznie lepiej wychwytywały poprawność gramatyczną, emocje użytkowników, znaczenia słów, trafniej odpowiadały na pytania i rozwiązywały zadania matematyczne. Mimo to, wyniki osiągane przez ChatGPT są imponujące, biorąc pod uwagę fakt, że dla większości testowanych zadań model nie był wcześniej trenowany bezpośrednio do ich rozwiązywania - komentują naukowcy w przesłanym PAP komunikacie o badaniach.

Czytaj prasę w PDF
A dr Kocoń dodaje, że strata ChatGPT wobec innych modeli wynosiła średnio 25 punktów procentowych. Najgorzej ChatGPT radził sobie z oceną emocji i zadaniami pragmatycznymi, wymagającymi wiedzy o świecie. Lepiej - z zadaniami semantycznymi, gdzie odpowiedź na pytanie można było wyciągnąć z analizowanego tekstu.

Naukowcy zwracają uwagę, że wyspecjalizowane modele do przetwarzania języka naturalnego, które już są na rynku, są zaprojektowane do jednego celu, np. do automatycznego wychwytywania agresywnych komentarzy. Są mniejsze i szybsze, i wytrenowane na konkretnych zbiorach danych odpowiadających na potrzeby użytkowników.

ChatGPT, mimo że jego odpowiedzi były poprawne rzadziej niż innych modeli, miał też jednak inne silne strony, w których pokonywał konkurencję. Jego zaletą było choćby to, że był w stanie wyjaśnić, dlaczego udzielił takiej, a nie innej odpowiedzi. I był kreatywny w odpowiedziach - gdy zadawano mu kilka razy to samo pytanie - odpowiedzi różniły się między sobą (co niestety znaczy również, że czasem bot odpowiadał prawidłowo, a czasem - nie).

AUTOPROMOCJA. Posłuchaj historii Vanuatu Daily Post. Poznaj nasz #mediaHISTORY podcast

- Na razie więc ChatGPT nie zastąpi tych wyspecjalizowanych modeli, ale otwiera przed nami nowe możliwości, pokazuje, jak rozwijać się będzie świat - podsumowuje dr Kocoń. - Jest sporo zawodów, które ChatGPT może wyprzeć. Możliwości, jakie daje bot zmniejszą prawdopodobnie popyt na pracowników call-center. Pojawią się jednak inne zawody, których dotąd nie było - to choćby prompt-engineer - osoba specjalizująca się w układaniu dobrych poleceń dla chatbota. Ddla innych zawodów chatbot może być sporym wsparciem - przyda się np. w programowaniu, edukacji, korekcie czy tłumaczeniu tekstów.

Projekt CLARIN-PL jest największym projektem rozwoju sztucznej inteligencji finansowanym ze środków publicznych w Polsce. W jego realizację zaangażowanych jest 6 instytutów i ponad 20 firm. Większość zespołu pracuje na Politechnice Wrocławskiej. Głównym celem projektu jest opracowanie narzędzi do automatycznego przetwarzania ogromnych danych tekstowych głównie w języku polskim (ang. natural language processing - NLP).

***
artykuł pochodzi z portalu Naukawpolsce.pl
Udostępniany jest na wolnej licencji.

Udostępnij znajomym:

dodaj na Facebook prześlij przez Messenger dodaj na Twitter dodaj na LinkedIn

PRZERWA NA REKLAMĘ

Najnowsze w dziale Rynek medialny:

Clickbait pod lupą. Jak przez 25 lat zmieniały się nagłówki w internecie

Krzysztof Fiedorek
Badacze z Max Planck Institute przenalizowali 40 milionów nagłówków z ostatnich 25 lat. Są coraz dłuższe, bardziej emocjonalne i negatywne, z wyraźnym wpływem stylu clickbaitowego. Nawet renomowane media stosują strategie i tricki przyciągające uwagę.

Gen Z zmusi marki do mówienia prawdy. Raport i prognozy GWI

Krzysztof Fiedorek
Cenią autentyczność i transparentność marek, preferując firmy zaangażowane społecznie. Młodzi ludzie traktują technologię jako narzędzie rozwoju, a nie tylko rozrywki. W relacjach stawiają na prawdziwe więzi, mimo intensywnej obecności online. Co wiemy o Gen Z i jakie ta wiedza ma znaczenie w marketingu? I nie tylko w nim.

Deepfake zaciera granicę prawdy i fałszu. Wyniki badań ludzkiej percepcji

KFi
Badania wskazują, że jedynie 60% deepfake'owych obrazów może zostać prawidłowo rozpoznanych przez człowieka. W miarę jak AI zaczyna dominować w produkcji treści, rośnie problem zmęczenia rozróżnianiem – użytkownicy tracą pewność oceny autentyczności informacji i popadają w cynizm.

Podobne artykuły:

Prognozy dla rynku mediów i rozrywki. Cyfryzacja i mobile

Roksana Gowin
Globalny rynek mediów i rozrywki w najbliższych 5 latach będzie rósł w tempie 5% rocznie, osiągając w 2018 roku wartość 2,2 bln dolarów - zapowiadali w 2014 roku eksperci PwC. Polski rynek miał rosnąć w tempie 3,7% i w 2018 roku będzie warty 12,6 mld dolarów.

ChatGPT nie zna się na żartach

Ludwika Tomala
Naukowcy z Politechniki Wrocławskiej sprawdzili czy ChatGPT rozumie żarty, wychwytuje błędy językowe, sarkazm i agresję, rozpoznaje spam. Poprosili program o wykonanie ponad 38 tysięcy zadań. Na razie wypada on gorzej niż nowoczesne wyspecjalizowane w tym programy, nie mówiąc już o ludziach.

Najpiękniejsze słowa w polskim internecie. Analiza IMM

BARD
Polacy coraz chętniej powracają do staromodnych słów i lubią zabawy językowe – wynika z analizy Instytutu Monitorowania Mediów. Średnio sześćset razy miesięcznie w internecie pojawiły się najpiękniejsze słowa wybrane w plebiscycie „Mów do mnie pięknie…” ogłoszonym przez Bibliotekę Śląską w Katowicach

Tytuły i emocje w portalach informacyjnych. Analiza Sentimenti

Damian Grimling
Portale informacyjne od wiosny 2020 zostały zdominowane doniesieniami dotyczącymi epidemii koronawirusa (COVID-19). Firma Sentimenti przeprowadziła pomiar emocji, jakimi we wrześniu były nasycone tytuły publikacji zamieszczonych na głównych stronach najważniejszych polskich portali.

więcej w dziale: Rynek medialny

dołącz do nas

Facebook LinkedIn X Twitter TikTok Instagram Threads Youtube Google News Blue Sky Social RSS

Reporterzy.info - internetowy magazyn medioznawczy. Świat komunikacji od kuchni. Media, dziennikarstwo, PR i marketing. Dane, raporty, analizy, porady. Historia i rynek, prawo, fotografia, oferty pracy.


praca w mediach

Wydawca, redaktor
praca stacjonarna i online Dziennikarz, reporter
oferty mediów lokalnych, regionalnych i ogólnopolskich Grafik, Social Media, SEO, reklama
Warszawa • Białystok • Bydgoszcz • Gdańsk • Katowice • Kielce • Kraków • Lublin • Łódź • Olsztyn • Opole • Poznań • Rzeszów • Szczecin • Toruń • Wrocław • Zielona Góra • Praca zdalna Więcej

reklama

webePartnres
Dwornik.pl • szkolenia • warsztaty • marketing internetowy



Sklep reportera

Sklep reportera

Niedrogie laptopy, notebooki i netbooki
Niedrogie laptopy, notebooki i netbooki
do pisania
Cyfrowe lustrzanki i aparaty kompaktowe
Cyfrowe lustrzanki i aparaty kompaktowe
dla fotoreportera
Książki i e-booki o mediach
Książki i e-booki o mediach
do czytania
Drony wideo i latające kamery
Drony wideo i latające kamery
dla pilota
Gimbale do stabilizacji wideo
Gimbale do stabilizacji wideo
dla operatora
Oprogramowanie i aplikacje
Oprogramowanie i aplikacje
dla twórców
więcej produktów

reklama



gazety w PDF i epub

Czytaj gazety w PDF i EPUB

Okładka Dziennik Gazeta Prawna
Dziennik Gazeta Prawna
Okładka Forum
Forum
Okładka Gazeta Polska Codziennie
Gazeta Polska Codziennie
Okładka Młody Technik
Młody Technik
Okładka Rzeczpospolita
Rzeczpospolita
Okładka Wprost
Wprost
więcej e-gazet

Reporterzy.info

Dla głodnych wiedzy

Nasze serwisy

Współpraca


© Dwornik.pl Bartłomiej Dwornik 2oo1-2o25