Metodologija

Preizkus temelji na delu podatkovnega vzorca za doktorsko raziskavo Sopomenskost v Slovarju sopomenk sodobne slovenščine in izbranih različicah Wordneta, tj. seznamu 546 samostalnikov, ki se kot iztočnice pojavijo v podatkovni bazi Slovarja sopomenk sodobne slovenščine 1.0 Simon Krek et al., Thesaurus of Modern Slovene 1.0 (Repozitorij raziskovalne strukture CLARIN.SI, 2018), pridobljeno 20. 5. 2025, http://hdl.handle.net/11356/1166. (SSSS 1.0) in drugih prosto dostopnih leksikalnih virih, kot opisuje Gapsa. Magdalena Gapsa, »But why?? Evaluation of User-Suggested Synonyms in the Thesaurus of Modern Slovene,« Lang Resources & Evaluation (2025), pridobljeno 20. 5. 2025, https://doi.org/10.1007/s10579-025-09821-8. Ta nabor je bil omejen na 266 iztočnic, ki so bile ob posodobitvi SSSS 1.0 v verzijo 2.0 slovaropisno urejene, kar pomeni, da imajo v verziji 2.0 pripisano pomensko členitev, strojno pridobljeni sopomenski kandidati iz verzije 1.0 pa so bili ročno pregledani, potrjeni (oziroma odstranjeni) in razvrščeni pod identificirane pomene.

Za izbranih 266 iztočnic je bilo v prvem koraku iz baze SSSS 1.0 izluščenih skupno 1049 sopomenskih kandidatov (z morebitnimi področnimi slovarskimi oznakami). V drugem koraku so bile iz Digitalne slovarske baze Iztok Kosem, Simon Krek in Polona Gantar, »Semantic Data Should No Longer Exist in Isolation: The Digital Dictionary Database of Slovenian,« v: Zoe Gavriilidou et al., ur., EURALEX XIX: Congress of the European Association for Lexicography (Democritus University of Thrace, 2021), 81–83, pridobljeno 20. 5. 2025, https://euralex.org/wp-content/uploads/2022/04/ABS2020.pdf. izvožene pomenske členitve s pomenskimi indikatorji (tj. kratkimi opisi za ločevanje pomenov, kot pojasni Gantar Polona Gantar, Leksikografski opis slovenščine v digitalnem okolju (Ljubljana: Znanstvena založba Filozofske fakultete, 2015), pridobljeno 20. 5. 2025, https://doi.org/10.4312/9789612377922.) za izbrane iztočnice. Podatki so bili pretvorjeni v tabelo, kjer je posamezna vrstica vsebovala izvožene podatke po vzoru: iztočnica – pomenska členitev – sopomenski kandidati. Tabela je služila kot nabor vhodnih podatkov za preizkus s sistemom ChatGPT. Za preverbo uspešnosti naloge smo iz baze Slovarja sopomenk sodobne slovenščine 2.0 Simon Krek et al., Thesaurus of Modern Slovene 2.0 (Repozitorij raziskovalne strukture CLARIN.SI, 2023), pridobljeno 20. 5. 2025, http://hdl.handle.net/11356/1916. (SSSS 2.0) pridobili slovaropisno pripravljene pomensko členjene iztočnice z razvrščenimi sopomenkami.

V prvem koraku analize je bilo med 266 iztočnicami prepoznanih 20 iztočnic, kjer se pomenska členitev iz DSB ne ujema s SSSS 2.0 (npr. iztočnica bonbon ima v DSB en pomen, v SSSS 2.0 sta dva). Ti primeri so posledica dejstva, da se DSB dinamično razvija s podatki iz različnih virov, in so bili za ohranitev koherentnega zlatega standarda odstranjeni iz nadaljnje analize.

Struktura poziva za ChatGPT

Za izbrane iztočnice smo pripravili poziv za ChatGPT (Priloga 1), pri čemer smo uporabili API model GPT-4. Poziv je bil pripravljen v angleščini in je bil med razvojem postopka večkrat testiran z uporabo brezplačne verzije sistema.

Med testiranjem se je izkazalo, da ChatGPT vrne boljše rezultate, če je v poziv vključen primer želenega rezultata. Posledično smo v poziv dodali primer vhodnih podatkov, tj. večpomensko iztočnico s sopomenskimi kandidati, in želene izhodne podatke, tj. pravilno razporejene sopomenske kandidate po pomenih.

Odgovori so bili vrnjeni v formatu YAML, sledila je pretvorba v format JSON. Na podlagi teh podatkov smo za raziskovalne analize in evalvacijo ustvarili še povzemalno datoteko CSV in Excelovo datoteko z vsemi zbranimi podatki.

Slovaropisna ekipa je določala sopomenskost na podlagi korpusne analize možnosti zamenjave sopomenskih besed v sobesedilu. V poziv nismo vključili celotnih smernic, ki jim je sledila slovaropisna ekipa, saj bi s tem v postopek vnesli preveč informacij in spremenljivk, kar bi privedlo do neuporabnih in težje razložljivih rezultatov. Prav tako v poziv nismo vključili možnosti dodajanja ali spreminjanja besednih pomenov, ki jih je imela slovaropisna ekipa, saj smo želeli, da pomenska členitev ostane metodološko transparentna, rezultati pa dovolj enoznačni za analizo. Testiranja so pokazala optimalno delovanje poziva, ki je izvleček najpomembnejših navodil. Navodila, ki jih nismo vključili v poziv, navajamo ob analizi rezultatov, kadar olajšajo interpretacijo razlik med ročnim in strojnim delom.

Postopek analize gradiva

Pridobljeni podatki so bili organizirani v preglednice. Strojno pripravljene rezultate smo primerjali s slovaropisnimi rešitvami in najprej ugotovili, katere iztočnice so obravnavane povsem enako in katere vsebujejo razlike. Razlike smo nato natančneje analizirali v dveh korakih: (a) katere vrste odstopanja se pojavljajo pri odstranjevanju neustreznih sopomenskih kandidatov in kako pogosto in (b) katere vrste odstopanja se pojavljajo pri umeščanju neodstranjenega gradiva pod besedne pomene in kako pogosto.

V raziskavi rešitve slovaropisne ekipe obravnavamo kot zlati standard, kar pomeni, da odstope načeloma razumemo kot neželene. Vendar pa rezultati nakažejo, da je v določenih primerih rešitev, ki jo ponudi ChatGPT, drugačna od slovaropisne, vendar kljub temu sprejemljiva. Če bodo s ChatGPT pripravljeni podatki vključeni v slovaropisne delotoke, bo v prihodnje treba presoditi, kako v praksi obravnavati take primere skladno z izbranim slovaropisnim konceptom.

Splošna uspešnost

Pri analiziranih 246 iztočnicah je ChatGPT v 103 primerih (41,9 odstotka) podatke uredil povsem enako kot slovaropisci, v 143 primerih (58,1 odstotka) pa se je v odločitvi tako ali drugače razlikoval.

Podatke s primeri iztočnic prikazuje Tabela 1, v kateri podajamo tudi povprečno število kandidatov in slovarskih pomenov v posamezni skupini. V skupini ustrezno urejenih sopomenskih podatkov sta obe povprečji nižji, kar je skladno s pričakovanji, saj se s številom sopomenk za razvrstitev in številom besednih pomenov viša možnost za razlike v odločitvah. Povezava ni povsem enoznačna, saj se ChatGPT (lahko) razlikuje tudi pri iztočnicah z malo pomeni in sopomenkami ter uspešno uredi kompleksnejše iztočnice.

Tabela 1: Ujemanje med slovaropisci in ChatGPT s številom iztočnic, primeri in povprečnim številom sopomenskih kandidatov ter besednih pomenov na skupino Vrsta rezultata Primeri Št. iztočnic Povpr. št. kandidatov Povpr. št. pomenov Strojni rezultat enak ročnemu adolescenca, aerodinamika, agonija, alkohol, ambicija, anatomija 103 2.2 1.7 Strojni rezultat drugačen od ročnega adaptacija, anonimnost, aplikacija, arbiter, arhitektura, arhiv 143 5.1 2.4 Skupaj analiziranih 246 3,9 (vseh kandidatov: 951) 2,1 (vseh pomenov: 516) Vir: lastno delo

Natančnejša analiza je pokazala, da se med 143 iztočnicami pojavlja 107 takih, ki kažejo razlike na ravni odstranjevanja neustreznih sopomenskih kandidatov (43,5 odstotka analiziranih iztočnic), 71 takih, ki kažejo razlike na ravni razvrščanja pod pomene (28,9 odstotka), od tega pa je 35 primerov (14,2 odstotka), kjer se pojavljajo tako razlike prvega kot drugega tipa.

Razlike v odstranjevanju neustreznih sopomenskih kandidatov

Prva naloga za ChatGPT je bila odstraniti sopomenske kandidate, ki ne sodijo pod nobenega od pomenov izbrane iztočnice. V zlatem standardu je bilo na ta način odstranjenih 249 (26,2 odstotka) od 951 kandidatov. ChatGPT je odstranil le 110 kandidatov (11,6 odstotka). Rezultati so prikazani v Tabeli 2, kjer so navedeni primeri, ki jih je ChatGTP glede na zlati standard ustrezno obdržal (true negatives, TN), ustrezno odstranil (true positives, TP), neustrezno obdržal (false negatives, FN) ali neustrezno odstranil (false positives, FP). V tabeli je najprej navedena iztočnica, nato pa sopomenski kandidat, o katerem je ChatGPT presojal.

Tabela 2: Primeri in število pravilnih in napačnih odločitev pri presojanju ChatGPT, ali je sopomenski kandidat ustrezen za dano iztočnico ter pomen ali ne Primeri Vsota Ustrezno obdržanih (TN) adaptacija – preureditev, adolescenca – odraščanje, aerodinamika – aerodinamičnost, agonija – trpljenje, ambicija – želja po uspehu, anatomija – telesna zgradba 674 Ustrezno odstranjenih (TP) arbiter – posrednik, argument – razlaga, avto – vagon, birokrat – velika živina, čajnik – kavnik, cedilo – posodica za kuhinjske odpadke 82 Neustrezno obdržanih (FN) arbiter – gospodar, arhiv – arhivi, avtoriteta – premoč, dedek – babica, dražba – razpis del, električar – vzdrževalec telefonskega omrežja 167 Neustrezno odstranjenih (FP) adaptacija – predelava, anonimnost – nepoznanost, aplikacija – prekritje, atentat – umor, bife – prehranjevalnica, cenzura – predelava [tiskarstvo] 28 Skupaj 951 Vir: Lastno delo Tabela 3: prikazuje natančnost (kolikšen delež odstranjenih primerov so dejansko neustrezni sopomenski kandidati), priklic (kolikšen delež vseh neustreznih kandidatov je bil identificiran) in F1 (harmonično sredino obeh vrednosti). Natančnost Priklic F1 0.7455 0.3293 0.4568 Vir: Lastno delo

Iz rezultatov je razvidno, da je ChatGPT pri presojanju relevantnosti sopomenskih kandidatov opazno popustljivejši od zlatega standarda, čeprav so uredniška načela SSSS že izhodiščno naravnana k širšemu razumevanju sopomenskosti in odločitvi za karseda široko vključevanje kandidatov. Gantar et al., »Sopomenke 2.0 in Kolokacije 2.0: Novi koraki za slovenske odzivne slovarje,« 161. Kot smo zapisali v Razdelku 2.2, poziv za strojno obdelavo ni vseboval celotnih slovaropisnih smernic, po katerih velja, da se moške in ženske slovnične oblike ne obravnavajo kot neposredne sopomenke, ampak se uvrščajo pod spolsko ustrezne iztočnice (npr. dedek – stari oče, babica – stara mama, ne pa *dedek – babica), da se množinske oblike ne upoštevajo kot sopomenke, razen če so za to v rabi utemeljeni razlogi (*arhiv – arhivi), in da se opisne, definicijam podobne zveze obdržijo le, če se kot take pogosto pojavljajo v rabi (*dražba – razpis del). Razlike v navodilih pojasnijo del razlik. Pri morebitni uporabi ChatGPT za pohitritev ročnega dela bi bila ta odstopanja predvidljiva, hitro opazna in enostavno rešljiva.

V naboru neustrezno prepoznanih so tudi mejni primeri, ki so bili zahtevni že za slovaropisno odločitev. Pri teh bi raba ChatGPT za pohitritev ročnega dela lahko doprinesla k lažjim, morda še širše vključujočim odločitvam. Na drugi strani so problematične neprepoznane sopomenske besede, kot denimo atentat – umor, debelost – obilnost, kaos – razdejanje. Pri takšnih primerih bi bila pri morebitni rabi postopka potrebna pozornost.

Napake v razvrščanju sopomenk

Pri analizi razvrščanja sopomenk pod pomene smo ločili dve vrsti razlik: (a) ChatGPT je sopomenko umestil pod neustrezen besedni pomen in (b) ChatGPT sopomenke ni umestil pod ustrezen pomen oziroma vse ustrezne pomene glede na zlati standard. Umestitev pod neustrezen pomen smo prepoznali pri 36 iztočnicah (14,6 odstotka analiziranih iztočnic), manjkajočo umestitev pri 49 iztočnicah (19,9 odstotka), od tega je 14 (5,7 odstotka) takih, kjer se pojavljata obe vrsti problema, tj. umestitev pod neustrezen pomen in manjkajoča umestitev. V Tabeli 4 so prikazani primeri, število razlik in iztočnic ter povprečno število kandidatov in slovarskih pomenov v posamezni od skupin. Pri primerih je najprej navedena iztočnica, sledi sopomenka, o kateri je ChatGPT presojal, in pomen, pod katerega jo je ali je ni umestil. Kot smo opozorili v Razdelku 2.3, ustreznost oziroma neustreznost razumemo v razmerju do zlatega standarda, vendar se med rezultati pojavljajo tudi mejni primeri, kjer je lahko poleg slovaropisne odločitve sprejemljiva tudi odločitev ChatGPT.

Tabela 4: Primeri, število napak v iztočnicah, kjer je ChatGPT umestil sopomenko pod napačen pomen ali je ni umestil pod vse pomene. V stolpcih 3–6 je navedeno število napak, število iztočnic, povprečno število sopomenskih kandidatov in besednih pomenov za obe skupini. Vrsta rezultata Primeri Št. napak Št. iztočnic Povpr. št. kandi-datov Povpr. št. pomenov Umeščeno pod neustrezen pomen bazar – sejem [ekonomija]: pod 'orientalska tržnica' namesto 'prireditev'; hazarder – igralec na srečo: pod 'kdor rad veliko tvega' namesto 'kdor rad stavi' 55 36 6.7 2.8 Neumeščeno pod pomen bolnik – pacient: ustrezno pod 'kdor je bolan', manjka pri 'kdor je neprijeten ali krut [izraža negativen odnos]; gneča – množica: ustrezno pri 'o ljudeh', manjka pri 'o stvareh' 78 49 5.3 2.9 Skupaj 133 71 5.3 2.8 Vir: Lastno delo

Podatki v Tabeli 4 kažejo, da se razlike pri razvrščanju pojavljajo pri iztočnicah, ki so v povprečju kompleksnejše glede števila sopomenk za razvrstitev ter števila besednih pomenov. Sklepati je mogoče, da na razlike vpliva tudi abstraktnost pomenskih indikatorjev, ki so človeku morda laže razumljivi (gl. Razdelek 3.5), vendar se to ne kaže enoznačno: kot primer uspešno urejenega kompleksnega gesla lahko navedemo iztočnico jagoda s štirimi kratkimi in medsebojno podobnimi indikatorji (1. rastlina, 2. plod, 3. okrogel plod, 4. droben predmet), h katerim je sistem ustrezno razvrstil sopomenske kandidate biser, koralda, kroglica. Podobno je bilo tudi pri iztočnici telefon s šestimi indikatorji (1. naprava, 2. telekomunikacijska povezava, 3. napeljava, 4. o storitvi, 5. telefonska številka [neformalno], 6. družabna igra), kamor sta bila ustrezno razvrščena kandidata telefonska slušalka in telefonski klic.

Najtežji primeri

Med vsemi analiziranimi iztočnicami je šest takšnih, pri katerih so se pojavile težave tako na ravni odstranjevanja neustreznih kandidatov kot umeščanja sopomenskih kandidatov pod vse ustrezne pomene. Te obravnavamo kot težke primere in jih v nadaljevanju ponazarjamo v celoti, tako v slovaropisni različici kot po presoji ChatGPT. Razlike so obarvane.

Tabela 5: Prikaz obravnave najtežjih primerov z opredelitvami razlik med odločitvami Iztočnica Slovaropisno ChatGPT adaptacija 1. prenova stavbe: prilagoditev, prenova, preureditev 1. prenova stavbe: preureditev, prenova 2. priredba [v umetnosti]: predelava [glasba], priredba [glasba], preureditev [glasba], aranžma [glasba] 2. priredba [v umetnosti]: priredba [glasba], aranžma [glasba] 3. prilagoditev [ponavadi v športu]: PRAZNO 3. prilagoditev [ponavadi v športu]: prilagoditev Odstranjeni kandidati: / Odstranjeni kandidati: predelava [glasba] čarovnica 1. pravljično bitje: čarodejka, coprnica 1. pravljično bitje: čarodejka, coprnica, vračarica, vešča 2. ženska, obtožena čarovništva: vračarica 2. ženska, obtožena čarovništva: vešča, hudičevka 3. zlobna, starejša ženska [izraža negativen odnos]: vešča, babura, coprnica, hudičevka, stara baba, zlobnica 3. zlobna, starejša ženska [izraža negativen odnos]: babura, stara baba, zlobnica 4. ženska z nadnaravnimi sposobnostmi [lahko izraža negativen odnos]: čarodejka, coprnica 4. ženska z nadnaravnimi sposobnostmi [lahko izraža negativen odnos]: iluzionistka Odstranjeni kandidati: iluzionistka Odstranjeni kandidati: / gurman 1. ljubitelj hrane in pijače: sladokusec, uživač, gastronom, poznavalec hrane, epikurejec 1. ljubitelj hrane in pijače: sladokusec, uživač, bonvivan, poznavalec hrane, gastronom, epikurejec 2. poznavalec: sladokusec 2. poznavalec: bonvivan, poznavalec hrane, gastronom Odstranjeni kandidati: bonvivan Odstranjeni kandidati: / kandidat 1. za službo ali funkcijo: prosilec, aspirant, prijavljenec, interesent [ekonomija], prijavljeni 1. za službo ali funkcijo: prosilec, aspirant, prijavljenec, potencialna kandidatka, možna kandidatka, predlaganec, prijavljeni, vložnik 2. na izpitu: prijavljenec, prijavljeni, udeleženec 2. na izpitu: izpitna kandidatka, izprašanec 3. za nagrado: predlaganec, nominiranec 3. za nagrado: nominiranec, volilna agitatorka, volilni agitator Odstranjeni kandidati: potencialna kandidatka, možna kandidatka, izpitna kandidatka, vložnik, potencialni kupec [ekonomija], možni kupec [ekonomija], potencialna stranka [ekonomija], možna stranka [ekonomija], izprašanec, volilna agitatorka, volilni agitator, tekmovalec [šport], anketiranec, intervjuvanec Odstranjeni kandidati: interesent [ekonomija], potencialni kupec [ekonomija], možni kupec [ekonomija], potencialna stranka [ekonomija], možna stranka [ekonomija], udeleženec, tekmovalec [šport], anketiranec, intervjuvanec ljubezen 1. močna naklonjenost: naklonjenost, nagnjenje, posebna naklonjenost, posebno nagnjenje, eros 1. močna naklonjenost: naklonjenost, strast, nagnjenje, posebna naklonjenost, posebna nagnjenost, posebno nagnjenje, oboževanje, občudovanje, čustva 2. o intimnem odnosu: romanca, ljubezensko razmerje 2. o intimnem odnosu: ljubezensko razmerje, romanca 3. ljubljena oseba: draga, ljuba, dragi, ljubi, fant, punca 3. ljubljena oseba: draga, ljubi, dragi, ljuba, fant, punca 4. o dejavnosti: naklonjenost, strast, nagnjenje, posebna naklonjenost, posebno nagnjenje 4. o dejavnosti: PRAZNO 5. seks: strast 5. seks: eros Odstranjeni kandidati: nežnost, toplina, posebna nagnjenost, oboževanje, občudovanje, čustva Odstranjeni kandidati: nežnost, toplina urok 1. v magiji: čarovnija, prekletstvo, zakletev, zaklinjanje, zarotitev, magične besede, coprnija, zarekanje, čarovniški izrek, čarobni napev 1. v magiji: čarovnija, prekletstvo, zakletev, zarotitev, magične besede, coprnija, zaklinjanje, abrakadabra, vudu, čaranje, čarobna formula, čarovniški izrek, čarobni napev, čarobni simbol 2. o neuspehu [pogosto v športnem kontekstu]: prekletstvo 2. o neuspehu [pogosto v športnem kontekstu]: nesreča, smola, zarekanje Odstranjeni kandidati: nesreča, smola, abrakadabra, vudu, čaranje, čarobna formula, čarobni simbol, molitveni obrazec [religija] Odstranjeni kandidati: molitveni obrazec [religija] Lastno delo

Primeri pregledno prikazujejo različne težave. Kot je razvidno, so določena razhajanja lahko posledica korpusnega gradiva, na osnovi katerega se oblikujejo pomenske členitve in potrjuje sopomenska raba (npr. bonvivan, ki se v rabi najbrž pojavlja preredko, da bi ga obdržali, ali vešča v pomenu 'pravljično bitje'). Prav tako so lahko mestoma zavajajoče ubeseditve v pomenskih indikatorjih, ki jih slovaropisna ekipa lahko interpretira na podlagi preostalih podatkov v DSB, kot so na primer kolokacije, v nalogi za ChatGPT pa so bili predstavljeni brez dodatnega konteksta (denimo indikator poznavalec pri iztočnici gurman, ki je v opoziciji do 1. pomena /'ljubitelj hrane in pijače'/ in se v prenesenem pomenu ne navezuje več na hrano/pijačo, česar ChatGPT ne razbere). Nekaj je primerov, pri katerih slovaropisci upoštevajo smernice, ki ChatGPT niso bile podane (gl. 3.2), na primer pri (ne)vključevanju moško-ženskih parov (kandidat – izpitna kandidatka). Najti pa je tudi razlike, kjer so odločitve ChatGPT težko razložljive, denimo kandidat v pomenu 'za nagrado' – volilna agitatorka, volilni agitator.

Metodologija

Za preizkus smo iz DSB izbrali 116 ročno izdelanih iztočnic (63 samostalnikov, 32 pridevnikov in 21 glagolov), pri čemer je bil glavni pogoj, da so vključene tudi v Kolokacijski slovar sodobne slovenščine, Iztok Kosem et al., Kolokacijski slovar sodobne slovenščine (Ljubljana: Znanstvena založba Filozofske fakultete, 2018–), pridobljeno 20. 5. 2025, https://viri.cjvt.si/kolokacije/slv/#. saj je to pomenilo, da so vsebovale zadostno količino kontekstualnih podatkov (kolokacij in zgledov). Čeprav smo zaradi poudarka na pomenski členitvi in razlikovanju med pomeni v nabor vključili predvsem večpomenske iztočnice (55 z dvema pomenoma, 34 s tremi, 12 s štirimi, po dve s petimi in šestimi ter eno s sedmimi pomeni), smo dodali tudi deset enopomenskih.

Za vsako iztočnico smo iz baze izvozili ročno pregledane kolokacije in avtomatsko izluščene zglede (po en zgled na kolokacijo):

Za vsak pomen smo izvozili do 20 kolokacij in zgledov. Pri izbiri kolokacij smo upoštevali podatek o jakosti logDice. Pri izbiri zgleda za kolokacijo smo izbrali tistega z najvišjo oceno kakovosti dobrega zgleda v orodju GDEX, ki ga opisujejo Kosem, Husak in McCarthy. Iztok Kosem, Miloš Husak in Diana McCarthy, »GDEX for Slovene,« v: Iztok Kosem in Karmen Kosem, ur., Electronic Lexicography in the 21st Century: New Applications for New Users (Ljubljana: Trojina, Institute for Applied Slovene Studies, 2011), 150–59, pridobljeno 20. 5. 2025, http://www.trojina.si/elex2011/elex2011_proceedings.pdf. Glede na izsledke predhodnih kolokacijskih raziskav smo dali poudarek na izvozu kolokacij za pomensko bolj obvestilne skladenjske strukture: Za samostalnike smo za strukture glagol + samostalnik v tožilniku, pridevnik + samostalnik in samostalnik + samostalnik v rodilniku izvozili po pet kolokacij in zgledov, preostanek smo zapolnili s kolokacijami in zgledi iz preostalih struktur. Za glagole smo za strukturo pridevnik + samostalnik izvozili po deset kolokacij in zgledov, preostale iz drugih struktur. Za glagole smo za strukturo glagol + samostalnik izvozili po sedem kolokacij in zgledov, za strukturo prislov + glagol po pet kolokacij in zgledov, preostale iz drugih struktur.

V primerih, ko prioritetne strukture niso vsebovale dovolj kolokacij, smo jih nadomestili s kolokacijami iz drugih struktur.

Druga informacija, ki smo jo pripravili, so bile slovarske definicije, ki smo jih pridobili iz dveh virov: semantičnega slovenskega leksikona Open Slovene Wordnet 1.0 Jaka Čibej et al., Open Slovene WordNet OSWN 1.0 (Slovenian language resource repository CLARIN.SI, 2023), pridobljeno 20. 5. 2025, http://hdl.handle.net/11356/1888. in Angleško-slovenskega slovarja Bridge. Angleško-slovenski slovar Bridge (Ljubljana: Državna založba Slovenije, 2000). V obeh primerih smo pridobljene definicije še dodatno prilagodili oziroma izboljšali:

V slovenskem Wordnetu so slovenske definicije zgolj avtomatski prevod angleških definicij in so v številnih primerih kratke in slabo obvestilne, na primer humanost --> kakovost človeškosti; forma --> določen način, na katerega se nekaj izrazi. Pri obdelavi s ChatGPT-4 smo iskali daljše, celostavčne definicije. Primer pretvorbe za prevajati: Izvorna definicija: restate (words) from one language into another language. Avtomatski slovenski prevod: ponovno izraziti (besede) iz enega jezika v drugem jeziku. Izboljšana definicija: Prevajati pomeni izražati ali podajati pomen besedil ali izrazov iz enega jezika v drugega, tako da ohranjamo njihov pomen. V Angleško-slovenskem slovarju Bridge so definicije na voljo v celostavčni obliki, vendar pa vsebujejo angleške iztočnice. V tem primeru smo do definicij za naš preizkus prišli po sledečem postopku: Najprej smo angleške iztočnice avtomatsko zamenjali s slovenskimi prevodi, npr. Kar je huge, je izjemno veliko po obsegu, količini ali stopnji. --> Kar je velikanski, je izjemno po obsegu, količini ali stopnji. in Kadar nekaj browns ali is browned, postane temnejše barve. --> Kadar nekaj porjaveti ali porjaveti, postane temnejše barve. Nato smo v analizi najprej izločili neproblematične definicije, pri preostalih pa smo prepoznali pet vzorcev težav, od takih, ki so zahtevale samo popravek sklona, do takih, kjer smo morali odpraviti podvajanje iztočnice v definiciji ali celo daljši del ubeseditve. Na podlagi tega smo za odpravo napak prilagodili sistemske pozive za ChatGPT-4, tako da smo dobili izboljšane definicije, na primer Kar je velikansko, je izjemno veliko po obsegu, količini ali stopnji. in Kadar nekaj porjavi, postane temnejše barve.

Pri združitvi definicij iz dveh virov smo opazili, da definicije niso deloma prekrivne zgolj med viroma, temveč tudi znotraj posameznega vira, kot kaže primer za glagol degradirati:

SLOVENSKI WORDNET Degradirati pomeni opraviti dejanje, s katerim zmanjšamo stopnjo, rang ali vrednost nečesa, zaradi česar je to nekaj manj cenjeno ali spoštovano. Degradirati pomeni povzročiti zmanjšanje nivoja zemlje, na primer zaradi erozije. Degradirati pomeni uradno ali neformalno znižati nekoga ali nekaj v oceni, vrednosti ali ugledu, zaradi dejanskega dejanja, situacije ali presoje. Degradirati pomeni uradno prenesti nekoga na nižjo pozicijo ali mu uradno zmanjšati čin. Degradirati pomeni zmanjšati nečiji ali nečesa stopnjo ali rang, ali povzročiti, da se nekdo znajde v neprijetni ali nedostojni situaciji.

SLOVAR BRIDGE Če človek, ki ima oblast, degradira nekoga, mu podeli nižji položaj, pogosto kot znamenje kazni. Degradirati pomeni dati osebi ali stvari manj pomemben položaj ali veljavo.

Hkrati je analiza pokazala, da tudi izboljšane definicije lahko vsebujejo slovnične ali druge napake, zato smo v poziv za ChatGPT dodali navodilo, naj podane definicije po potrebi združuje in izboljša.

Za deset iztočnic definicij nismo imeli na voljo, kar se je izkazalo za koristno, saj smo tako preverili tudi delovanje ChatGPT samo s podanimi kolokacijami in zgledi.

Struktura poziva za ChatGPT

Pri pripravi poziva smo najprej opravili obsežno testiranje, pri čemer smo prišli do podobnih ugotovitev kot pri razvrščanju sopomenk pod pomene, da bolje deluje poziv v angleščini in s primerom vhodnih in želenih podatkov. Pri tem poizkusu smo že uporabili novejši model GPT-4o.

Poziv je bil razdeljen na sistemsko navodilo, ki je bilo vedno enako, je bilo pa nekoliko drugačno za vsako besedno vrsto zaradi vključenih vzorcev definicij. Primer sistemskega navodila za pridevniške iztočnice predstavlja Priloga 2.

V glavni del poziva smo potem vključili definicije, kolokacije in zglede:

Here are definitions, and collocations and their examples for the Slovenian word <iztočnica>. Collocations are numbered. Definitions come from various sources, and need to be improved, merged, and even omitted if they are referring to the same sense. Using all this data, create senses with definitions, distributing collocations and examples under senses. Provide only numbers of collocations, do not repeat the entire text of collocations and examples.DEFINITIONS:COLLOCATIONS AND EXAMPLES:

Odgovori so bili vrnjeni v formatu YAML, sledila je pretvorba v format JSON. Na podlagi teh podatkov smo za raziskovalne analize in evalvacijo ustvarili še povzemalno datoteko CSV in Excelovo datoteko z vsemi zbranimi podatki.

Analiza

Pri analizi smo preverili tri vidike podatkov, pridobljenih s ChatGPT: pokritost pomenov v Digitalni slovarski bazi, splošno ustreznost generiranih gesel in splošno ustreznost generiranih definicij.

Analizo pokritosti pomenov je opravil en slovaropisec, pri čemer je uporabil lestvico od 0 do 5 (0 – ni bil zaznan noben pomen, neuporabni podatki; 1 – zaznani redki pomeni; 2 – zaznana približno polovica pomenov; 3 – zaznana več kot polovica pomenov; 4 – zaznani skoraj vsi pomeni ali pa vsi pomeni, a nekateri le delno; 5 – zaznani vsi pomeni). Morebitne pomanjkljivosti, kot je pretirano drobljenje pomenov, prekrivnost definicij in podobno, niso bile upoštevane, zanimalo nas je samo, ali so bili vsi ročno zaznani pomeni tudi avtomatsko identificirani.

Splošno ustreznost generiranih gesel in ustreznost definicij sta ocenjevala dva slovaropisca. Pri splošni ustreznosti gesel so bila gesla ocenjena z uporabniškega vidika, torej smiselnosti, razumljivosti in dodelanosti. Pri ocenjevanju nismo upoštevali primerjav s pomensko členitvijo v DSB, saj ChatGPT ni dobil podatkov o načelih in pravilih, ki jim pri izdelavi pomenov sledijo slovaropisci. Uporabljena je bila ocenjevalna lestvica od 0 do 5:

5 – V celoti je geslo zelo informativno, definicije dobre, pomenska členitev ustrezna; možne so manjše pomanjkljivosti, npr. napačno razporejen zgled, slovnična napaka v definiciji ipd. 4 – V celoti je geslo dobro izdelano, je pa pomanjkljivo v enem ali dveh elementih, npr. neustrezne definicije pri določenih pomenih, več zgledov napačno razvrščenih, preveč pomenov. 3 – Geslo je dokaj informativno, pomenska členitev deloma neustrezna, a posreduje relevantne informacije; pomeni se delno prekrivajo, določene definicije so lahko problematične za razumevanje. 2 – Posamezni pomeni so ustrezni in smiselni, pomenska členitev je pretežno neustrezna, definicije so prekrivne, možna je neustrezna razdelitev zgledov ali ubeseditve definicij ipd. 1 – Pomenska členitev je nejasna oz. nelogična, med pomeni je težko ali nemogoče razlikovati, razporeditev zgledov je neustrezna, ubeseditve definicij so pretežno neustrezne. 0 – Geslo je povsem neustrezno, npr. ne pojasnjuje besede v iztočnici, prevladuje tuj jezik, definicije so povsem neustrezne.

Tudi pri ocenjevanju ustreznosti definicij smo uporabili lestvico od 0 do 5, pri čemer nismo upoštevali morebitnih nezaznanih pomenov, napačno umeščenih zgledov ali soodvisnosti z indikatorji. Uporabljena lestvica:

5 – Definicije so dokaj dobro ubesedene in pomeni jasno razločeni (manjše napake toleriramo). 4 – Ubeseditve definicij so lahko problematične ali pa so pomensko prekrivne. 3 – Nekatere definicije so slabo ubesedene, prihaja tudi do pomenske prekrivnosti. 2 – Večina ali vse definicije so slabo ubesedene, nekateri ali vsi pomeni so prekrivni in slabo razlikovalni. 1 – Večina ali vse definicije so slabo ubesedene, niso razlagalne, pa tudi med njimi je slaba razlikovalnost. 0 – Definicije pojasnjujejo napačne pomene ali iztočnice.

Rezultati

Analiza pokritosti generiranih pomenov v Digitalni slovarski bazi (Tabela 6) je pokazala zmerno dobre rezultate, pri čemer je bila pri več kot 93 odstotkih iztočnic zaznana polovica ali več pomenov, od tega so bili pri 57 odstotkih iztočnic zaznani vsi pomeni. V primeru dveh iztočnic (bakren, padalski) z oceno 0 je šlo za jasno napako modela, ki je ponudil podatke za povsem napačno iztočnico.

Tabela 6: Pokritost pomenov v Digitalni slovarski bazi Ocena  Število iztočnic  Odstotek  5 – zaznani vsi pomeni  66  57  4  21  18  3  21  18  2  5  4  1  1  1  0 – zaznan ni noben pomen  2  2  Vir: Lastno delo

Rezultati ocenjevanja splošne ustreznosti gesel, generiranih s ChatGPT, ki so prikazani v Tabeli 7, kažejo precejšnjo uporabnost modela, saj je skoraj 80 odstotkov gesel dobilo povprečno oceno 3,5 ali več in 19 odstotkov najvišjo oceno obeh ocenjevalcev. Izračun strinjanja ocenjevalcev sicer kaže na relativno nizko ujemanje (Krippendorff's Alpha Gabriele Marzi, Marco Balzano Marco in Davide Marchiori, »K-Alpha Calculator – Krippendorff's Alpha Calculator: A User-Friendly Tool for Computing Krippendorff's Alpha Inter-Rater Reliability Coefficient,« MethodsX 12 (2024), 102545, pridobljeno 20. 5. 2025, https://doi.org/10.1016/j.mex.2023.102545. (Ordinal Scale): 0.497, Bootstrap Confidence Interval (95% CI): [0.328, 0.631]), vendar pa je pri šeststopenjski lestvici in številnih elementih ocenjevanja to pričakovano.

Tabela 7: Splošna ustreznost gesel, generiranih s ChatGPT Povprečna ocena  Število iztočnic  Odstotek  5  22  19  4,5  24  20,7  4  24  20,7  3,5  22  19  3  6  5,2  2,5  7  6  2  8  6,9  1  1  0,8  0  2  1,7  Vir: Lastno delo

Primeri gesla s povprečno oceno 5:

bičati

o fizičnem udarjanju z bičem; Kadar kdo biča nekoga, ga večkrat udari z bičem, šibo ali palico, da mu povzroči bolečino ali poškodbo. o kritiziranju ali obsodbi; Kadar kdo biča napake, grehe ali oblast, ostro kritizira in obsoja ti dve ali osebe. o udarjanju vremena ali naravnih elementov; Ko naravni elementi, kot sta veter in dež, bičajo nekaj, to pomeni, da silovito udarjajo nanj.

Primer gesla s povprečno oceno 3:

vešč

Oseba ali način izvedbe, ki obvlada znanje ali spretnosti; Kdor je vešč česa, ima znanje in sposobnosti, ki mu omogočajo, da nekaj dela dobro. Oseba, ki je seznanjena s čim ali ima potrebna sredstva. Če si vešč nečesa, si s tem seznanjen ali imaš potrebna sredstva, znanje ali pooblastila za uspešno izvedbo določenega dejanja.

Primer gesla s povprečno oceno 2:

zatrjevati

dati vtis ali trditi brez dejanske osnove; Ko kdo zatrjuje nekaj, daje vtis, da ima določene lastnosti ali trdi nekaj, kar je pogosto na neprepričljiv ali neresničen način. formalno predstaviti argumente ali trditve v pravnem kontekstu; Ko kdo v pravnem kontekstu zatrjuje nekaj, formalno predstavi svoje argumente ali trditve pred sodiščem ali v uradnih dokumentih. jasno trditi ali potrjevati nekaj; Ko kdo zatrjuje, potrjuje ali jasno izraža neko trditev ali prepričanje, pogosto z namenom, da prepriča druge, da je to resnica. potrditi brez dvoma; Ko nekdo zatrjuje nekaj, to pomeni, da to izjavi z gotovostjo in brez dvoma, pogosto kot dejstvo. zagotoviti ali izjaviti nasprotje nečesa drugega; Ko kdo zatrjuje nasprotno, trdi nekaj, kar je v nasprotju z obstoječimi informacijami ali prepričanji.

Uporabnost modela pri generiranju definicij potrjujejo tudi rezultati analize splošne ustreznosti generiranih definicij, ki je podana v Tabeli 8. Kot lahko vidimo, je skoraj 90 odstotkov gesel za ustreznost definicij dobilo povprečno oceno 3 ali več. Strinjanje ocenjevalcev je bilo tokrat še nekoliko nižje kot pri ocenjevanju splošne ustreznosti gesel (Krippendorff's Alpha (Ordinal Scale): 0.395, Bootstrap Confidence Interval (95 % CI): [0.226, 0.547]).

Tabela 8: Splošna ustreznost definicij, generiranih s ChatGPT Povprečna ocena  Število iztočnic  Odstotek  5  12  10,4  4,5  28  24,1  4  26  22,4  3,5  19  16,4  3  18  15,5  2,5  5  4,3  2  3  2,6  1,5  3  2,6  0  2  1,7  Vir: Lastno delo

Problemi generiranih podatkov

Pri analizi smo opazili nekatere ponavljajoče probleme v generiranih podatkih. Med najbolj opaznimi je težnja ChatGPT k pretiranemu drobljenju pomenov. Vendar pa statistični podatki kažejo nekoliko drugačno sliko, saj je samo pri 25 odstotkih iztočnic (29) ChatGPT zgeneriral več pomenov, kot jih najdemo v DSB (pri tem je zanimiv podatek, da je med njimi kar osem od desetih iztočnic v DSB enopomenskih). Podrobnejša analiza je namreč pokazala, da so bili pri številnih iztočnicah, tudi ko je ChatGPT generiral enako število ali manj pomenov, kot jih je v DSB, generirani pomeni prekrivni ali skoraj identični (pri čemer so lahko nekateri drugi pomeni manjkali), kot denimo pri iztočnici civilist, kjer je ChatGPT zgeneriral sledeča pomena:

človek, ki ni vojak; Civilist je človek, ki ni član oboroženih sil. oseba zunaj vojske; Civilist je oseba, ki ne pripada vojaškim silam in ne sodeluje v vojaških dejavnostih.

V drugih primerih je bila pomenska členitev prepodrobna, na primer definicije so pojasnjevale posamezno kolokacijo oziroma njihovo rabo. Dober primer tega je pridevnik kamelji, ki ima v DSB štiri pomene, ChatGPT pa jih je zgeneriral kar deset (Tabela 9).

Tabela 9: Pomenska členitev za kamelji, kot jo je generiral ChatGPT Št. pomena Generirani pomenski indikator Generirana slovarska definicija 1 o barvi ali odtenku; Barva ali odtenek, ki je kamelji, je podobna barvi kamelje dlake. 2 o dlaki ali volni; Kar je kamelje, je narejeno iz dlake kamele ali jih kako drugače vključuje. 3 o festivalih ali dirkah; Dogodek, ki je kamelji, vključuje kamelje dirke ali festivale, povezane s kamelami. 4 o glavi ali kosteh; Predmeti, ki so kamelji, so narejeni iz delov telesa kamele, kot so glave ali kosti. 5 o hrani in pijači; Kadar je hrana ali pijača kamelja, je narejena iz kameljih sestavin ali se nanaša na kamele. 6 o hrbtih; Kar je kamelje, se nanaša na hrbte kamel in njihov specifičen videz. 7 o mladih ali drugih lastnikih; Kar je kamelje, se nanaša na mlade kamele ali ljudi, ki skrbijo za kamele. 8 o prevozu in potovanjih; Prevoz, ki je kamelji, vključuje uporabo kamel kot prevozno sredstvo ali se nanaša na relacije povezane z njimi. 9 o trgovini ali sejmu; Kadar je nekaj kamelje, je povezano z dejavnostmi, povezanimi s prodajo kamel. 10 o usnju ali koži; Kar je kamelje, je narejeno iz usnja ali kože kamele. Vir: Lastno delo

Druga pogosta težava so bili neprepoznani pomeni, med katerimi gre pogosto za preneseno rabo. Na primer pri deževati je ChatGPT zaznal pomen 'vremenski pojav' in pomen 'padanje predmetov', ne pa tudi pomena 'nenadna pojavitev velike količine česa' (na primer Pritožbe in grožnje zdaj dežujejo z vseh strani.).

Kot pogosta težava se je izkazala tudi umestitev zgledov pod pomene, kar je bilo v številnih primerih posledica (hkratne) neustreznosti pomenske členitve oziroma prekrivnosti generiranih pomenov. Tu smo prepoznali tako umestitev zgledov pod napačne pomene kot tudi podvajanje pri umeščanju, tj. umestitev istega zgleda pod več kot en pomen.

Čeprav je bila ubeseditev definicij glede na navodila Gantar, Leksikografski opis slovenščine v digitalnem okolju.Ustreznost definicij smo ocenjevali skladno s slovarskimi navodili, ki smo jih oblikovali pri izdelavi LBS, in sicer smo definicije opredelili ločeno za posamezno besedno vrsto, pri čemer smo za glagolske pomene preferirali navedbo stavčne definicije, ki naj vključuje vse ključne skladenjsko-pomenske elemente posameznega pomena, tj. udeležence in okoliščine kot tudi konotativne in pragmatične pomenske elemente. celostno gledano precej ustrezna, pa smo vseeno zaznali kar nekaj primerov problematične ubeseditve. Po eni strani take definicije niso sledile vzorcem iz sistemskih navodil, bile so tudi predolge ali zelo kratke. Nekatere so vsebovale slovnične ali skladenjske napake. Naleteli smo tudi na nekaj primerov neustreznih oziroma napačnih definicij, na primer za pomen samostalnika kajak: Ko govorimo o izposoji ali najemu kajakov, mislimo na možnost, da plovilo najdemo za določeno obdobje proti plačilu.

Med redkejšimi težavami smo zaznali uporabo angleških indikatorjev in generiranje povsem napačne definicije (za neko drugo iztočnico).

Problemi vhodnih podatkov

Analiza rezultatov je pokazala tudi nekatere pomanjkljivosti vhodnih podatkov, ki so lahko privedli do slabših rezultatov pri pomenskem členjenju (oblikovanju definicij, razporeditvi kolokacij in zgledov ipd.). Predvsem gre tu za pomensko ustreznost in kakovost avtomatsko pridobljenih zgledov. Na primer, pri večpomenskih kolokacijah, ki se potrjujejo z zgledi, se lahko zgodi, da jih večina potrjuje samo določen pomen. Za drugi pomen, ki mu pripada enaka kolokacija, pa zgledov ni ali pa jih je malo. Primer tega je samostalnik agonija in večpomenska raba številnih kolokacij (huda agonija, mučna agonija, podaljšati agonijo ipd.), pri čemer smo za kar 33 zgledov kolokacij pri pomenu ' umiranja ' ugotovili, da spadajo v pomen 'težavnega obdobja' (na primer Obljube se niso izpolnile, letališče pa je zapadlo v še hujšo agonijo.). To je pomenilo, da je imel model za pomen 'umiranja' na voljo zelo malo zgledov. Povezana težava je slaba kakovost nekaterih zgledov, predvsem smo zaznali težavo pomanjkljivega konteksta ali referenta, na katerega se definicija nanaša. Nekaj primerov:

1. Sodeč po fotografijah, ki jih prejemamo v uredništvu, so že lepo košati. 2. Nekatere so čisto benigne, nekatere pa ogrožajo celo človeška življenja. 3. Označujeta jo izviren izraz in bogata barvitost. 4. So tudi raj za prave gurmane.

Ena od pomanjkljivosti, ki je vplivala na število zaznanih pomenov pri sicer le nekaj iztočnicah, je bila zastopanost pomenov v vhodnih podatkih. V nekaterih primerih namreč pomen v DSB še ni imel pripisanih kolokacij (mogoče so bili v bazi samo zgledi), zato ga tudi ni bilo mogoče vključiti v vhodne podatke za ChatGPT.

Glede definicij, ki smo jih kot vhodne podatke vzeli iz slovenskega Wordneta in slovarja Bridge, lahko rečemo, da so bile ne glede na morebitno prekrivnost in deloma slabšo kakovost pogosto v pomoč, saj jih je v številnih primerih ChatGPT uporabil dobesedno. Pri iztočnicah, za katere nismo imeli na voljo definicij, nismo opazili izstopajočih značilnosti, saj so bila generirana gesla različnih ocen splošne ustreznosti, je pa mogoče pomenljiv podatek, da sta bila med njimi obe problematični iztočnici s popolnoma napačnimi podatki (bakren in padalski).