Zgledi za pripravo testa

Pri da/ne testu (angl. yes/no test) se testirani za besede v tujem jeziku, ki so jim predstavljene brez konteksta, odločajo, ali jih poznajo ali ne. Tak test je mogoče enostavno izvesti, zlasti če je pripravljen v digitalni obliki, in tudi hitro rešiti. Neposredna zgleda za pripravo da/ne testa za slovenščino sta bila test V_YesNo Paul Meara in Imma Miralpeix, »V_YesNo v1.0« v: Tools for Researching Vocabulary (Bristol, Blue Ridge Summit: Multilingual Matters, 2016), 113–33, pridobljeno 9. 3. 2024, https://doi.org/10.21832/9781783096473. za angleščino in test obsega slovarja za grščino, kot sta ga pripravila Milton in Alexiou. James Milton in Thomaï Alexiou, »Developing a vocabulary size test in Greek as a foreign language,« v: Angeliki Psaltou - Joycey in Marina Mattheoudakis, ur., Advances in Research on Language Acquisition (Thessaloniki: Greek Applied Linguistcs Association, 2010), 307–18. Oba izhajata iz testov, ki jih je Meara s sodelavci razvil kot alternativo klasičnim uvrstitvenim testom na tečajih angleščine. Paul Meara in Barbara Buxton, »An alternative to multiple choice vocabulary tests,« Language Testing 4, št. 2 (1987): 142–54, pridobljeno 22. 2. 2025, https://doi.org/10.1177/026553228700400202. Meara in Jones, »Vocabulary Size as a Placement Indicator.«

V_YesNo je digitalni test, Test je dostopen na V_YesNo v1.1, https://www.lognostics.co.uk/tools/V_YesNo/V_YesNo.htm. ki preverja poznavanje 10.000 najpogostejših besed v angleščini. Test obsega 100 v angleščini obstoječih besed (po 10 besed za vsakih 1000) in 100 v angleščini neobstoječih besed (nebesed), kar naj bi preprečevalo goljufanje oziroma kaznovalo ugibanje. Testiranemu se besede in nebesede prikazujejo posamično, ob koncu testa pa se izpiše rezultat, ki je ocena, koliko besed testirani pozna. Doseči je mogoče največ 10.000 točk. Če testirani označi, da pozna nebesedo, se njegov končni rezultat zniža, odbitek točk pa je odvisen od tega, kako testirani odgovarja na vprašanja s pravimi besedami. Testirani, ki pravilno prepoznajo večino pravih besed, so za posamezno napačno prepoznavo nebesede kaznovani blažje, medtem ko so tisti, ki pravilno prepoznajo le nekaj pravih besed, za napačno prepoznavo nebesed kaznovani strožje. Meara in Miralpeix, »V_YesNo v1.0.«

Da/ne test, s katerim sta Milton in Alexiou želela oceniti obseg besedišča pri učencih grščine, je podoben testu V_YesNo. Besede zajema izmed prvih 5000 najpogostejših lem v grškem nacionalnem korpusu (Hellenic National Corpus), in sicer po 20 za vsakih 1000 besed, skupaj 100, tem pa je dodanih še 20 v grščini neobstoječih besed. Besede so testiranemu na papirju predstavljene v seznamu, brez besedilnega konteksta, odločiti pa se mora, ali jo »pozna ali zna uporabiti«. Milton in Alexiou, »Developing a vocabulary size test in Greek as a foreign language,« 318. Če testirani označi, da obstoječo besedo pozna, se njegov odgovor točkuje s 50 točkami, najvišje število točk je 5000. Če pa testirani označi, da pozna nebesedo, se od končnega rezultata za vsak tak odgovor odšteje 250 točk, izgubi lahko torej največ 5000 točk. Končno število točk naj bi predstavljalo oceno, kolikšen je obseg besedišča pri testiranem.

Priprava testa

Pri pripravi da/ne testa za slovenščino smo sledili načelom omenjenih testov. Besede so bile zajete iz Referenčnega seznama pogostih splošnih besed za slovenščino. Senja Pollak et al., Reference List of Slovene Frequent Common Words, Slovenian language resource repository CLARIN.SI, 2020, http://hdl.handle.net/11356/1346. V tem seznamu, ki je nastal s prekrivanjem najpogostejših lem iz štirih slovenskih besedilnih korpusov (Kres, GOS, Janes, Šolar 2.0), je zbranih 4768 pogostih splošnih lem. Špela Arhar Holdt et al., »Referenčni seznam pogostih splošnih besed za slovenščino,« v: Darja Fišer in Tomaž Erjavec, ur., Jezikovne tehnologije in digitalna humanistika: zbornik konference (Ljubljana: Inštitut za novejšo zgodovino, 2020), 10–15, pridobljeno 13. 5. 2021, http://nl.ijs.si/jtdh20/pdf/JT-DH_2020_Arhar-Holdt-et-al_Referencni-seznam-pogostih-splosnih-besed-za-slovenscino.pdf. Za pripravo testa je bilo upoštevanih prvih 4000 lem, saj zadnja tisočica lem v seznamu ni popolna. V želji po kar najbolj enakomernem izboru je bila izmed vsakih zaporednih 50 lem naključno izbrana ena. Za vsakih zaporednih 1000 lem je bilo naključno izbranih 20 lem, skupaj 80. Pri preverjanju izbora so bile leme, ki lahko pripadajo različnim besednim vrstam (npr. raven, ki je lahko samostalnik ali pridevnik), nadomeščene z drugimi iz istega frekvenčnega razreda. Pri izboru se nismo omejevali, temveč smo vključili tudi besedne vrste, ki v nekaterih testih besedišča niso prisotne (npr. veznik kajti, prislovi tako, večinoma in podobno, ki so v izboru za prvih 1000 najpogostejših splošnih besed). Poleg izbranih besed so bile v test vključene tudi v slovenščini neobstoječe besede (npr. posminati, čembrita, izpontivanje, deptanjski), ki delujejo kot slovenske in bi lahko pripadale različnim besednim vrstam. Pri oblikovanju nebesed smo upoštevali strukturo slovenskega zloga, vanje smo vključili tipična obrazila in končnice. Razmerje med besedami in nebesedami je bilo enako kot v testu, ki sta ga zasnovala Milton in Alexiou – 5 : 1. Z izbranimi 80 obstoječimi besedami in 16 nebesedami test vsebuje 96 vprašanj, v katerih so besede zapisane v osnovni obliki.

Oblika testa

Zaradi enostavnejše izvedbe testiranja, zbiranja in analize odgovorov smo se odločili za digitalno obliko testa. Pri prvi izvedbi testa med udeleženci MPŠ je bilo uporabljeno orodje Socrative, ki ni omogočalo zbiranja dodatnih podatkov, zato je bila pri drugi izvedbi izbrana platforma 1ka. 1KA | Spletne ankete, https://1ka.arnes.si/.

Test je sestavljal uvodni nagovor, ki je testiranim pojasnil namen testiranja, sledilo je vprašanje o strinjanju z zbiranjem osebnih podatkov, ki so bili potrebni za identifikacijo oseb, sodelujočih v dveh ponovitvah testa, zatem se je testiranim pokazalo navodilo za reševanje testa: kako bodo vprašanja strukturirana, kdaj naj izberejo gumb Ja in kdaj Ne. V navodilu so bili testiranci opozorjeni, da bodo videli v slovenščini neobstoječe besede, naj ne ugibajo in ne uporabljajo pomoči. Sledilo je 96 vprašanj, pri vsakem se je testiranemu prikazalo enako navodilo (Slika 1). Ker smo želeli rezultate primerjati s testiranjem na MPŠ 2022 (Klemen, »Test poznavanja splošnih besed«), v test ni bil dodan dodaten gumb Ne vem ali Nisem prepričan/a, s katerim bi bilo mogoče znižati stopnjo ugibanja pri odgovarjanju. Xian Zhang, »The I Don’t Know Option in the Vocabulary Size Test,« TESOL Quarterly 47, št. 4 (2013): 790–811, pridobljeno 2. 5. 2024, https://doi.org/10.1002/tesq.98. Vsi nagovori, navodila in vprašanja so bili napisani v slovenščini in angleščini.

Prikaz vprašanja v da/ne testu na računalniškem zaslonu Vir: lastno delo

Zaradi omejitev orodja 1ka vprašanj ni bilo mogoče prikazovati popolnoma naključno. Določena mera naključnosti je bila dosežena z uporabo treh različnih razporeditev vprašanj, pri čemer so bile besede iz različnih frekvenčnih razredov pomešane med seboj, kot v zvezi z motivacijo za reševanje pri enem od testov besedišča priporoča Nation. Paul Nation, »The Vocabulary Size Test,« 2012, pridobljeno 21. 2. 2024, https://www.wgtn.ac.nz/lals/resources/paul-nations-resources/vocabulary-tests/the-vocabulary-size-test/Vocabulary-Size-Test-information-and-specifications.pdf. Pri tem smo upoštevali, 1) da se test začne in konča z v slovenščini obstoječo besedo, 2) da so besede iz različnih frekvenčnih razredov razporejene po celotnem testu, 3) da se zaporedno ne pojavita besedi iz istega frekvenčnega razreda in 4) da sta med dvema nebesedama vedno vsaj dve obstoječi besedi. Testiranemu se je naključno prikazala ena od treh razporeditev vprašanj.

Točkovanje

Pri da/ne testu je bilo za vsak odgovor Ja pri obstoječih besedah pripisanih 50 točk. Vsaka lema v da/ne testu namreč predstavlja 50 lem, in če testirani odgovori, da jo pozna, predvidevamo, da pozna tudi preostale v njeni frekvenčni okolici. Philip Durrant et al., Research Methods in Vocabulary Studies (John Benjamins Publishing Company: 2022), 157, 158. Vsak odgovor, da testirani besede ne pozna (Ne), je dobil 0 točk. Vsaka napačna prepoznava nebesede je bila kaznovana z –250 točkami. Testirani je lahko torej s pravilnimi odgovori zbral največ 4000 točk, z napačno prepoznavo nebesed pa jih je lahko enako število izgubil.

Izračunano je bilo skupno število točk za vsakih tisoč besed oziroma vsak frekvenčni razred, skupno število točk za prave besede (v nadaljevanju skupno število točk), skupno število točk za nebesede in skupno korigirano število točk (od točk za obstoječe besede so bile odštete točke za nebesede, ki so bile prepoznane kot obstoječe besede; v nadaljevanju korigirane točke). Morebitni manjkajoči odgovori niso bili upoštevani, zanje točke niso bile prištete ali odštete.

Zgled za pripravo testa

Pri pripravi testa receptivnega besedišča, torej besedišča, ki ga govorci SDTJ prepoznajo in razumejo, ne znajo pa ga nujno tudi uporabljati, Prim. I. S. P. Nation, Learning Vocabulary in Another Language (Cambridge, Cambridge University Press: 2022), 52–55. smo izhajali iz testa Vocabulary Levels Test (VLT), ki ga je za angleščino kot tuji jezik razvil Nation, Nation, »Testing and Teaching Vocabulary.« kasneje pa so ga dopolnjevali in posodabljali. Norbert Schmitt, Diane Schmitt in Caroline Clapham, »Developing and Exploring the Behaviour of Two New Versions of the Vocabulary Levels Test,« Language Testing 18, št. 1 (2001): 55–88. Stuart Webb, Yosuke Sasao in Oliver Ballance, »The Updated Vocabulary Levels Test,« ITL – International Journal of Applied Linguistics 168, št. 1 (2017): 33–69, pridobljeno 13. 5. 2021, https://doi.org/10.1075/itl.168.1.02web. Gre za test, s katerim se preverja poznavanje receptivnega besedišča, in sicer samostalnikov, glagolov in pridevnikov iz različnih frekvenčnih razredov. Prve različice VLT Nation, »Testing and Teaching Vocabulary.« Schmitt, Schmitt in Clapham, »Developing and Exploring.« preverjajo poznavanje besed izmed najpogostejših 2000, 3000, 5000 in 10.000 besednih družin v angleščini in posebej iz nabora akademskega besedišča; verzija, ki jo je pripravil Webb s sodelavci, Webb, Sasao in Ballance, »The Updated Vocabulary Levels Test.« pa izmed 1000, 2000, 3000, 4000 in 5000 besednih družin.

Vsako vprašanje sestavlja šest besed v osnovni obliki in tri definicije, testirani pa mora povezati besedo in ustrezno definicijo. V prvotni različici Nation, »Testing and Teaching Vocabulary.« je bilo za vsak frekvenčni razred šest vprašanj, torej 18 testiranih besed in 18 besed, ki so bile distraktorji. V različicah, ki so jih pripravili Schmitt s sodelavci Schmitt, Schmitt in Clapham, »Developing and Exploring.« in Webb s sodelavci, Webb, Sasao in Ballance, »The Updated Vocabulary Levels Test.« pa je bilo po deset vprašanj. VLT je bil zamišljen kot diagnostično orodje, ki naj bi testiranega usmerjalo, katero besedišče naj se uči – besedišče tistega frekvenčnega razreda, pri katerem je dosegel slabši rezultat, Nation, »Testing and Teaching Vocabulary,« 15. uporablja pa se tudi za oceno obsega slovarja govorcev angleščine kot tujega jezika. Read, Assessing Vocabulary, 118.

Priprava testa

Za testiranje je bila pripravljena slovenska različica VLT, v tem besedilu imenovana pilotni test besedišča po frekvenčnih razredih oziroma piTeBeFRa. Namen ni bil, kot pri VLT, oceniti, koliko besed testirani poznajo v posameznem frekvenčnem razredu, temveč smo želeli preveriti skladnost odgovorov testiranih v da/ne testu in piTeBeFRa. Zato ni bil pripravljen »popoln« test, ki bi zajemal enako število besed iz posameznih frekvenčnih razredov, temveč so bile vanj vključene le besede, že prisotne v da/ne testu. Ker smo izhajali iz seznama pogostih splošnih besed za slovenščino, Pollak et al., Reference List. je bila kot enota uporabljena lema in ne besedna družina Za argumente o izboru najprimernejše enote za test gl. npr. Durrant et al., Research Methods in Vocabulary Studies, 158, 159. kot v prej omenjenih različicah VLT.

Izmed 80 slovenskih besed, vključenih v da/ne test, je bilo za piTeBeFRa izbranih 42 besed: 30 samostalnikov, devet glagolov in trije pridevniki. Razmerje med njimi je torej 10 : 3 : 1, kar odstopa od razmerja, uporabljenega v VLT (5 : 2 : 1), ki naj bi odražalo razmerje med temi besednimi vrstami v angleščini (Webb, Sasao in Ballance, »The Updated Vocabulary Levels Test,« 34). Če bi želeli slediti razmerju med temi besednimi vrstami v slovenščini, bi bilo to glede na Referenčni seznam pogostih splošnih besed za slovenščino (Pollak idr., Reference List) približno 2 : 1 : 1. Vsako vprašanje je vsebovalo tri besede iste besedne vrste iz istega frekvenčnega razreda (npr. vodja, značilnost, dvorana) ter tri distraktorje, ki so bili prav tako besede iste besedne vrste in se v Referenčnem seznamu pogostih splošnih besed pojavljajo do deset mest višje ali nižje ob posamezni besedi (npr. vojak, storitev, sorodnik), torej s podobno pogostostjo kot testirane besede. Pri izbiri besed smo upoštevali, da so bile pomensko dovolj različne, da so lahko testirani izbrali ustrezne odgovore. Nation, »Testing and Teaching Vocabulary,« 15. Webb, Sasao in Ballance, »The Updated Vocabulary Levels Test,« 36. Za testirane besede so bile oblikovane definicije. V čim večji meri smo se želeli izogniti temu, da bi piTeBeFRa preverjal tudi razumevanje definicij, zato smo jih pripravili tako, da so bile 1) čim krajše, da testiranim ni bilo treba veliko brati; 2) kadar je bilo mogoče, sestavljene iz besed na ravni A1 Matej Klemen, Špela Arhar Holdt in Senja Pollak, Core Vocabulary for Slovenian as L2 1.0, Slovenian Language Resource Repository CLARIN.SI, 2022, pridobljeno 18. 11. 2022, http://hdl.handle.net/11356/1697. (npr. črn – temne barve) ali iz transparentnih besed (npr. obzorje – horizont); Želeli smo uporabiti čim bolj enostavno in čim večjemu številu govorcev SDTJ znano besedišče. V definicijah nismo sledili načelu Nationa (»Testing and Teaching Vocabulary,« 15), da bi besede razlagali z besedami iz višjih frekvenčnih razredov (da bi bile npr. definicije besed, ki sodijo v tretjo tisočico, sestavljene z besedami, ki sodijo v prvo in drugo tisočico). 3) oblikovane tako, da so se izogibale uporabi besede z istim korenom (npr. bolnik – oseba, ki je bolna – oseba, ki ni zdrava), kar bi lahko omogočalo večje ugibanje pri odgovarjanju. Prim. Schmitt, Schmitt in Clapham, »Developing and Exploring,« 59. Definicije so razlagale pomen, naveden kot prvi v Slovarju slovenskega knjižnega jezika, pri čemer pa tega pomena niso nujno opisovale v celoti ali natančno (npr. frizura – lasje). Skupno je bilo pripravljenih 14 vprašanj: po tri za frekvenčna razreda 0–1000 in 3001–4000 ter po štiri za frekvenčna razreda 1001–2000 in 2001–3000.

Oblika testa

Test je bil prav tako naložen v orodje 1ka in izveden skupaj z drugo ponovitvijo da/ne testa. Ker je PiTeBeFRa sledil da/ne testu, se uvodne informacije niso ponavljale, temveč se je testiranim prikazala stran z navodilom za reševanje testa, ki je pojasnjevalo strukturo vprašanj in vključevalo grafični primer rešenega vprašanja. Testirane smo prosili, naj ne uporabljajo pomoči. Sledilo je 14 vprašanj, pri vsakem se je testiranemu prikazalo enako navodilo. Vsi nagovori, navodila in vprašanja so bili v slovenščini in angleščini.

V starejših različicah VLT so bila vprašanja oblikovana tako, da so bile besede in definicije postavljene v dva stolpca: v levem je bilo naštetih šest besed, v desnem pa tri definicije. Webb in sodelavci so obliko vprašanj spremenili, »da bi bila za testirane preglednejša«. Webb, Sasao in Ballance, »The Updated Vocabulary Levels Test,« 37. Vprašanja so oblikovali tabelarno: besede so prikazali v prvi vrstici, definicije pa navpično v prvem stolpcu. Njihovi postavitvi smo sledili tudi pri pripravi piTeBeFRa (Slika 2). Vprašanja v tem testu se niso prikazovala naključno, temveč glede na frekvenčne razrede od najbolj do manj frekventnih besed.

Prikaz vprašanja v piTeBeFRa na računalniškem zaslonu Vir: lastno delo

Točkovanje

Pri piTeBeFRa je bila testiranemu za vsako ustrezno povezano besedo in definicijo dodeljena ena točka, nato pa je bilo izračunano število doseženih točk. Pri napačnih odgovorih se točke niso odštevale, manjkajoči odgovori niso bili upoštevani.

Razlogi za izvedbo testiranja

Prva izvedba je bila omejena na majhno, starostno sorazmerno homogeno skupino testiranih. V drugi izvedbi smo zato želeli preveriti, kako test deluje pri drugačni publiki, in sicer pri odraslih učečih se SDTJ. Želeli smo si starostno in glede prvega jezika testiranih raznoliko skupino.

Vsi testirani na MPŠ so imeli vsaj nekaj predznanja slovenščine, zato nas je pri drugi izvedbi zanimalo, kako da/ne test deluje pri popolnih začetnikih. Poleg tega smo želeli preveriti, kako so rezultati da/ne testa povezani z jezikovnim znanjem testiranih po Skupnem evropskem jezikovnem okviru (SEJO) Svet Evrope, Skupni evropski jezikovni okvir: učenje, poučevanje, ocenjevanje (Ljubljana: Ministrstvo RS za šolstvo in šport, Urad za razvoj šolstva, 2011). in kako so povezani z njihovim prvim jezikom.

Ker da/ne test meri le prepoznavo besed, ne pa tudi poznavanja njihovega pomena, in ker lahko taki testi precenjujejo znanje testiranih, Gl. Durrant et al., Research Methods in Vocabulary Studies, 178. smo želeli preveriti, ali testirani poznajo pomen besed, vključenih v da/ne test. Zato je bil ob drugi izvedbi pilotno preizkušen tudi test besedišča po frekvenčnih razredih piTeBeFRa.

Zanimalo nas je, ali je da/ne test uporaben za spremljanje napredka učečih se slovenščine pri poznavanju besedišča v daljšem časovnem obdobju. V prvi izvedbi testa na MPŠ po 40-urnem tečaju in dveh tednih učenja slovenščine nismo zaznali statistično značilnega napredka v vseh postavkah (skupne točke, korigirane točke in rezultati za vse frekvenčne razrede), zato smo se pri drugi izvedbi odločili za testiranje na daljših tečajih (drugo ponovitev smo izvedli na vsaj 80-urnih tečajih) in v daljšem časovnem obdobju (približno 3 meseci).

Hipoteze

Na podlagi prve izvedbe da/ne testa so bile oblikovane naslednje hipoteze:

Hipoteza 1: Poznavanje besed glede na njihovo pogostost in profili poznavanja besedišča

Predvidevamo, da bo tudi druga izvedba da/ne testa potrdila, da testirani v večji meri poznajo bolj frekventne besede kot manj frekventne (hipoteza 1.1).

Poleg tega predvidevamo, da se bodo za testirane z različnimi ravnmi jezikovnega znanja (začetniki, nadaljevalci, izpopolnjevalci) pokazali različni profili poznavanja frekvenčnih razredov (hipoteza 1.2), in sicer pričakujemo, da se bo pri začetnikih profil začel stopničasto spuščati že pri drugi tisočici najfrekventnejših besed, pri nadaljevalcih in izpopolnjevalcih pa pozneje (hipoteza 1.3).

Hipoteza 2: Da/ne test kot orodje za razvrščanje udeležencev po jezikovnem znanju

Tako kot pri prvi izvedbi pričakujemo, da bo mogoče tudi odrasle testirane na podlagi rezultatov da/ne testa razvrstiti glede na njihovo jezikovno znanje primerljivo kot z uvrstitvenim testiranjem (hipoteza 2.1).

Poleg tega predvidevamo, da bodo rezultati da/ne testa povezani z ravnjo jezikovnega znanja testiranih po SEJO, pri čemer pričakujemo, da bodo testirani, ki svoje znanje ocenjujejo višje (npr. na ravni B2), dosegli boljše rezultate v primerjavi s tistimi, ki svoje znanje ocenjujejo nižje (npr. na ravni A2) (hipoteza 2.2).

Hipoteza 3: Rezultati da/ne testa glede na prvi jezik testiranih

Pričakujemo, da se bodo pri da/ne testu pokazale razlike med govorci slovenščini sorodnih jezikov in drugimi govorci SDTJ.

Hipoteza 4: Primerjava rezultatov prvega in drugega testiranja z da/ne testom

Z dvema ponovitvama testa, ob začetku in koncu semestra, želimo ugotoviti, kako se napredek v jezikovnem znanju odraža v rezultatih da/ne testa. Predvidevamo, da bodo testirani pri drugem testiranju dosegli statistično pomembno višji rezultat (hipoteza 4.1), spremembe pa bodo večje predvsem pri tistih, ki so pri prvem testiranju dosegli nižji rezultat (hipoteza 4.2). Čeprav te hipoteze pri prvi izvedbi testa na MPŠ ni bilo mogoče potrditi, predvidevamo, da bo potrjena pri odraslih in vključenih popolnih začetnikih.

Hipoteza 5: Ujemanje rezultatov da/ne testa in piTeBeFRa

Glede na ugotovitve tujih študij Akira Mochida in Michael Harrington, »The Yes/No Test as a Measure of Receptive Vocabulary Knowledge,« Language Testing 23, št. 1 (2006): 73–98, pridobljeno 17. 2. 2025, https://doi.org/10.1191/0265532206lt321oa. pričakujemo močno povezanost med rezultati da/ne testa in piTeBeFRa.

Potek testiranja in testirani

K reševanju testov so bili po elektronski pošti povabljeni vsi, ki so v spomladanskem semestru 2024 obiskovali tečaje CSDTJ za odrasle (Tabela 2). Izvedeni sta bili dve testiranji: prvo ob začetku semestra (T1), v katerem smo izvedli da/ne test, in drugo ob koncu semestra (T2), ko sta bila zaporedno izvedena da/ne test in piTeBeFRa.

Tabela 2: Tečaji CSDTJ in število testiranih pri T1 in T2, ki so obiskovali posamezni tečaj Tečaj Izvedba Št. ur pouka Št. testiranih pri T1 Št. testiranih pri T2 Jutranji tečaj v živo 80 14 5 Popoldanski tečaj prek videokonference 80 34 18 Spomladanska šola v živo 170 19 8 Slovenščina za študente v živo 48 3 Tečaj za zaposlene na UL prek videokonference 72 14 Vir: lastno delo

Pri T1 so testirani odgovarjali od 26. februarja do 10. marca 2024, pri T2 pa med 11. in 17. junijem 2024. Respondenti v obeh testiranjih so test reševali na računalnikih (T1: 53,6 %, T2: 48,4 %), telefonih (T1: 45,2 %, T2: 51,6 %) ali tablicah (T1: 1,2 %). Če pri izračunu povprečja ne upoštevamo osamelcev, so testirani pri T1 da/ne test reševali povprečno 8 min 44 s, pri T2 pa so oba testa skupaj (da/ne test in piTeBeFRa) reševali povprečno 19 min 53 s. Med obiskovanjem tečajev so testirani živeli tako v Sloveniji kot zunaj nje.

Pri T1 je 94 učečih se soglašalo z zbiranjem osebnih podatkov in začelo reševati test. Iz analize so bili izločeni vsi testi, pri katerih je bilo izpolnjevanje prekinjeno in niso bili izpolnjeni do konca, vključeni pa so bili tisti, pri katerih je bilo neodgovorjeno samo posamezno vprašanje, Manjkajoči odgovori so bili redki: osem testiranih ni odgovorilo na eno vprašanje, devet testiranih na dve vprašanji in po en testirani na tri oz. štiri od 96 vprašanj. testirani pa so test rešili do konca. Tako je bilo v T1 pridobljenih 84 ustrezno rešenih testov. Med temi 84 testiranci je bilo 35 moških in 49 žensk. V času reševanja testa so bili stari od 16 do 67 let (35,7 % jih je bilo starih od 31 do 40 let, 22,6 % od 21 do 30 in 19 % od 41 do 50 let). 74 (88,09 %) jih je bilo univerzitetno izobraženih, 9 (10,71 %) srednješolsko, eden pa je imel osnovnošolsko izobrazbo. Govorili so 25 različnih prvih jezikov, in sicer angleščino (15), ruščino (13), hrvaščino (7), nemščino (5), srbščino (5), madžarščino (4), italijanščino (3), japonščino (3), makedonščino (3), španščino (3), ukrajinščino (3), bosanščino (2), francoščino (2), litovščino (2), nizozemščino (2), romunščino (2), urdujščino (2) in po eden bolgarščino, češčino, finščino, hindijščino, ruandščino, tajščino, turščino in vietnamščino.

Njihovo znanje slovenščine je bilo ocenjeno na podlagi uvrstitvenega testiranja; učitelji, ki so ga izvajali, so razlikovali med začetniki (Z) in boljšimi začetniki (Z+), pri tistih z nadaljevalnim znanjem med nižjimi nadaljevalci (N–), nadaljevalci (N) in višjimi nadaljevalci (N+), kot izpopolnjevalce (I) so označili tiste z najvišjim znanjem (Tabela 3). Te oznake niso usklajene z ravnmi jezikovnega znanja po SEJO. Med boljše začetnike (Z+) in boljše nadaljevalce (N+) smo glede na to, kateri učbenik so uporabljali, prišteli tudi govorce slovanskih jezikov, ki so jih učitelji med uvrstitvenim testiranjem označili kot Slovane začetnike in Slovane nadaljevalce.

Tabela 3: Število testiranih pri T1 glede na ocenjeno jezikovno znanje Jezikovno znanje Število testiranih Izpopolnjevalci (I) 7 Višji nadaljevalci (N+) 13 Nadaljevalci (N) 14 Nižji nadaljevalci (N–) 12 Boljši začetniki (Z+) 23 Začetniki (Z) 15 Vir: lastno delo

Pri T2 so prav tako sodelovali udeleženci tečajev CSDTJ. V T2 je 36 učečih se soglašalo z zbiranjem osebnih podatkov in začelo reševati test. Iz analize so bili izločeni vsi testi, pri katerih je bilo izpolnjevanje prekinjeno in niso bili izpolnjeni do konca ter odgovori enega testiranega, ki ni odgovoril na nobeno vprašanje pri da/ne testu, ohranjeni pa so bili tisti, pri katerih so bila neodgovorjena posamezna vprašanja. Pri da/ne testu so bili manjkajoči odgovori redki: osem testiranih ni odgovorilo na eno vprašanje, dva testirana na dve vprašanji in en testirani na tri od 96 vprašanj; pri piTeBeFRa pa je bilo manjkajočih odgovorov več: trije testirani niso odgovorili na eno vprašanje, po dva testirana na 15 oz. 25 vprašanj, po en testirani pa na 3, 4, 5, 8, 10, 11, 16, 17, 27, 29 ali 41 od 42 vprašanj. Tako je bilo pri T2 pridobljenih 31 ustrezno rešenih testov. Med temi 31 testiranci je bilo 12 moških in 19 žensk. V času reševanja testa so bili stari od 18 do 63 let (25,8 % jih je bilo starih od 41 do 50 let, po 22,6 % pa od 21 do 30 in od 31 do 40 let). 27 (84,4 %) je bilo univerzitetno izobraženih, štirje (15,6 %) pa srednješolsko. Govorili so 16 različnih prvih jezikov, in sicer angleščino (6), nemščino (3), ruščino (3), srbščino (3), hrvaščino (2), italijanščino (2), litovščino (2), makedonščino (2), po eden pa bosanščino, češčino, finščino, madžarščino, malgaščino, portugalščino, španščino in vietnamščino.

Ob zaključku obeh testov pri T2 so odgovorili tudi na vprašanje, kako ocenjujejo svoje znanje slovenščine po SEJO: 26 jih je svoje znanje ocenilo z ravnmi od A1 do C1, pet pa jih je izbralo odgovor Ne vem (Tabela 4).

Tabela 4: Število testiranih pri T2 glede na samooceno jezikovne ravni po SEJO Jezikovno znanje Število testiranih C1 1 B2 5 B1 8 A2 3 A1 9 Ne vem. 5 Vir: lastno delo

Za primerjalno analizo da/ne testa v T1 in T2 so bili upoštevani samo odgovori oseb, ki so sodelovale v obeh testiranjih. Takih je bilo 25.

Poznavanje besed glede na njihovo pogostost in profili poznavanja besedišča

Če pogledamo vse testirance, ki so sodelovali pri T1 in T2, lahko vidimo, da so v povprečju v večji meri poznali frekventnejše besede in za vsakih naslednjih tisoč dosegli nekoliko nižji rezultat (Tabela 5). V obeh testiranjih se je pokazal padajoči profil poznavanja besedišča (grafa 1 in 2). Analiza variance (ANOVA) za odvisne vzorce je pokazala, da se rezultati za posameznih tisoč besed pri T1 in T2 statistično pomembno razlikujejo (T1: ob upoštevanju Huynh-Feldtovega popravka F(2,47, 204,61) = 88,7, p < 0,001; T2: F(3, 90) = 36, p < 0,001). Primerjava povprečnih dosežkov za zaporedne frekvenčne razrede s post hoc testi je razkrila statistično značilne razlike med njimi (T1: za frekvenčna razreda 1–1000 in 1001–2000 je pbonferroni = 0,002, za preostale pa pbonferroni < 0,001; T2: za frekvenčna razreda 1–1000 in 1001–2000 je pbonferroni = 0,024, za preostale pa pbonferroni < 0,001), razen med frekvenčnima razredoma 2001–3000 in 3001–4000 pri T2 (pbonferroni = 0,595).

Tabela 5: Število točk, doseženih pri T1 in T2, za posamezne frekvenčne razrede Testiranje Frekvenčni razred N M Mdn SD Minimum Maksimum T1 1–1000 84 624 650 282 100 1000 1001–2000 84 578 600 302 50 1000 2001–3000 84 507 500 348 0 1000 3001–4000 84 409 350 321 0 1000 T2 1–1000 31 742 800 227 250 1000 1001–2000 31 685 750 275 150 1000 2001–3000 31 574 500 321 100 950 3001–4000 31 534 600 341 50 1000 Vir: lastno delo

Graf 1: Število doseženih točk za posamezne frekvenčne razrede pri T1 (N = 84) Vir: lastno delo

Graf 2: Število doseženih točk za posamezne frekvenčne razrede pri T2 (N = 31) Vir: lastno delo

Ocene jezikovnega znanja, ki so jih testiranci dobili na podlagi uvrstitvenega testiranja, smo razdelili v tri kategorije: začetniki (Z), nadaljevalci (N) in izpopolnjevalci (I). Pri skupini Z je analiza variance za odvisne vzorce (repeated measures ANOVA) pokazala, da se rezultati za posameznih tisoč besed pri T1 med seboj statistično pomembno razlikujejo (ob upoštevanju Greenhouse-Geisserjevega popravka F(2,27, 83,91) = 44,3, p < 0,001). Post hoc test je potrdil statistično značilne razlike med vsemi frekvenčnimi razredi (pbonferroni < 0,001) razen med prvima (1–1000 in 1001–2000), kjer razlika ni bila statistično značilna (pbonferroni = 0,147). Tudi pri skupini N je analiza variance za odvisne vzorce pokazala, da se rezultati za posameznih tisoč besed med seboj statistično pomembno razlikujejo (ob upoštevanju Greenhouse-Geisserjevega popravka F(2,39, 90,64) = 42,1, p < 0,001), post hoc test pa je potrdil statistično značilno razliko med vsemi zaporednimi frekvenčnimi razredi (med prvima dvema: pbonferroni = 0,024, med drugim in tretjim: pbonferroni = 0,006, med tretjim in četrtim: pbonferroni < 0,001). Pri skupini I je analiza variance za odvisne vzorce prav tako pokazala, da se rezultati za posameznih tisoč besed med seboj statistično pomembno razlikujejo (ob upoštevanju Greenhouse-Geisserjevega popravka F(1,55, 9,32) = 7,26, p = 0,016). Post hoc test ni potrdil statistično značilnih razlik med posameznimi frekvenčnimi razredi (p > 0,05), skoraj značilna pa je bila razlika med razredoma 1–1000 in 3001–4000 (pbonferroni = 0,057).

Grafi 3, 4, 5: Število doseženih točk za posamezne frekvenčne razrede pri T1 za začetnike (Z: N = 38), nadaljevalce (N: N = 39) in izpopolnjevalce (I: N = 7) Vir: lastno delo

Da/ne test kot orodje za razvrščanje udeležencev po jezikovnem znanju

Graf 6: Skupno število točk in korigirane točke pri T1 glede na ocene jezikovnega znanja (Z: N = 39; N: N = 39; I: N = 7) Vir: lastno delo

Kot je razvidno že iz Grafov 3, 4 in 5, so se dosežki testiranih na različnih ravneh jezikovnega znanja razlikovali. Skupno število doseženih točk in korigirane točke za te tri skupine prikazuje Graf 6. Izvedena je bila enosmerna ANOVA za primerjavo skupin glede na število doseženih točk in glede na korigirane točke pri T1. Rezultati so pokazali statistično značilne razlike med skupinami Z, N in I (skupne točke: F(2, 50,2) = 85,4, p < 0,001; korigirane točke: F(2, 45,7) = 82,5, p < 0,001). Tukeyjev post hoc test je pokazal, da so bile razlike statistično značilne med vsemi pari skupin (p < 0,05).

Graf 7: Skupno število točk in korigirane točke pri T1 glede na oznake jezikovnega znanja (Z: N = 15; Z+: N = 23; N–: N = 12; N: N = 13; N+: N = 14; I: N = 7) Vir: lstno delo

Primerjali smo tudi rezultate glede na natančneje opredeljeno jezikovno znanje (Z, Z+, N–, N, N+, I). Graf 7 kaže, da razlike med vsemi skupinami niso zelo izrazite. Z enosmerno analizo variance (ANOVA) so bile potrjene statistično značilne razlike med skupinami (točke: F(5, 34,2) = 91,6, p < 0,001; korigirane točke: F(5, 33,6) = 82,4, p < 0,001). Tukeyjev post hoc test je pokazal pomembne razlike med večino parov skupin ( p < 0,05). Statistično značilnih razlik pa ni bilo med naslednjimi skupinami pri skupnih točkah: Z+ in N– (p = 0,967), N– in N (p = 0,177) in N+ in I (p = 0,931); pri korigiranih točkah: Z+ in N– (p = 0,986), Z+ in N (p = 0,22), N– in N (p = 0,123), N+ in I (p = 0,935).

Pri T2 so testirani ocenili svoje znanje slovenščine po SEJO. Kot kaže Tabela 6, so tisti, ki so svoje znanje ocenili višje, dosegli boljši rezultat.

Tabela 6: Skupno število točk in korigirane točke pri T2 glede na raven jezikovnega znanja Raven po SEJO N M Mdn SD Minimum Maksimum T2 skupne točke A1 9 1478 1200 734 550 2950 A2 3 2433 2200 1168 1400 3700 B1 8 3369 3350 345 2800 3850 B2 5 3500 3850 728 2200 3850 C1 1 3900 3900 / 3900 3900 T2 korigirane točke A1 9 1339 1100 749 300 2950 A2 3 2017 2200 548 1400 2450 B1 8 2775 3150 1088 350 3750 B2 5 3450 3750 706 2200 3850 C1 1 3900 3900 / 3900 3900 Vir: lastno delo

Ker je bil v vzorcu le en testirani, ki je svoje znanje ocenil z ravnjo C1, je bil izločen iz analize variance, upoštevani pa so bili le testiranci, ki so se opredelili na ravneh od A1 do B2. Rezultati enosmerne analize variance kažejo, da obstajajo statistično značilne razlike glede na raven znanja po SEJO pri skupnih točkah (p = 0,003) in korigiranih točkah (p = 0,006). Tukeyjev post hoc test je pokazal, da so testirani na ravni A1 dosegli bistveno nižje rezultate kot tisti na B1 in B2, pri čemer so razlike močno statistično značilne (p < 0,01 pri skupnih točkah, p < 0,05 pri korigiranih točkah). Med testiranimi na ravni A2 in preostalimi ni statistično pomembnih razlik, kar kaže, da njihovi rezultati variirajo in niso enoznačno višji od nižjih ali nižji od višjih ravni, prav tako ni statistično pomembne razlike med testiranimi na ravneh B1 in B2.

Za izbrane tečaje Za tečaj za študente korelacija ni bila izračunana, saj so ga obiskovali le trije testirani. Prav tako ni bila izračunana korelacija za tečaj za zaposlene na UL, saj skupine niso bile razporejene po jezikovnem znanju (npr. ocena jezikovnega znanja v skupini 3 je bila višja od tistega v skupini 4). je bila izračunana korelacija med številom točk, doseženih na da/ne testu pri T1, in razvrstitvijo testiranih v skupino. Pri Spomladanski šoli, kjer je pouk potekal v petih skupinah in jo je obiskovalo 19 testiranih, se je pokazala močna pozitivna povezanost (za skupne in korigirane točke: τ = 0,777, p < 0,001). Podobno velja za Popoldanski tečaj, kjer je pouk potekal v sedmih skupinah in ga je obiskovalo 34 testiranih (za skupne točke: τ = 0,718, p < 0,001, za korigirane točke: τ = 0,752, p < 0,001). Pri Jutranjem tečaju, kjer je pouk potekal v treh skupinah in ga je obiskovalo 14 testiranih, pa se je pokazala srednje močna pozitivna korelacija (za skupne točke: τ = 0,571, p = 0,011, za korigirane točke: τ = 0,568, p = 0,011). Tudi multinominalna logistična regresija je potrdila, da višje skupne točke na da/ne testu povečujejo verjetnost uvrstitve v višjo skupino (Spomladanska šola – skupne točke: R2McF = 0,527, korigirane točke: R2McF = 0,528; Popoldanski tečaj – skupne točke: R2McF = 0,349, korigirane točke: R2McF = 0,375; Jutranji tečaj – skupne točke: R2McF = 0,501, korigirane točke: R2McF = 0,499; za vse p < 0,001).

Rezultati da/ne testa glede na prvi jezik testiranih

Preverili smo, ali pri doseženem rezultatu na da/ne testu pri T1 obstajajo razlike glede na to, ali je prvi jezik testiranega slovanski ali neslovanski, in glede na ocenjeno jezikovno znanje (Z, N, I). Slovanski govorci so v povprečju dosegli višje rezultate kot neslovanski (v povprečju za 967 točk pri skupnih točkah oziroma 858 točk pri korigiranih; Tabela 7). Za statistično analizo Ker so rezultati analiz za korigirane točke zelo podobni rezultatom za skupne točke, so v nadaljevanju navedeni samo rezultati za skupne točke. je bila uporabljena dvofaktorska analiza variance (ANOVA). Rezultati kažejo statistično značilne razlike med skupinami Z, N in I (za skupne točke: F(2,78) = 23,37, p < 0,001, η²p = 0,375), prav tako se kot pomembna kaže pripadnost jezikovni skupini (za skupne točke: F(1,78) = 20,01, p < 0,001, η²p = 0,204). Zaznana je bila tudi statistično značilna interakcija med ocenjenim jezikovnim znanjem in jezikovno pripadnostjo (za skupne točke: F(2,78) = 5,30, p = 0,007, η²p = 0,120). Rezultati post hoc testov so pokazali, da so v skupini Z slovanski govorci dosegli bistveno višje rezultate kot neslovanski; razlika v povprečjih znaša 1815 točk in je statistično značilna (p < 0,001, d = 2,53). Razlika v skupini N je nekoliko manjša (razlika v povprečjih znaša 1148 točk), a je statistično značilna (p < 0,001, d = 1,60). Pri skupini I pa razlike med slovanskimi in neslovanskimi govorci niso bile statistično značilne (p = 1,000, d = –0,09), kar pomeni, da jezikovna pripadnost pri tej ravni znanja ni več pomemben dejavnik; slovanski govorci v tej skupini so dosegli celo malenkost nižji rezultat.

Tabela 7: Skupno število točk in korigirane točke pri T1 glede na oceno jezikovnega znanja za govorce slovanskih in neslovanskih jezikov Jezikovno znanje J1 je slovanski N M Mdn SD Minimum Maksimum T1 skupne točke Z da 11 2695 2850 857 1250 3900   ne 27 880 700 594 200 2500 N da 19 3116 3300 631 1900 3750   ne 20 1968 1775 930 750 3300 I da 4 3688 3700 221 3450 3900   ne 3 3750 3750 200 3550 3950 T1 korigirane točke Z da 11 2536 2750 851 1250 3900   ne 27 870 700 586 200 2500 N da 19 3050 3300 647 1700 3700   ne 20 1955 1775 913 750 3300 I da 4 3563 3500 239 3350 3900   ne 3 3750 3750 200 3550 3950 Vir: lastno delo

Primerjava rezultatov prvega in drugega testiranja z da/ne testom

Odgovori 25 testiranih, ki so sodelovali v obeh testiranjih z da/ne testom, kažejo, da so pri T2 poznali več v slovenščini obstoječih besed (M = 1928 : 2334), nekoliko slabši pa so bili pri prepoznavanju nebesed (M = –20 : –180). T-test za ponovljene meritve je potrdil statistično značilno izboljšanje za skupne (za 406 besed, p < 0,001) in korigirane točke (za 246 besed, p = 0,008) ter za posamezne frekvenčne razrede (p < 0,01).

Rezultate testiranih smo opazovali tudi glede na njihovo jezikovno znanje (Z, N, I), kot je bilo ocenjeno ob začetku tečaja (Tabela 8). Pri skupini Z (N = 10) se je rezultat statistično značilno izboljšal tako pri skupnih točkah kot za vsak frekvenčni razred (p < 0,05). Največji napredek so dosegli pri bolj frekventnih besedah. Pri korigiranih točkah se je njihov rezultat sicer povečal, a ni bil statistično značilen (p = 0,148). Nadaljevalci (N = 13) so svoj rezultat statistično značilno izboljšali v vseh opazovanih postavkah razen v tretjem frekvenčnem razredu (2001–3000). Rezultat v skupini I (N = 2) pri skupnih točkah se je le malenkost povečal, pri korigiranih pa je bil celo slabši. Pri teh točkah in tudi za posamezne frekvenčne razrede ni bilo statistično značilnih razlik (p > 0,05).

Tabela 8: Rezultati t-testa za testirane, ki so sodelovali tako pri T1 kot pri T2, glede na jezikovno znanje Z N I t (p) razlika med povprečji (SE) t (p) razlika med povprečji (SE) t (p) razlika med povprečji (SE) Skupne točke

4,98

(p < 0,001)

415

(83,3)

4,42

(p < 0,001)

450

(101,7)

0,33

(p = 0,795)

75

(225,0)

Korigirane točke

1,58

(p = 0,148)

215

(135,8)

3,99

(p = 0,002)

373,1

(93,5)

–1,54

(p = 0,366)

–425

(275,0)

1–1000

3,78

(p = 0,004)

145

(38,3)

4,16

(p = 0,001)

100

(24,0)

–1,00

(p = 0,500)

–25

(25,0)

1001–2000

4,12

(p = 0,003)

115

(27,9)

3,06

(p = 0,010)

123,1

(40,3)

1,00

(p = 0,500)

75

(75,0)

2001–3000

3,16

(p = 0,012)

85

(26,9)

1,97

(p = 0,072)

65,4

(33,2)

0,33

(p = 0,795)

25

(75,0)

3001–4000

3,77

(p = 0,004)

70

(18,6)

4,62

(p < 0,001)

161,5

(35,0)

0,00

(p = 1,000)

0

(50,0)

Vir: lastno delo

Ujemanje rezultatov da/ne testa in piTeBeFRa

Testirani, ki so odgovarjali na piTeBeFRa (N = 31), so v povprečju pravilno odgovorili na 29,9 od 42 vprašanj (Mdn = 34, SD = 11,09, min = 1, maks = 42). Tisti, ki so svoje znanje slovenščine po SEJO ocenili višje, so pravilno odgovorili na več vprašanj (Graf 8).

Graf 8: Rezultati testiranih na piTeBeFRa glede na samooceno stopnje jezikovnega znanja po SEJO (N = 26) Vir: lastno delo

Tabela 9: Kontingenčna tabela za odgovore pri da/ne testu in piTeBeFRa Da/ne test \ piTeBeFRa Pravilno Napačno Ni odgovora Ja 747 45 57 Ne 175 76 195 Ni odgovora 5 0 2 Vir: lastno delo

Preverili smo, kako se odgovori pri da/ne testu in odgovori pri piTeBeFRa ujemajo (Tabela 9). Delež popolnega ujemanja odgovorov med odgovori pri da/ne testu in odgovori pri piTeBeFRa (1) znaša 78,91 odstotka, za posamezne testirane pa sega od 38,1 do 100 odstotkov (M = 78,26, Mdn = 80,49).

(1) Popolno ujemanje%= Ja & Pravilno+Ne & NapačnoJa & (Pravilno ali Napačno) + Ne & (Pravilno ali Napačno)×100

Pokazala se je visoka pozitivna korelacija med rezultatom da/ne testa in številom pravilnih odgovorov na piTeBeFRa (za skupne točke: rS(29) = 0,882, p < 0,001; za korigirane točke: rS(29) = 0,846, p < 0,001).