2.1. Zgledi za pripravo testa

1Pri da/ne testu (angl. yes/no test) se testirani za besede v tujem jeziku, ki so jim predstavljene brez konteksta, odločajo, ali jih poznajo ali ne. Tak test je mogoče enostavno izvesti, zlasti če je pripravljen v digitalni obliki, in tudi hitro rešiti. Neposredna zgleda za pripravo da/ne testa za slovenščino sta bila test V_YesNo ⁷ za angleščino in test obsega slovarja za grščino, kot sta ga pripravila Milton in Alexiou.⁸ Oba izhajata iz testov, ki jih je Meara s sodelavci razvil kot alternativo klasičnim uvrstitvenim testom na tečajih angleščine.⁹

2V_YesNo je digitalni test,¹⁰ ki preverja poznavanje 10.000 najpogostejših besed v angleščini. Test obsega 100 v angleščini obstoječih besed (po 10 besed za vsakih 1000) in 100 v angleščini neobstoječih besed (nebesed), kar naj bi preprečevalo goljufanje oziroma kaznovalo ugibanje. Testiranemu se besede in nebesede prikazujejo posamično, ob koncu testa pa se izpiše rezultat, ki je ocena, koliko besed testirani pozna. Doseči je mogoče največ 10.000 točk. Če testirani označi, da pozna nebesedo, se njegov končni rezultat zniža, odbitek točk pa je odvisen od tega, kako testirani odgovarja na vprašanja s pravimi besedami. Testirani, ki pravilno prepoznajo večino pravih besed, so za posamezno napačno prepoznavo nebesede kaznovani blažje, medtem ko so tisti, ki pravilno prepoznajo le nekaj pravih besed, za napačno prepoznavo nebesed kaznovani strožje. ¹¹

3Da/ne test, s katerim sta Milton in Alexiou želela oceniti obseg besedišča pri učencih grščine, je podoben testu V_YesNo. Besede zajema izmed prvih 5000 najpogostejših lem v grškem nacionalnem korpusu (Hellenic National Corpus), in sicer po 20 za vsakih 1000 besed, skupaj 100, tem pa je dodanih še 20 v grščini neobstoječih besed. Besede so testiranemu na papirju predstavljene v seznamu, brez besedilnega konteksta, odločiti pa se mora, ali jo »pozna ali zna uporabiti«. ¹² Če testirani označi, da obstoječo besedo pozna, se njegov odgovor točkuje s 50 točkami, najvišje število točk je 5000. Če pa testirani označi, da pozna nebesedo, se od končnega rezultata za vsak tak odgovor odšteje 250 točk, izgubi lahko torej največ 5000 točk. Končno število točk naj bi predstavljalo oceno, kolikšen je obseg besedišča pri testiranem.

2.2. Priprava testa

1Pri pripravi da/ne testa za slovenščino smo sledili načelom omenjenih testov. Besede so bile zajete iz Referenčnega seznama pogostih splošnih besed za slovenščino. ¹³ V tem seznamu, ki je nastal s prekrivanjem najpogostejših lem iz štirih slovenskih besedilnih korpusov (Kres, GOS, Janes, Šolar 2.0), je zbranih 4768 pogostih splošnih lem.¹⁴ Za pripravo testa je bilo upoštevanih prvih 4000 lem, saj zadnja tisočica lem v seznamu ni popolna. V želji po kar najbolj enakomernem izboru je bila izmed vsakih zaporednih 50 lem naključno izbrana ena. Za vsakih zaporednih 1000 lem je bilo naključno izbranih 20 lem, skupaj 80. Pri preverjanju izbora so bile leme, ki lahko pripadajo različnim besednim vrstam (npr. raven, ki je lahko samostalnik ali pridevnik), nadomeščene z drugimi iz istega frekvenčnega razreda. Pri izboru se nismo omejevali, temveč smo vključili tudi besedne vrste, ki v nekaterih testih besedišča niso prisotne (npr. veznik kajti, prislovi tako, večinoma in podobno, ki so v izboru za prvih 1000 najpogostejših splošnih besed). Poleg izbranih besed so bile v test vključene tudi v slovenščini neobstoječe besede (npr. posminati, čembrita, izpontivanje, deptanjski), ki delujejo kot slovenske in bi lahko pripadale različnim besednim vrstam. Pri oblikovanju nebesed smo upoštevali strukturo slovenskega zloga, vanje smo vključili tipična obrazila in končnice. Razmerje med besedami in nebesedami je bilo enako kot v testu, ki sta ga zasnovala Milton in Alexiou – 5 : 1. Z izbranimi 80 obstoječimi besedami in 16 nebesedami test vsebuje 96 vprašanj, v katerih so besede zapisane v osnovni obliki.

2.3. Oblika testa

1Zaradi enostavnejše izvedbe testiranja, zbiranja in analize odgovorov smo se odločili za digitalno obliko testa. Pri prvi izvedbi testa med udeleženci MPŠ je bilo uporabljeno orodje Socrative, ki ni omogočalo zbiranja dodatnih podatkov, zato je bila pri drugi izvedbi izbrana platforma 1ka. ¹⁵

2Test je sestavljal uvodni nagovor, ki je testiranim pojasnil namen testiranja, sledilo je vprašanje o strinjanju z zbiranjem osebnih podatkov, ki so bili potrebni za identifikacijo oseb, sodelujočih v dveh ponovitvah testa, zatem se je testiranim pokazalo navodilo za reševanje testa: kako bodo vprašanja strukturirana, kdaj naj izberejo gumb Ja in kdaj Ne. V navodilu so bili testiranci opozorjeni, da bodo videli v slovenščini neobstoječe besede, naj ne ugibajo in ne uporabljajo pomoči. Sledilo je 96 vprašanj, pri vsakem se je testiranemu prikazalo enako navodilo (Slika 1). ¹⁶ Vsi nagovori, navodila in vprašanja so bili napisani v slovenščini in angleščini.

Vir: lastno delo

3Zaradi omejitev orodja 1ka vprašanj ni bilo mogoče prikazovati popolnoma naključno. Določena mera naključnosti je bila dosežena z uporabo treh različnih razporeditev vprašanj, pri čemer so bile besede iz različnih frekvenčnih razredov pomešane med seboj, kot v zvezi z motivacijo za reševanje pri enem od testov besedišča priporoča Nation. ¹⁷ Pri tem smo upoštevali, 1) da se test začne in konča z v slovenščini obstoječo besedo, 2) da so besede iz različnih frekvenčnih razredov razporejene po celotnem testu, 3) da se zaporedno ne pojavita besedi iz istega frekvenčnega razreda in 4) da sta med dvema nebesedama vedno vsaj dve obstoječi besedi. Testiranemu se je naključno prikazala ena od treh razporeditev vprašanj.

2.4. Točkovanje

1Pri da/ne testu je bilo za vsak odgovor Ja pri obstoječih besedah pripisanih 50 točk. Vsaka lema v da/ne testu namreč predstavlja 50 lem, in če testirani odgovori, da jo pozna, predvidevamo, da pozna tudi preostale v njeni frekvenčni okolici.¹⁸ Vsak odgovor, da testirani besede ne pozna (Ne), je dobil 0 točk. Vsaka napačna prepoznava nebesede je bila kaznovana z –250 točkami. Testirani je lahko torej s pravilnimi odgovori zbral največ 4000 točk, z napačno prepoznavo nebesed pa jih je lahko enako število izgubil.

2Izračunano je bilo skupno število točk za vsakih tisoč besed oziroma vsak frekvenčni razred, skupno število točk za prave besede (v nadaljevanju skupno število točk), skupno število točk za nebesede in skupno korigirano število točk (od točk za obstoječe besede so bile odštete točke za nebesede, ki so bile prepoznane kot obstoječe besede; v nadaljevanju korigirane točke). Morebitni manjkajoči odgovori niso bili upoštevani, zanje točke niso bile prištete ali odštete.

3.1. Zgled za pripravo testa

1Pri pripravi testa receptivnega besedišča, torej besedišča, ki ga govorci SDTJ prepoznajo in razumejo, ne znajo pa ga nujno tudi uporabljati,¹⁹ smo izhajali iz testa Vocabulary Levels Test (VLT), ki ga je za angleščino kot tuji jezik razvil Nation, ²⁰ kasneje pa so ga dopolnjevali in posodabljali. ²¹ Gre za test, s katerim se preverja poznavanje receptivnega besedišča, in sicer samostalnikov, glagolov in pridevnikov iz različnih frekvenčnih razredov. Prve različice VLT²² preverjajo poznavanje besed izmed najpogostejših 2000, 3000, 5000 in 10.000 besednih družin v angleščini in posebej iz nabora akademskega besedišča; verzija, ki jo je pripravil Webb s sodelavci,²³ pa izmed 1000, 2000, 3000, 4000 in 5000 besednih družin.

2Vsako vprašanje sestavlja šest besed v osnovni obliki in tri definicije, testirani pa mora povezati besedo in ustrezno definicijo. V prvotni različici²⁴ je bilo za vsak frekvenčni razred šest vprašanj, torej 18 testiranih besed in 18 besed, ki so bile distraktorji. V različicah, ki so jih pripravili Schmitt s sodelavci²⁵ in Webb s sodelavci, ²⁶ pa je bilo po deset vprašanj. VLT je bil zamišljen kot diagnostično orodje, ki naj bi testiranega usmerjalo, katero besedišče naj se uči – besedišče tistega frekvenčnega razreda, pri katerem je dosegel slabši rezultat, ²⁷ uporablja pa se tudi za oceno obsega slovarja govorcev angleščine kot tujega jezika.²⁸

3.2. Priprava testa

1Za testiranje je bila pripravljena slovenska različica VLT, v tem besedilu imenovana pilotni test besedišča po frekvenčnih razredih oziroma piTeBeFRa. Namen ni bil, kot pri VLT, oceniti, koliko besed testirani poznajo v posameznem frekvenčnem razredu, temveč smo želeli preveriti skladnost odgovorov testiranih v da/ne testu in piTeBeFRa. Zato ni bil pripravljen »popoln« test, ki bi zajemal enako število besed iz posameznih frekvenčnih razredov, temveč so bile vanj vključene le besede, že prisotne v da/ne testu. Ker smo izhajali iz seznama pogostih splošnih besed za slovenščino, ²⁹ je bila kot enota uporabljena lema in ne besedna družina ³⁰ kot v prej omenjenih različicah VLT.

2Izmed 80 slovenskih besed, vključenih v da/ne test, je bilo za piTeBeFRa izbranih 42 besed: 30 samostalnikov, devet glagolov in trije pridevniki. ³¹ Vsako vprašanje je vsebovalo tri besede iste besedne vrste iz istega frekvenčnega razreda (npr. vodja, značilnost, dvorana) ter tri distraktorje, ki so bili prav tako besede iste besedne vrste in se v Referenčnem seznamu pogostih splošnih besed pojavljajo do deset mest višje ali nižje ob posamezni besedi (npr. vojak,storitev,sorodnik), torej s podobno pogostostjo kot testirane besede. Pri izbiri besed smo upoštevali, da so bile pomensko dovolj različne, da so lahko testirani izbrali ustrezne odgovore.³² Za testirane besede so bile oblikovane definicije. V čim večji meri smo se želeli izogniti temu, da bi piTeBeFRa preverjal tudi razumevanje definicij, zato smo jih pripravili tako, da so bile 1) čim krajše, da testiranim ni bilo treba veliko brati; 2) kadar je bilo mogoče, sestavljene iz besed na ravni A1 ³³ (npr. črn – temne barve) ali iz transparentnih besed (npr. obzorje – horizont);³⁴ 3) oblikovane tako, da so se izogibale uporabi besede z istim korenom (npr. bolnik – oseba, ki je bolna – oseba, ki ni zdrava), kar bi lahko omogočalo večje ugibanje pri odgovarjanju.³⁵ Definicije so razlagale pomen, naveden kot prvi v Slovarju slovenskega knjižnega jezika, pri čemer pa tega pomena niso nujno opisovale v celoti ali natančno (npr. frizura – lasje). Skupno je bilo pripravljenih 14 vprašanj: po tri za frekvenčna razreda 0–1000 in 3001–4000 ter po štiri za frekvenčna razreda 1001–2000 in 2001–3000.

3.3. Oblika testa

1Test je bil prav tako naložen v orodje 1ka in izveden skupaj z drugo ponovitvijo da/ne testa. Ker je PiTeBeFRa sledil da/ne testu, se uvodne informacije niso ponavljale, temveč se je testiranim prikazala stran z navodilom za reševanje testa, ki je pojasnjevalo strukturo vprašanj in vključevalo grafični primer rešenega vprašanja. Testirane smo prosili, naj ne uporabljajo pomoči. Sledilo je 14 vprašanj, pri vsakem se je testiranemu prikazalo enako navodilo. Vsi nagovori, navodila in vprašanja so bili v slovenščini in angleščini.

2V starejših različicah VLT so bila vprašanja oblikovana tako, da so bile besede in definicije postavljene v dva stolpca: v levem je bilo naštetih šest besed, v desnem pa tri definicije. Webb in sodelavci so obliko vprašanj spremenili, »da bi bila za testirane preglednejša«. ³⁶ Vprašanja so oblikovali tabelarno: besede so prikazali v prvi vrstici, definicije pa navpično v prvem stolpcu. Njihovi postavitvi smo sledili tudi pri pripravi piTeBeFRa (Slika 2). Vprašanja v tem testu se niso prikazovala naključno, temveč glede na frekvenčne razrede od najbolj do manj frekventnih besed.

Vir: lastno delo

3.4. Točkovanje

1Pri piTeBeFRa je bila testiranemu za vsako ustrezno povezano besedo in definicijo dodeljena ena točka, nato pa je bilo izračunano število doseženih točk. Pri napačnih odgovorih se točke niso odštevale, manjkajoči odgovori niso bili upoštevani.

5.1. Razlogi za izvedbo testiranja

1Prva izvedba je bila omejena na majhno, starostno sorazmerno homogeno skupino testiranih. V drugi izvedbi smo zato želeli preveriti, kako test deluje pri drugačni publiki, in sicer pri odraslih učečih se SDTJ. Želeli smo si starostno in glede prvega jezika testiranih raznoliko skupino.

2Vsi testirani na MPŠ so imeli vsaj nekaj predznanja slovenščine, zato nas je pri drugi izvedbi zanimalo, kako da/ne test deluje pri popolnih začetnikih. Poleg tega smo želeli preveriti, kako so rezultati da/ne testa povezani z jezikovnim znanjem testiranih po Skupnem evropskem jezikovnem okviru (SEJO)³⁸ in kako so povezani z njihovim prvim jezikom.

3Ker da/ne test meri le prepoznavo besed, ne pa tudi poznavanja njihovega pomena, in ker lahko taki testi precenjujejo znanje testiranih,³⁹ smo želeli preveriti, ali testirani poznajo pomen besed, vključenih v da/ne test. Zato je bil ob drugi izvedbi pilotno preizkušen tudi test besedišča po frekvenčnih razredih piTeBeFRa.

4Zanimalo nas je, ali je da/ne test uporaben za spremljanje napredka učečih se slovenščine pri poznavanju besedišča v daljšem časovnem obdobju. V prvi izvedbi testa na MPŠ po 40-urnem tečaju in dveh tednih učenja slovenščine nismo zaznali statistično značilnega napredka v vseh postavkah (skupne točke, korigirane točke in rezultati za vse frekvenčne razrede), zato smo se pri drugi izvedbi odločili za testiranje na daljših tečajih (drugo ponovitev smo izvedli na vsaj 80-urnih tečajih) in v daljšem časovnem obdobju (približno 3 meseci).

5.2. Hipoteze

1Na podlagi prve izvedbe da/ne testa so bile oblikovane naslednje hipoteze:

2Hipoteza 1: Poznavanje besed glede na njihovo pogostost in profili poznavanja besedišča

3Predvidevamo, da bo tudi druga izvedba da/ne testa potrdila, da testirani v večji meri poznajo bolj frekventne besede kot manj frekventne (hipoteza 1.1).

4Poleg tega predvidevamo, da se bodo za testirane z različnimi ravnmi jezikovnega znanja (začetniki, nadaljevalci, izpopolnjevalci) pokazali različni profili poznavanja frekvenčnih razredov (hipoteza 1.2), in sicer pričakujemo, da se bo pri začetnikih profil začel stopničasto spuščati že pri drugi tisočici najfrekventnejših besed, pri nadaljevalcih in izpopolnjevalcih pa pozneje (hipoteza 1.3).

5Hipoteza 2: Da/ne test kot orodje za razvrščanje udeležencev po jezikovnem znanju

6Tako kot pri prvi izvedbi pričakujemo, da bo mogoče tudi odrasle testirane na podlagi rezultatov da/ne testa razvrstiti glede na njihovo jezikovno znanje primerljivo kot z uvrstitvenim testiranjem (hipoteza 2.1).

7Poleg tega predvidevamo, da bodo rezultati da/ne testa povezani z ravnjo jezikovnega znanja testiranih po SEJO, pri čemer pričakujemo, da bodo testirani, ki svoje znanje ocenjujejo višje (npr. na ravni B2), dosegli boljše rezultate v primerjavi s tistimi, ki svoje znanje ocenjujejo nižje (npr. na ravni A2) (hipoteza 2.2).

8Hipoteza 3: Rezultati da/ne testa glede na prvi jezik testiranih

9Pričakujemo, da se bodo pri da/ne testu pokazale razlike med govorci slovenščini sorodnih jezikov in drugimi govorci SDTJ.

10Hipoteza 4: Primerjava rezultatov prvega in drugega testiranja z da/ne testom

11Z dvema ponovitvama testa, ob začetku in koncu semestra, želimo ugotoviti, kako se napredek v jezikovnem znanju odraža v rezultatih da/ne testa. Predvidevamo, da bodo testirani pri drugem testiranju dosegli statistično pomembno višji rezultat (hipoteza 4.1), spremembe pa bodo večje predvsem pri tistih, ki so pri prvem testiranju dosegli nižji rezultat (hipoteza 4.2). Čeprav te hipoteze pri prvi izvedbi testa na MPŠ ni bilo mogoče potrditi, predvidevamo, da bo potrjena pri odraslih in vključenih popolnih začetnikih.

12Hipoteza 5: Ujemanje rezultatov da/ne testa in piTeBeFRa

13Glede na ugotovitve tujih študij⁴⁰ pričakujemo močno povezanost med rezultati da/ne testa in piTeBeFRa.

5.3. Potek testiranja in testirani

1K reševanju testov so bili po elektronski pošti povabljeni vsi, ki so v spomladanskem semestru 2024 obiskovali tečaje CSDTJ za odrasle (Tabela 2). Izvedeni sta bili dve testiranji: prvo ob začetku semestra (T1), v katerem smo izvedli da/ne test, in drugo ob koncu semestra (T2), ko sta bila zaporedno izvedena da/ne test in piTeBeFRa.

2Pri T1 so testirani odgovarjali od 26. februarja do 10. marca 2024, pri T2 pa med 11. in 17. junijem 2024. Respondenti v obeh testiranjih so test reševali na računalnikih (T1: 53,6 %, T2: 48,4 %), telefonih (T1: 45,2 %, T2: 51,6 %) ali tablicah (T1: 1,2 %). Če pri izračunu povprečja ne upoštevamo osamelcev, so testirani pri T1 da/ne test reševali povprečno 8 min 44 s, pri T2 pa so oba testa skupaj (da/ne test in piTeBeFRa) reševali povprečno 19 min 53 s. Med obiskovanjem tečajev so testirani živeli tako v Sloveniji kot zunaj nje.

3Pri T1 je 94 učečih se soglašalo z zbiranjem osebnih podatkov in začelo reševati test. Iz analize so bili izločeni vsi testi, pri katerih je bilo izpolnjevanje prekinjeno in niso bili izpolnjeni do konca, vključeni pa so bili tisti, pri katerih je bilo neodgovorjeno samo posamezno vprašanje, ⁴¹ testirani pa so test rešili do konca. Tako je bilo v T1 pridobljenih 84 ustrezno rešenih testov. Med temi 84 testiranci je bilo 35 moških in 49 žensk. V času reševanja testa so bili stari od 16 do 67 let (35,7 % jih je bilo starih od 31 do 40 let, 22,6 % od 21 do 30 in 19 % od 41 do 50 let). 74 (88,09 %) jih je bilo univerzitetno izobraženih, 9 (10,71 %) srednješolsko, eden pa je imel osnovnošolsko izobrazbo. Govorili so 25 različnih prvih jezikov, in sicer angleščino (15), ruščino (13), hrvaščino (7), nemščino (5), srbščino (5), madžarščino (4), italijanščino (3), japonščino (3), makedonščino (3), španščino (3), ukrajinščino (3), bosanščino (2), francoščino (2), litovščino (2), nizozemščino (2), romunščino (2), urdujščino (2) in po eden bolgarščino, češčino, finščino, hindijščino, ruandščino, tajščino, turščino in vietnamščino.

4Njihovo znanje slovenščine je bilo ocenjeno na podlagi uvrstitvenega testiranja; učitelji, ki so ga izvajali, so razlikovali med začetniki (Z) in boljšimi začetniki (Z+), pri tistih z nadaljevalnim znanjem med nižjimi nadaljevalci (N–), nadaljevalci (N) in višjimi nadaljevalci (N+), kot izpopolnjevalce (I) so označili tiste z najvišjim znanjem (Tabela 3).⁴²

5Pri T2 so prav tako sodelovali udeleženci tečajev CSDTJ. V T2 je 36 učečih se soglašalo z zbiranjem osebnih podatkov in začelo reševati test. Iz analize so bili izločeni vsi testi, pri katerih je bilo izpolnjevanje prekinjeno in niso bili izpolnjeni do konca ter odgovori enega testiranega, ki ni odgovoril na nobeno vprašanje pri da/ne testu, ohranjeni pa so bili tisti, pri katerih so bila neodgovorjena posamezna vprašanja. ⁴³ Tako je bilo pri T2 pridobljenih 31 ustrezno rešenih testov. Med temi 31 testiranci je bilo 12 moških in 19 žensk. V času reševanja testa so bili stari od 18 do 63 let (25,8 % jih je bilo starih od 41 do 50 let, po 22,6 % pa od 21 do 30 in od 31 do 40 let). 27 (84,4 %) je bilo univerzitetno izobraženih, štirje (15,6 %) pa srednješolsko. Govorili so 16 različnih prvih jezikov, in sicer angleščino (6), nemščino (3), ruščino (3), srbščino (3), hrvaščino (2), italijanščino (2), litovščino (2), makedonščino (2), po eden pa bosanščino, češčino, finščino, madžarščino, malgaščino, portugalščino, španščino in vietnamščino.

6Ob zaključku obeh testov pri T2 so odgovorili tudi na vprašanje, kako ocenjujejo svoje znanje slovenščine po SEJO: 26 jih je svoje znanje ocenilo z ravnmi od A1 do C1, pet pa jih je izbralo odgovor Ne vem (Tabela 4).

7Za primerjalno analizo da/ne testa v T1 in T2 so bili upoštevani samo odgovori oseb, ki so sodelovale v obeh testiranjih. Takih je bilo 25.

6.1. Poznavanje besed glede na njihovo pogostost in profili poznavanja besedišča

1Če pogledamo vse testirance, ki so sodelovali pri T1 in T2, lahko vidimo, da so v povprečju v večji meri poznali frekventnejše besede in za vsakih naslednjih tisoč dosegli nekoliko nižji rezultat (Tabela 5). V obeh testiranjih se je pokazal padajoči profil poznavanja besedišča (grafa 1 in 2). Analiza variance (ANOVA) za odvisne vzorce je pokazala, da se rezultati za posameznih tisoč besed pri T1 in T2 statistično pomembno razlikujejo (T1: ob upoštevanju Huynh-Feldtovega popravka F(2,47, 204,61) = 88,7, p < 0,001; T2: F(3, 90) = 36, p < 0,001). Primerjava povprečnih dosežkov za zaporedne frekvenčne razrede s post hoc testi je razkrila statistično značilne razlike med njimi (T1: za frekvenčna razreda 1–1000 in 1001–2000 je p_bonferroni = 0,002, za preostale pa p_bonferroni < 0,001; T2: za frekvenčna razreda 1–1000 in 1001–2000 je p_bonferroni = 0,024, za preostale pa p_bonferroni < 0,001), razen med frekvenčnima razredoma 2001–3000 in 3001–4000 pri T2 (p_bonferroni = 0,595).

Vir: lastno delo

Vir: lastno delo

2Ocene jezikovnega znanja, ki so jih testiranci dobili na podlagi uvrstitvenega testiranja, smo razdelili v tri kategorije: začetniki (Z), nadaljevalci (N) in izpopolnjevalci (I). Pri skupini Z je analiza variance za odvisne vzorce (repeated measures ANOVA) pokazala, da se rezultati za posameznih tisoč besed pri T1 med seboj statistično pomembno razlikujejo (ob upoštevanju Greenhouse-Geisserjevega popravka F(2,27, 83,91) = 44,3, p < 0,001). Post hoc test je potrdil statistično značilne razlike med vsemi frekvenčnimi razredi (p_bonferroni < 0,001) razen med prvima (1–1000 in 1001–2000), kjer razlika ni bila statistično značilna (p_bonferroni = 0,147). Tudi pri skupini N je analiza variance za odvisne vzorce pokazala, da se rezultati za posameznih tisoč besed med seboj statistično pomembno razlikujejo (ob upoštevanju Greenhouse-Geisserjevega popravka F(2,39, 90,64) = 42,1, p < 0,001), post hoc test pa je potrdil statistično značilno razliko med vsemi zaporednimi frekvenčnimi razredi (med prvima dvema: p_bonferroni = 0,024, med drugim in tretjim: p_bonferroni = 0,006, med tretjim in četrtim: p_bonferroni < 0,001). Pri skupini I je analiza variance za odvisne vzorce prav tako pokazala, da se rezultati za posameznih tisoč besed med seboj statistično pomembno razlikujejo (ob upoštevanju Greenhouse-Geisserjevega popravka F(1,55, 9,32) = 7,26, p = 0,016). Post hoc test ni potrdil statistično značilnih razlik med posameznimi frekvenčnimi razredi (p > 0,05), skoraj značilna pa je bila razlika med razredoma 1–1000 in 3001–4000 (p_bonferroni = 0,057).

Vir: lastno delo

6.2. Da/ne test kot orodje za razvrščanje udeležencev po jezikovnem znanju

Vir: lastno delo

1Kot je razvidno že iz Grafov 3, 4 in 5, so se dosežki testiranih na različnih ravneh jezikovnega znanja razlikovali. Skupno število doseženih točk in korigirane točke za te tri skupine prikazuje Graf 6. Izvedena je bila enosmerna ANOVA za primerjavo skupin glede na število doseženih točk in glede na korigirane točke pri T1. Rezultati so pokazali statistično značilne razlike med skupinami Z, N in I (skupne točke: F(2, 50,2) = 85,4,p < 0,001; korigirane točke: F(2, 45,7) = 82,5,p < 0,001). Tukeyjev post hoc test je pokazal, da so bile razlike statistično značilne med vsemi pari skupin (p < 0,05).

Vir: lstno delo

2Primerjali smo tudi rezultate glede na natančneje opredeljeno jezikovno znanje (Z, Z+, N–, N, N+, I). Graf 7 kaže, da razlike med vsemi skupinami niso zelo izrazite. Z enosmerno analizo variance (ANOVA) so bile potrjene statistično značilne razlike med skupinami (točke: F(5, 34,2) = 91,6, p < 0,001; korigirane točke: F(5, 33,6) = 82,4,p < 0,001). Tukeyjev post hoc test je pokazal pomembne razlike med večino parov skupin ( p < 0,05). Statistično značilnih razlik pa ni bilo med naslednjimi skupinami pri skupnih točkah: Z+ in N– (p = 0,967), N– in N (p = 0,177) in N+ in I (p = 0,931); pri korigiranih točkah: Z+ in N– (p = 0,986), Z+ in N (p = 0,22), N– in N (p = 0,123), N+ in I (p = 0,935).

3Pri T2 so testirani ocenili svoje znanje slovenščine po SEJO. Kot kaže Tabela 6, so tisti, ki so svoje znanje ocenili višje, dosegli boljši rezultat.

4Ker je bil v vzorcu le en testirani, ki je svoje znanje ocenil z ravnjo C1, je bil izločen iz analize variance, upoštevani pa so bili le testiranci, ki so se opredelili na ravneh od A1 do B2. Rezultati enosmerne analize variance kažejo, da obstajajo statistično značilne razlike glede na raven znanja po SEJO pri skupnih točkah (p = 0,003) in korigiranih točkah (p = 0,006). Tukeyjev post hoc test je pokazal, da so testirani na ravni A1 dosegli bistveno nižje rezultate kot tisti na B1 in B2, pri čemer so razlike močno statistično značilne (p < 0,01 pri skupnih točkah, p < 0,05 pri korigiranih točkah). Med testiranimi na ravni A2 in preostalimi ni statistično pomembnih razlik, kar kaže, da njihovi rezultati variirajo in niso enoznačno višji od nižjih ali nižji od višjih ravni, prav tako ni statistično pomembne razlike med testiranimi na ravneh B1 in B2.

5Za izbrane tečaje⁴⁵ je bila izračunana korelacija med številom točk, doseženih na da/ne testu pri T1, in razvrstitvijo testiranih v skupino. Pri Spomladanski šoli, kjer je pouk potekal v petih skupinah in jo je obiskovalo 19 testiranih, se je pokazala močna pozitivna povezanost (za skupne in korigirane točke: τ = 0,777, p < 0,001). Podobno velja za Popoldanski tečaj, kjer je pouk potekal v sedmih skupinah in ga je obiskovalo 34 testiranih (za skupne točke: τ = 0,718, p < 0,001, za korigirane točke: τ = 0,752, p < 0,001). Pri Jutranjem tečaju, kjer je pouk potekal v treh skupinah in ga je obiskovalo 14 testiranih, pa se je pokazala srednje močna pozitivna korelacija (za skupne točke: τ = 0,571, p = 0,011, za korigirane točke: τ = 0,568, p = 0,011). Tudi multinominalna logistična regresija je potrdila, da višje skupne točke na da/ne testu povečujejo verjetnost uvrstitve v višjo skupino (Spomladanska šola – skupne točke: R²_McF = 0,527, korigirane točke: R²_McF = 0,528; Popoldanski tečaj – skupne točke: R²_McF = 0,349, korigirane točke: R²_McF = 0,375; Jutranji tečaj – skupne točke: R²_McF = 0,501, korigirane točke: R²_McF = 0,499; za vse p < 0,001).

6.3. Rezultati da/ne testa glede na prvi jezik testiranih

1Preverili smo, ali pri doseženem rezultatu na da/ne testu pri T1 obstajajo razlike glede na to, ali je prvi jezik testiranega slovanski ali neslovanski, in glede na ocenjeno jezikovno znanje (Z, N, I). Slovanski govorci so v povprečju dosegli višje rezultate kot neslovanski (v povprečju za 967 točk pri skupnih točkah oziroma 858 točk pri korigiranih; Tabela 7). Za statistično analizo⁴⁶ je bila uporabljena dvofaktorska analiza variance (ANOVA). Rezultati kažejo statistično značilne razlike med skupinami Z, N in I (za skupne točke: F(2,78) = 23,37, p < 0,001, η²p = 0,375), prav tako se kot pomembna kaže pripadnost jezikovni skupini (za skupne točke: F(1,78) = 20,01, p < 0,001, η²p = 0,204). Zaznana je bila tudi statistično značilna interakcija med ocenjenim jezikovnim znanjem in jezikovno pripadnostjo (za skupne točke: F(2,78) = 5,30, p = 0,007, η²p = 0,120). Rezultati post hoc testov so pokazali, da so v skupini Z slovanski govorci dosegli bistveno višje rezultate kot neslovanski; razlika v povprečjih znaša 1815 točk in je statistično značilna (p < 0,001, d = 2,53). Razlika v skupini N je nekoliko manjša (razlika v povprečjih znaša 1148 točk), a je statistično značilna (p < 0,001, d = 1,60). Pri skupini I pa razlike med slovanskimi in neslovanskimi govorci niso bile statistično značilne (p = 1,000, d = –0,09), kar pomeni, da jezikovna pripadnost pri tej ravni znanja ni več pomemben dejavnik; slovanski govorci v tej skupini so dosegli celo malenkost nižji rezultat.

6.4. Primerjava rezultatov prvega in drugega testiranja z da/ne testom

1Odgovori 25 testiranih, ki so sodelovali v obeh testiranjih z da/ne testom, kažejo, da so pri T2 poznali več v slovenščini obstoječih besed (M = 1928 : 2334), nekoliko slabši pa so bili pri prepoznavanju nebesed (M = –20 : –180). T-test za ponovljene meritve je potrdil statistično značilno izboljšanje za skupne (za 406 besed, p < 0,001) in korigirane točke (za 246 besed, p = 0,008) ter za posamezne frekvenčne razrede (p < 0,01).

2Rezultate testiranih smo opazovali tudi glede na njihovo jezikovno znanje (Z, N, I), kot je bilo ocenjeno ob začetku tečaja (Tabela 8). Pri skupini Z (N = 10) se je rezultat statistično značilno izboljšal tako pri skupnih točkah kot za vsak frekvenčni razred (p < 0,05). Največji napredek so dosegli pri bolj frekventnih besedah. Pri korigiranih točkah se je njihov rezultat sicer povečal, a ni bil statistično značilen (p = 0,148). Nadaljevalci (N = 13) so svoj rezultat statistično značilno izboljšali v vseh opazovanih postavkah razen v tretjem frekvenčnem razredu (2001–3000). Rezultat v skupini I (N = 2) pri skupnih točkah se je le malenkost povečal, pri korigiranih pa je bil celo slabši. Pri teh točkah in tudi za posamezne frekvenčne razrede ni bilo statistično značilnih razlik (p > 0,05).

6.5. Ujemanje rezultatov da/ne testa in piTeBeFRa

1Testirani, ki so odgovarjali na piTeBeFRa (N = 31), so v povprečju pravilno odgovorili na 29,9 od 42 vprašanj (Mdn = 34, SD = 11,09, min = 1, maks = 42). Tisti, ki so svoje znanje slovenščine po SEJO ocenili višje, so pravilno odgovorili na več vprašanj (Graf 8).

Vir: lastno delo

2Preverili smo, kako se odgovori pri da/ne testu in odgovori pri piTeBeFRa ujemajo (Tabela 9). Delež popolnega ujemanja odgovorov med odgovori pri da/ne testu in odgovori pri piTeBeFRa (1) znaša 78,91 odstotka, za posamezne testirane pa sega od 38,1 do 100 odstotkov (M = 78,26, Mdn = 80,49).

3(1) $Popolnoujemanje\left(\%\right)=\left(\frac{Ja\&Pravilno+Ne\&Napačno}{Ja\mathrm{}\&\left(Pravilno\mathrm{}\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{}Napačno\right)+Ne\&\left(PravilnoaliNapačno\right)}\right)\times 100$

4Pokazala se je visoka pozitivna korelacija med rezultatom da/ne testa in številom pravilnih odgovorov na piTeBeFRa (za skupne točke: r_S(29) = 0,882, p < 0,001; za korigirane točke: r_S(29) = 0,846, p < 0,001).