Pretestace na Pedagogické fakultě Masarykovy univerzity (Testy podle STANAG 6001)

V říjnu roku 2008 se na katedře anglického jazyka a literatury Pedagogické fakulty Masarykovy univerzity (KAJ PdF MU) uskutečnila pretestace testu anglického jazyka podle STANAG 6001 (standardizační dohoda NATO). Test byl vytvořen examinátory Ústavu jazykové přípravy Armády České republiky (dále ÚJP). Po třech dnech, které strávily examinátorky ÚJP, konkrétně Mgr. Barbora Čásová a Mgr. Helena Rýlichová, na pedagogické fakultě, je jisté, že byla navázána dlouhodobá spolupráce s významným partnerem, tedy Masarykovou univerzitou.

Další informace

  • ročník: 2009
  • číslo: 2
  • stav: Nerecenzované / Nonreviewed
  • typ článku: Vědecký / Research

1. Úvod

V říjnu roku 2008 se na katedře anglického jazyka a literatury Pedagogické fakulty Masarykovy univerzity (KAJ PdF MU) uskutečnila pretestace testu anglického jazyka podle STANAG 6001 (standardizační dohoda NATO). Test byl vytvořen examinátory Ústavu jazykové přípravy Armády České republiky (dále ÚJP). Po třech dnech, které strávily examinátorky ÚJP, konkrétně Mgr. Barbora Čásová a Mgr. Helena Rýlichová, na pedagogické fakultě, je jisté, že byla navázána dlouhodobá spolupráce s významným partnerem, tedy Masarykovou univerzitou.

2. Pretestace

Pretestace proběhla v hodinách Mgr. Ivany Hrozkové na KAJ. Vše probíhalo podle předem stanoveného plánu, na kterém se vedle pracovníků ÚJP podílela také bývalá ředitelka odboru metodiky a testování na ÚJP, nynější pedagožka zmíněné fakulty, Mgr. Sonia Šamalíková. Ta vybrala vhodný vzorek pro pretestaci z řad několika set studentů a společně s Mgr. Hrozkovou připravila veškeré náležitosti pro hladký průběh celé akce. Hned na úvodním jednání bylo dohodnuto, že výsledky z pretestace bude mít k dispozici i KAJ.

2.1 Příprava testu poslechu s porozuměním (dále poslech) a čtení s porozuměním (dále čtení)

Pretestace neznamená jen samotné testování vhodné populace, tj. distribuci testů a vyplnění záznamových archů. Pretestaci předchází příprava testů, což je velmi náročný a zdlouhavý proces, na kterém se podílí všichni členové examinátorského a metodického týmu ÚJP. Vše začíná tvorbou položek podle testových specifikací pro testy podle STANAG 6001. Tvůrce položky si nejdříve vyhledá vhodný text, který musí vycházet z autentického jazyka, a po stránce slovní zásoby, gramatiky a dalších jazykových funkcí, musí korespondovat s požadavky dané zkoušené úrovně, tedy SLP 1-2 a 2-3 (standardizovaný jazykový profil). U poslechových položek je použit upravený autentický materiál, ve kterém může být zastoupen hlas ženský i mužský, a také britská i americká angličtina.

Posléze je nutné všechny položky podrobit moderaci. Moderace je proces, při kterém skupina examinátorů hodnotí kvalitu textu a správnost orientace [1], stemu [2], distraktorů [3] a v neposlední řadě i vhodnou formulaci správné odpovědi.

Po moderaci musí být položka upravena podle připomínek a znovu moderována. Ve chvíli, kdy je položka schválena všemi členy moderátorské skupiny, je zkontrolována rodilými mluvčími a teprve poté je položka zařazena do databáze testových položek a posléze do testu určeného k pretestaci.

Finální verze testu určená k pretestaci musí splňovat ještě mnohá další obsahová kritéria, která jsou přesně popsána v testových specifikacích. Práce na testu určeného k pretestaci pak končí nahrávkou poslechové části, ta je zpracována do digitální podoby v nahrávacím studiu ÚJP ve Vyškově.

Proces tvorby testu podle STANAG 6001 je tedy dlouhý a náročný a vyžaduje pozornost celého Odboru metodiky a testování.

2.2 Průběh pretestace

Bylo domluveno, že pretestace proběhne se studenty studijního oboru učitelství pro 1. stupeň ZŠ. Tito studenti nemají anglický jazyk jako předmět aprobace, je však pro ně povinný a skládají z něho ve třetím ročníku soubornou zkoušku. Pretestace se účastnili studenti a studentky 3. a 4. ročníku, ve věku mezi 20 a 30 lety, kteří měli rozdílnou dotaci hodin praktického jazyka, v průměru cca 100 vyučovacích hodin po dosavadní dobu studia.

Prvotní představa spolupráce, která byla formulována ředitelem odboru metodiky a testování ÚJP mjr. Mgr. Janem Šmídem a vedoucí KAJ Mgr. Světlanou Hanušovou, Ph.D., se tedy postupně stávala realitou. Dne 7. října 2008 se na fakultu dostavily examinátorky ÚJP s připravenými testy a hned první den je pretestovaly ve dvou skupinách studentů: první skupina sestávala z 16 osob, druhá z 20, jejich předpokládaná úroveň anglického jazyka byla SLP 2 nebo přibližně B 2 podle tzv. společného evropského referenčního rámce pro jazyky (SERR).

Testovány byly dovednosti čtení a poslech. Studenti nebyli o pretestaci předem informováni, avšak vzhledem k vědomí, že s výsledky testů bude seznámena KAJ, byla jejich motivace značná. Následující den proběhla pretestace podobně, tentokrát byla však testována jedna skupina studentů čítající 40 osob.

2.4 Interpretace výsledků

Třetí den pretestace byl určen k individuálním konzultacím výsledků studentů. Výsledky byly na přání KAJ interpretovány v kontextu SERR. Byla vyznačena úroveň, které by studenti (na základě informací KAJ) v testovaných dovednostech měli dosáhnout, a dále úroveň, které skutečně dosáhli podle bodového ohodnocení podle STANAG 6001.

Klasifikace užívaná na ÚJP (STANAG 6001) byla přibližně porovnána s klasifikací SERR s odvoláním na studii Vince Kelly (Kelly, 2005).

3. Interpretace výsledků pretestace v kontextu s ÚJP

3.1 Charakteristika testované populace na KAJ

Pretestace se zúčastnilo 38 studentů 3. ročníku a 38 studentů 4. ročníku prezenčního studia oboru učitelství pro 1. stupeň ZŠ ve věku mezi 20 a 30 lety, převážně žen. Jejich hodinová dotace anglického jazyka během dosavadního studia byla přibližně:

1. ročník: povinně: cca 26 x 45 min. fonetika a fonologie

volitelně: cca 26 x 45 min. jazyková cvičení

2. ročník: povinně: cca 26 x 45 min. gramatika

volitelně: cca 26 x 45 min. jazyková cvičení

3. ročník: povinně: cca 13 x 45 min. fonetika a fonologie

volitelně: cca 26 x 45 min. jazyková cvičení

4. ročník: do doby pretestace cca 6 x 45 min. didaktika

3.2 Charakteristika testované populace na ÚJP AČR

Výsledky studentů z pretestace na PdF MU byly porovnány se vzorkem výsledků testované populace z ÚJP, kterou představovalo 41 studentů kombinovaných kurzů s cílovou úrovní v AJ SLP 2 ve věku mezi 20 a 50 lety, převážně mužů. Jejich hodinová dotace byla přibližně 320 x 50 min.

3.3 Grafické znázornění výsledků

Studenti PdF MU

Graf 3.3.1: PdF MU: výsledky dovedností poslech a čtení

d-Rylichova-Graf3.3.1

Studenti ÚJP

Graf 3.3.2: ÚJP: výsledky dovedností poslech a čtení

d-Rylichova-Graf3.3.2

Studenti ÚJP a PdF MU

Graf 3.3.3: Porovnání výsledků dovedností poslech a čtení

d-Rylichova-Graf3.3.3

Z grafů vyplývá, že dovednost čtení na úroveň SLP 2 zvládli studenti PdF MU lépe než dovednost poslech (poslech – 17 studentů, čtení – 34 studentů), celkově však studenti ÚJP dosáhli lepších výsledků, tj. větší počet z nich dosáhl úrovně SLP 2 (poslech: ÚJP 44 %, PdF 22 %; čtení: ÚJP 68 %, PdF 45 %).

Z pohledu PdF MU můžeme výsledky hodnotit jako uspokojivé, a to vzhledem k hodinovým dotacím anglického jazyka u konkrétní skupiny na PdF MU (viz výše).

4. Analýza pretestovaného testu

Zpracování testu do fáze, ve které může být postoupen pretestaci, již bylo stručně popsáno v bodu 2.1. Po pretestaci se však na testu musí dále pracovat. Podle výsledků položkové analýzy se upravují jednotlivé položky, jsou sledovány především hodnoty F.V. [4] a D.I. [5]. Reliabilita testu je měřena Cronbachovou Alphou [6]. Tyto hodnoty však nejsou zdaleka jedinými kritérii, které je třeba sledovat v rámci analýzy testu.

Po pretestaci můžeme na základě hodnoty alpha považovat daný test za reliabilní. Examinátoři ÚJP v něm pouze upravili některé položky a poté byl test podroben další pretestaci, tentokrát na Jazykovém inštitútu Armády Slovenské republiky, a v analýze se opět potvrdila reliabilita testu a kvalita jeho jednotlivých položek.

5. Závěr

Spolupráce ÚJP s PdF MU je hodnocena oboustranně pozitivně. Pro ÚJP je spolupráce s tak renomovanou institucí velmi přínosná, ústav získal nejen cenná data k analýze, ale také partnera pro další pretestace a konzultanta v oblasti testování. ÚJP poskytl na základě reciprocity Mgr. Šamalíkové možnost prezentace výstupů na rezortní jazykové konferenci, kterou ÚJP každoročně pořádá, v roce 2008 to bylo 22. října. Výstupy z pretestace umožňují KAJ ověřit úroveň anglického jazyka studentů, případně mohou být také použity při úpravě sylabů a pro další potřeby.

Zástupci KAJ vyslovili na základě tohoto úspěšného projektu přání pokračovat ve spolupráci v oblasti pretestací a testování. ÚJP tak získal velmi silného partnera v oblasti testování, což jistě přispěje k dalšímu profesnímu růstu celého odboru.

Poznámky k textu

[1] Nadpis položky, který představuje úvod do textu.

[2] Úkol, který jednoznačně vystihuje, co má kandidát řešit, většinou ve formě otázky.

[3] Nesprávná nebo méně správná řešení úkolu. V testu jsou vždy tři taková řešení.

[4] FV = Facility Value – měří obtížnost položky, je to procentuální poměr studentů, kteří zodpověděli položku správně.

[5] D.I. = Discrimination Index – měří rozlišovací schopnost položky, tedy jak dobře položka rozlišuje mezi studenty s různou úrovní dané dovednosti.

[6] Cronbachova Alpha – statistická metoda zjišťující míru vnitřní konzistence.

Literatura:

KELLY, V. STANAG 6001 and CEF: Comparison of Level Descritpors. Westminster: University of Westminster, July 2005.

KOHOUTEK, R., Slovník cizích slov. [online]. Available on: .

STANAG 6001: Language Proficiency Levels. Edition 2, unclassified. Brussels: NATO/PfP, June 2002.

ALDERSON, J. C., CLAPHAM, C. M., and WALL, D. M. Language Test Construction and Evaluation. Cambridge: Cambridge University Press, 1995.

Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Strassbourg: Modern Languages Division, 2001.

BERKA, M., VÁŇOVÁ, T. Základy testování pro učitele. Brno: Pedagogická fakulta, Msarykova Univerzita, 2005.

PRŮCHA, J. Jak testovat výsledky výuky v malých skupinách. Praha: Národní centrum distančního vzdělávání, 2003.

Zanechat komentář

FaLang translation system by Faboba