NYME-SEK
Testing in ELT 2
Seminar material
Szücs Judit
Revised in 2010
1
Contents
1.
Course description
2.
Handouts
3.
Take-home assignment
2
1. Course description
Code: SKANAN-8036
Title: Testing in ELT practice 2 VIZSGAKURZUS
Type of assessment: seminar grade
Credit: 1
Lecturer: Szücs Judit
Prerequisites: KANAN/KAEAN/KADEAN7034, KDEAN-7035, KAEAN-7035, or KANAN-7035
Aims:




To acquaint students with the practice of language testing
To prepare them to compile English language tests for various purposes
To acquaint them with the statistical aspects of language testing
To acquaint them with them with some popular Hungarian and international language
examinations
Content:
Testing speaking and listening
Testing grammar, vocabulary, and translation
Test administration. (in Hughes)
Statistical aspects
Terminology used in Hungary: mono- and bilingual examinations
Testing in ELT – the Hungarian scene (topics for take-home assignment)
Testing in ELT – the international scene (topics for take-home assignment)
Assessment:
Portfolio
20%
Written assignment
40%
End-term paper
40%
Bibliography:
Set titles:
Chapters/sections from:
Heaton, J.B. (1988) Writing English Language Tests Harlow: Longman
Heaton, J.B. (1990) Classroom Testing Harlow: Longman
Hughes, A.(1989) Testing for Language Teachers Cambridge: CUP
Recommended:
Alderson, Ch. and B. North (1991) Language Testing in the 1990s London: Macmillan
Alderson, J. Ch. and B. North (1991) Language Testing in the 1990s London: Macmillan
Alderson, J. Ch., K.J. Krahnke, and C.W. Stansfield (1987) Reviews of English language proficiency tests.
Washington D.C.: TESOL
Bachman, L.F. (1990) Fundamental Considerations in Language Testing Oxford: OUP
Bachman, L.F. and A.S. Palmer (1996) Language Testing in Practice. Oxford: OUP
Bárdos, J. (2002) Az idegen nyelvi mérés és értékelés elmélete és gyakorlata. Nemzeti Tankönyvkiadó
Harrison, A. (1983) A Language Testing Handbook London: Macmillan
3
Henning, G.(1987) A Guide to Language Testing Cambridge, Mass.: Newbury House
Némethné Hock Ildikó (1998) Idegen nyelvi mérés és vizsgatechnika. Veszprémi Egyetemi Kiadó
Oller, J.W. (1979) Language Tests at School Harlow:Longman
TESOL
Underhill, N. (1987) Testing Spoken Language Cambridge: CUP
Valette, R.M. (1967,1977) Modern Language Testing Harcourt Brace Jovanovich
4
2. Handouts
TESTING SPEAKING
Testing speaking skills: in the classroom and at examinations
Activity 1




Discuss the following questions.
How far is it possible to focus on the skill of speaking when measuring speaking abilities?
What factors can influence a student’s oral performance?
How far should an oral interview be a natural conversational situation?
How is speaking evaluated? What aspects can be taken into account?
Activity 2
In groups of 3 - 4, choose an oral test you are familiar with (either as student or teacher).
Analyse it using the following questions as guidelines.
 What are the aims of the test?
...............................................................................................................................................................
.......................................................................................................................
 How is it designed?
...............................................................................................................................................................
.......................................................................................................................
 How is it administered? Who are the participants? (possible key words: assessor, interlocutor,
message)
...............................................................................................................................................................
...............................................................................................................................................................
...................................................................................................
 What task/s does it consist of?
...............................................................................................................................................................
...............................................................................................................................................................
...................................................................................................
 What are its advantages and disadvantages?
..........................................................................................................................................
...............................................................................................................................................................
...............................................................................................................................................................
...............................................................................................................................................................
...............................................................................................................................................................
...........................................................
 Any specific features worth mentioning:
...............................................................................................................................................................
...............................................................................................................................................................
...................................................................................................
Compare your findings with the other groups.
5
TESTING LISTENING
 What macro- and micro-skills are needed for listening comprehension?
 How far can testing listening be separated from testing other skills?
Activity 1
Collect as many cases of testing listening as you can. Then, in groups of 3-4, describe the
features of one of them. Focus on the following questions:
 What types of texts are used?
...............................................................................................................................................................
............................................................................................................................................................
 How long is the test?
...............................................................................................................................................................
.............................................................................................................................................................
 What tasks does the test contain?
...............................................................................................................................................................
...............................................................................................................................................................
...............................................................................................................................................................
...........................................................................................................................................................
 How are the tasks evaluated? What about passgrade?
...............................................................................................................................................................
...............................................................................................................................................................
...............................................................................................................................................................
...............................................................................................................................................................
..........................................................................................................................................................
Some specific problems with testing listening
1.



Selecting samples of speech
sources
types of text, genre
authenticity
A In the framework of the twinning programme the European Commission and the EU Member
States together have mobilized significant human and financial resources help the candidate
countries to meet the challenge of strengthening their administrative capacity. In the Member
States the acquis is implemented by national administrations (at central, regional and local level),
by agencies, professional bodies and the private sector. This vast body of administrative and
technical expertise is being made available to the candidate countries through the process of
twinning.
B
W:
Let’s walk to the World of Coca Cola. It can’t be that far.
L:
It isn’t, but it’s all uphill. It’s also 33 degrees outside.
W:
It’s farther than I thought.
L:
Let’s take the MARTA, then. I see the entrance over there.
W:
This is the Peachtree Centre entrance. Remember that, so we
can get home.
L:
How do we pay for it?
W:
There’s the fare machine. Look, this subway uses tokens. …..
6
C Among the features of the environment, which shape the linguistic behaviour, performance factors
are now increasingly engaging mainstream linguists (e.g. see J. Hawkins’ (1995) widely
commended and cited study). Even if some innate capacity for acquiring the spoken language is
accepted, however, we should remember the observation of Mattingley (1972) that there is not a
scrap of evidence for any innate expectation regarding the written form of the language.
D






Give me the plains, where it seldom rains,
And the wind forever blows …
It is there I would be,
Though there’s never a tree,
And the farther you look, the less you see.
For there’s where the beefsteak grows,
There’s where the beefsteak grows.
(Cowboy’s song)
difficulty level
editing
length
technical problems, sound quality
live or recorded?
accents, dialects, non-native speakers
2. Writing items
Techniques: (Heaton 1988:65-86)
multiple choice
short answer
information transfer
note taking
partial dictation
comprehension through visual materials
understanding talks and lectures
lower levels: phoneme discrimination (pictures and words, choosing sentences)
stress and intonation
following instructions
Advice: items in order of appearance
appropriate difficulty level of task
time between items
make sure the necessary information is audible
3. Pretesting, piloting
4. Test administration
 seating arrangement
 good acoustics, quiet room
 high quality recording (no copies)
 high quality recorder
7
 invigilator/s
 clear instructions for both candidates and invigilators
5. Scoring
 detailed scoring key
8
TESTING GRAMMAR, VOCABULARY, AND TRANSLATION
Homework task: Read Alderson’s article on translation as a testing technique.
1) Testing grammar
 When is testing grammar justified?
 What kind of testing is used to test grammar?
 What are the specifications of a grammar test based on in the case of
- an achievement test?
- a placement test?
- a proficiency test?
- a diagnostic test?
Activity
A) In groups/pairs, design one or two of the following test items:
1. paraphrase/transformation
2. completion / gap-fill
3. modified close
4. multiple choice
5. error recognition multiple choice
6. rearrangement
7. pairing or matching
B) Work out a scoring key and discuss marking problems.
2) Testing vocabulary
 When and why test vocabulary?
 What is the difference between recognition and production items?
Activity
Put the following techniques in two columns (some may be used twice).
synonyms
definitions
gap filling (multiple choice)
matching pictures with words
giving the names of objects in pictures
gap filling
completion items(letters,
words)
giving the English/Hungarian equivalent
matching English and Hungarian words
RECOGNITION
PRODUCTION
How are such items evaluated?
Note: For a detailed list of item types, see Heaton 1988:34-62.
3) Matching as a technique

Use
9


Advantages
Disadvantages
4) Testing Language in Use


Techniques
Use
5) Translation: its role and place in testing ELT




Translation in the EFL/ESL classroom
Skill or testing technique?
Kinds of translation
Translation, mediation, interpretation
10
MONO- AND BILINGUAL LANGUAGE EXAMINATIONS
1. Bilingualism
Bilingual: ~ speaker, ~ education, ~ lexicon, ~ performance
2. Translation as a test task and as a testing technique
o
o
Translating sentences
Translating a text
 From L1 to L2
 From L2 to L1
Moving beyond lexis and grammar: semantic, pragmatic, cultural implications, code-switching
Translation vs. mediation
3. NYAK, NYAT www.nyak.hu
General
English
ESP
Some accredited monolingual exams
UCLES ESOL, CELS, Trinity, ECL,
TELC,
KITEX, NATO STANAG
Some accredited bilingual exams
ORIGO, BME, Euro, KJF, Pannon
OECONOM, PROFEX
Alapfogalmak:
Nyelvvizsga, nyelvvizsga-bizonyítvány: A nyelvvizsga olyan szintmérés, amelynek során a vizsgázó
idegennyelv-tudását méri fel a vizsgáztató intézmény. Itt csak azokkal a nyelvi vizsgákkal
foglalkozunk, amelyeket az állam ismer és elismer. A mérés során az eredményről, vagyis a
nyelvtudás szintjéről valamilyen bizonyítványt ad ki a vizsgáztató.
Állami nyelvvizsga: 2000. január 1. előtt csak az Idegennyelvi Továbbképző Központ bonyolított le
olyan nyelvvizsgákat, amelyeket az állam elismert, és valamilyen módon előnyöket biztosított
azoknak, akik a vizsgát sikeresen letették, és bizonyítványt szereztek. Ilyen előny volt pl. az, hogy a
bizonyítvány bemutatása esetén nem kellett idegen nyelvből érettségi vizsgát tenni, plusz pontot adtak
érte a felvételin, az egyetemen, főiskolán a diplomához előírt nyelvtudást megfelelően igazolta,
nyelvpótlékot adtak érte, stb. 2000. január 1. előtt is voltak még olyan más vizsgák, bizonyítványok is,
amelyekre ugyanezek az előnyök jártak, vagyis az állam ezeket "egyenértékűnek" tekintette az állami
nyelvvizsgával. A pontos felsorolást ld. 3/1980 MM rendelet mellékletében.
Államilag elismert nyelvvizsga: 2000. január 1. óta több olyan nyelvvizsga és (sikeres teljesítés
esetén) nyelvvizsga-bizonyítvány van, amelyet az állam elismer, és a bizonyítvány megléte esetén a
fenti előnyöket nyújtja. A bizonyítványokat kiadó intézmények felsorolását megtekintheti Web
oldalunkon. Fontos tudni, hogy minden 2000. január 1. előtt szerzett állami nyelvvizsga-bizonyítvány
automatikusan államilag elismertnek minősül 2000. január 1. után.
Akkreditáció: annak az eljárásnak a neve, amelynek során az erre felhatalmazott Testület egy-egy
vizsgaközpont által bonyolított vizsgaeljárásról megállapítja, szakszerű-e, elméletileg megalapozott-e
az adott vizsgáztatás általában. Fontos tudni, hogy az akkreditáció során nem egy-egy
vizsgabizonyítványról foglalnak állást, hanem egy-egy vizsgaközpont kérésére a Testület lefolytat egy
átvilágítást, és kiad egy vizsgaközpontnak működési engedélyt. Az akkreditált vizsgaközpontok azok
az intézmények, amelyek államilag elismert nyelvvizsgáztatást folytathatnak, és a vizsgázóknak
sikeres teljesítés esetén államilag elismert nyelvvizsga-bizonyítványt adnak.
11
Akkreditált nyelvvizsga: az akkreditált vizsgaközpontban lefolytatott nyelvvizsga.
Egyenértékűség: Ha külföldi központ folytat az állam által elismert formában nyelvvizsgáztatást, és
ad ki államilag elismert nyelvvizsga-bizonyítványt, akkor az a külföldi központ Magyarországon
egyenértékű, és ezáltal államilag elismert. Különbség a magyar és a külföldi központ között a
bizonyítvány használhatóságában nincs, lehet azonban a vizsgadíjban, a külföldi központok
vizsgadíjait magyar jogszabály ugyanis nem maximálja.
Honosítás: Ahogyan egy vizsgaközpont teljes nyelvtudás-mérési tevékenysége akkreditáció által válik
Magyarországon államilag elismertté, egy államilag nem elismert bizonyítvány a honosítás eljárásán
keresztül válhat államilag elismertté. Ha tehát valakinek van egy külföldi nyelvvizsgája, és nem
szeretne újból vizsgázni egy akkreditált magyar, vagy egyenértékű külföldi központnál, akkor
megkísérli ezt a bizonyítványt Magyarországon államilag elismert nyelvvizsgaként elfogadtatni. Ez
igen egyszerű, ha a bizonyítványt olyan külföldi nyelvvizsga-központnál szerezte, amely időközben
Magyarországon egyenértékűvé vált, vagyis már államilag elismert nyelvvizsga-bizonyítványt ad ki
sikeres vizsga esetén. Ezt nevezzük általános honosítási eljárásnak. Ha a vizsgaközpont nem vizsgáztat
Magyarországon, és nem is ismert a Testület számára, (és nem szerepel a Testület által összeállított
nemzetközi nyelvvizsgák listáján, mely a honlapon található), akkor hosszadalmasabb, bonyolultabb
az eljárás, nem is egyértelmű a honosíthatóság, és az is elképzelhető, hogy kiegészítő vizsgát kérnek.
Ezt nevezzük egyedi honosítási eljárásnak.
Egynyelvű - kétnyelvű nyelvvizsga (bizonyítvány): Ha nyelvvizsgát teszünk, az írásbelin felmérik
az íráskészségünket és azt, értjük-e a leírt idegen nyelvű szöveget. Sok esetben külön írásbeli
feladatsorral ellenőrzik a nyelvtani, nyelvhelyességi tudásunkat. A szóbelin beszédkészségünket
tesztelik és azt is, értjük-e a hallott szöveget. (Ez a feladat sokszor az írásbeli vizsgával, vagy mindkét
vizsgarésztől függetlenül) kerül megszervezésre. Különbség az egyes vizsgák között abban van igazán,
hogy vannak olyanok, amelyek tesztelik a közvetítési (pl. írásban a fordítási) készséget is, mások
viszont nem. Azok a vizsgák, amelyeken előfordul írásban vagy szóban közvetítési feladat, azok
kétnyelvűek, amelyeken ilyen feladat nincs, azok az egynyelvű nyelvvizsgák. Az "egynyelvű" illetve
"kétnyelvű" kifejezés a bizonyítványban is megjelenik. Legtöbb célra (felvételi pluszpont, 2005-ig az
érettségi kiváltása) mind az egynyelvű, mind a kétnyelvű bizonyítvány alkalmas, kivéve ha az adott
intézmény Tanulmányi és Vizsga Szabályzata másképp rendelkezik. Érdemes erről az intézmény
Tanulmányi Osztályán előzetesen érdeklődni.
Mit jelent az, hogy nyelvvizsga egynyelvû vagy kétnyelvû?
A „Mi a nyelvvizsga?” kérdésre részletesen leírtuk a nyelvtudás részeit és az annak megfelelõ
vizsgarészeket a nyelvtudás mérésében. A leírás az egynyelvû vizsgára vonatkozik. A kétnyelvû
vizsga esetében a nyelvvizsga kiegészül egy fordítási, vagy közvetítési készséget mérõ vizsgarésszel.
Az egynyelvû és kétnyelvû vizsgák alapvetõen különbözhetnek egymástól a „felhasználó”
szempontjából. Érdemes tájékozódni, mielõtt vizsgát választunk, hogy az elérni kívánt kedvezmény
melyik után jár.
12
STATISZTIKAI ASPEKTUSOK ÉS ITEM(ÜTEM/TÉTEL)-ELEMZÉS
1. Leíró statisztika
a) Mérési skálák
1. oszlop
2. oszlop
pontszám
János
Péter
Ede
Sára
Miklós
Éva
Nóra
Ádám
Dénes
Mária
20
19
15
14
13
12
12
10
9
2
3. oszlop
helyes megoldás %
100
95
75
70
65
60
60
50
45
10
4. oszlop
rang
1
2
3
4
5
6,5
6,5
8
9
10
5. oszlop
6. oszlop
megfelel/nem osztályzat
felel meg
megf.
5
megf.
4
megf.
3
megf.
3
megf.
2
megf.
2
megf.
2
nem f.
1
nem f.
1
nem f.
1
(Koster, 1996 nyomán)
b) Az adatok leírása:
Szóródás / Terjedelem // Range
A legmagasabb és a legalacsonyabb pontszámok közti különbség
(Számtani) átlag // Mean
az értékek összege osztva az értékek számával
Szórás (s) // Standard deviation
 az összes értéknek a középértéktől való átlagos értékének a mutatószáma
 alacsony szórás  értékek egymáshoz közel
 magas s  értékek között nagy a távolság
Variancia // Variance
szórás négyzete
c Az adatok megjelenítése
 táblázat
 hisztogram
 poligon
 oszlopdiagram
 kördiagram
13
2. Item (ütem / tétel) – elemzés (objektív tesztek)
Mikor?


teszt elvégzése után (pontszámok birtokában)
teszt elvégzése előtt
Mire jó?



információ a tanulócsoport teljesítményéről (haladást mérő tesztek)
információ a tanulók egyéni teljesítményéről
információ az egyes ütemek működéséről
Ütem nehézségi foka
 p-érték ( FV, facility value): az ütemre helyes választ adók százalékos aránya (helyes válaszok
száma osztva a tanulók számával
 1p0
 feleletválasztós tesztnél 0,5 – 0,75 jó (esetleg magasabb)
 d-érték : hányan választanak egy bizonyos disztraktort
 ha magasabb, mint p, akkor gond van az ütemmel
 vegyes nehézségi fokú ütemek szerepe
- motivál
- különböző szinteken is diszkriminál
Ütem diszkrimináció
 D-index, 1  D  -1
20 tanuló, legjobb és leggyengébb 25%
legjobb csoport
1
2
3
4
5
összeg
arány
leggyengébb csoport
16
17
18
19
20
összeg
arány
pontszám x ütemben
1
1
0
1
1
4
0,8
pontszám x ütemben
1
0
1
0
0
2
0,4
D  0,8 – 0,4  0,4
Felhasznált irodalom:
Heaton, J.B. (1988) Writing English Language Tests. Longman
Koster, C.J. (1996) Statisztika nyelvtanároknak és diákoknak. Pécs – Amszterdam
14
3. Take-home assignment
Testing in ELT 2 / practice
SKANAN8035
2010 Spring Term
TAKE-HOME ASSIGNMENT
Research topics to choose from:
 Short presentation and analysis of the UCLES examinations
 Comparing the TOEFL and the IELTS
 Comparing the ECL and the Dialang
 Short presentation and analysis of an examination system (of your choice), accredited
in Hungary
 Short presentation and analysis of the Hungarian school-leaving exam
Please bear in mind, that:


You are not allowed to borrow text from existing printed or electronic publications (not even
the set textbook for the course) without supplying proper reference. If more than a phrase is
used, you should even give page reference.
All the books, articles, electronic sources etc. you consulted while working on your paper
must be stated in the reference section.
 Word limit: 3000 ( + 10%) + appendix, if applicable.
 All papers must be word processed (1.5 spaced, for electronic: Word 95 or above,.doc
format – no viruses, please!)
 Papers are to be submitted in a hard copy (=printed) AND in an electronic version
(mailed to szjudit@btk.nyme.hu only)
Assessment to be used:
Content
Organization, referencing
Language (register, style)
TOTAL
20%
10%
10%
40%
Deadline
 8 May 12 pm for the electronic version
 10 May 12 am for hard copies
Szücs Judit
course tutor
21 February 2010
15