Werken met scripts en rubrics
Toetsconferentie Fontys/FLOT
Monique Maas
Kwaliteit van toetsen en beoordelen
Lector Desiree Joosten-ten Brinke
Praktijkonderzoek
• Vakdidactiek deeltijd jaar 1 lero Engels
• Vakdidactiek leesvaardigheid
• Onderzoeksvraag: Effect self-efficacy
gemeten
Aanleiding
Doelmatig(er) leertraject vakdidactiek
Engels in
BA deeltijd programma
Nadruk op een effectieve transfer van
theoretische vakdidactische kennis
richting toepassingsgerichte kennis
Door gebruik te maken van rubrics,
checklists en scripts
Praktijkonderzoek
Wetenschappelijke literatuur over rubrics,
scripts en checklists
Toepassingen binnen vakdidactiek
mogelijk
Faciliteren van het leren van studenten
tijdens de les met rubrics, scripts en
checklists  diagnostische feedback van
docent en critical friends (peer-evaluations)
tijdens de cursus moeten self-assessment
en zelf-lerend vermogen vergroten van
de student
Rubric
• “a rubric is a rating scale that consists of
ordered categories, together with
descriptions criteria that may include
exemplars, which are used to sort studentproduced responses into level of
achievement.” (Schafer, 2001: 151)
Rubric
Assessment
FORMATIVE ASSESSMENT
PROMOTING LEARNING
(self-study and instruction hours)
Self-assessment
SUMMATIVE ASSESSMENT
IMPROVING TEACHING
(producing teaching materials after instruction/learning theory) (transfer)
Peer-assessment
Intellectual engagement:
Portfolio contains
Understanding purpose of
course and question at
issue; information relevant
to the course; grasping key
concepts; insight into
inferences and assumptions
you are making; overseeing
implications; understanding
the point of view within
which you are thinking
Can you be a critical
friend to other course
participants and
provide constructive
feedback in various
stages of materials
development based
on checklists?
-/+
+
-/+
Below: room for questions pertaining to
course requirements after self-/peerassessments
One extensive reading
worksheet + teacher
guide (see below)
One-hour intensive
reading lesson materials
and lessonplan + teacher
guide (see below)
Two Files
Test theory: test analysis
(extensive and/or
intensive reading)
O (4-5)
Work submitted after
deadline and/or
incomplete.
Substandard or
ineffective learning
materials, unsuitable
for target group.
No clear link
between learning
objectives and
activities.
Inadequate structure
of lesson.
Inadequate build-up
of difficulty and
productivity in
assignments
(Neuner)
Language
substandard, too
many errors
V (6)
Work submitted on
time according to
requirements.
Theoretical knowledge
is correctly applied in
coursework on a basic
level.
Activities allow
students to meet
learning goals.
Materials can be used
in classroom after
(minor) editing
Some language
errors, generally C1
CEFR, instructional
language on the
whole appropriate for
target group
G (7-8)
ZG (9-10)
Work submitted on
time according to
requirements.
Work submitted on
time according to
requirements.
Student can apply
theoretical insights
and come up with a
personal interpretation
based on theoretical
insights.
Student has
internalised theoretical
knowledge and is able
to translate insights
into creative new
learning materials of
publishable quality.
Materials developed
are suitable for use in
classroom.
C1 CEFR,
instructional language
appropriate for target
group
Student uses
(scientific) publications
to back up decisions in
teaching and
construction of
teaching materials.
C2 CEFR, instructional
language appropriate
for target group
Checklist
• “a checklist is a task analysis whereby a
teacher deconstructs or dissects that
abstract standard and classifies and
sequences the discrete skills into
manageable steps or building blocks that
lead to the successful completion of the
bigger performance task targeted in the
standard.” (Burke, 2011: 87-8)
Checklist
CHECKLIST INTENSIVE READING
Design a one-hour intensive reading lesson, in which pupils practise intensive reading skills
(integrated skills lesson). Your lesson is structured, starting with lead-in activities to activate
pupil’s prior knowledge, before moving on to activating assignments. Always conclude with an
evaluative activity. Use the official Fontys lesson-plan format (also on Sharepoint site). Also
include the learning materials you use, like (authentic) texts, assignments, etc. Note: it is
possible to select a text from a course-book (provide the source), if you really can’t find a
suitable text, or if you have difficulty in establishing the level of difficulty for your intended target
group. You must, however, come up with your own tasks and activities.
In the teacher guide: clearly define an objective based on the kerndoelen for your lesson.
Explain how the activities engage the pupils into participating, and how the activities are
appropriate for onderbouw-level pupils in secondary education or MBO, level 1 or 2. And why
your materials are expected to be interesting for your intended target group. Also explain how
the different tasks have a Neuner typology-build-up: from A via B and C to D assignments. The
D-activity should be a productive D-type task linked to the learning goals set in relation to
reading within a communicative context.
Discuss: backwash, validity, relevance, objectives, activities, efficiency (correction time for
teacher is limited).
Also provide answers to the tasks.
Refer to relevant methodological (vakdidactiek) literature and explain how activities ,
assignments, teaching (and testing) are in alignment with the objectives (constructive
alignment).
Script
• SCRIPT: “specific questions structured in
steps to follow the expert model of
approaching a task from beginning to end
(…) Their use enhances self-regulation
through activating adequate learning
strategies, promoting more accurate selfassessment, and a deeper understanding
of the content, and thus a higher level of
leaning.” (Panadero 2012: 807)
Script
Script (samen met studenten in OLG-werkvorm opgesteld)
Intensive reading lesson
9 December 2013
Leerdoel + werkvorm / activiteit afstemmen
-waar vind je de leerdoelen? Zie Staatsen
-maak een keuze! Niet alle doelen in één les proppen
Doelgroepaansprekend materiaal kiezen
Beginniveau + beginsituatie inschatten en meenemen in planning
-Wat is er al behandeld?
Rekening houden met groepsdynamiek
-veilige situatie in de klas / ordeproblematiek?
-verschillende rollen en perspectieven in acht nemen bij planning (vanuit docent en vanuit leerling)
Hoe evalueer je? Wat meet je?
-link hier een afsluitende werkvorm aan (bijv. een kleine presentatie)
Neuner typologie in lesoefeningen, van A naar D stapsgewijs
Actueel, authentiek materiaal (wanneer mogelijk)
Summatief / Formatief
• Rubric  een summatief toetsinstrument
• Script  een formatief toetsinstrument
• LEEREFFECT van toetsinstrumenten
Gebruik van Rubric en Script:
meerdere voordelen
• Transparantie
• Leerdoelen helder
• Doelgericht leren (self-efficacy)
Gebruik van Rubric en Script:
Nadeel
• Teaching to the test
Voorkomen: teaching to the test
• Eindopdracht moet voldoende open (ongeleid) zijn om
zelfstandig (m.b.v. script) te maken met ruimte voor
eigen inbreng
• Dus niet één mogelijk product, maar een product
passend binnen een context.
• Link met beroepspraktijk/stageschool/werken met
verschillende doelgroepen, etc.
• “Teach to the broader domain, not the assessment
task”
(Caroline Gipps, Beyond Testing: Towards a Theory of Educational
Assessment, 1994: 56)
Positief backwash-effect
Leertraject student en docent
“promoting learning” + “improving teaching”
 Meer klassikaal samenwerken en samen
beoordelen (peer-assessment) in
diagnostische setting  effectieve,
laagdrempelige bijsturing tijdens het leerproces
 Studenten ijken werk eerst aan de rubric en
de checklist, (verbeteren, dan pas inleveren);
zij leren vragen stellen door de scripts 
Kwaliteit ingeleverde werk is hoog 
Tijdbesparend
Bijvangst  Praktijk-onderzoek ervaringen
(methodologie, verslaglegging, verwerking
resultaten, vraagstelling, e.d.)
Docentrol en opzet
• Plenaire instructietijd verminderd ten faveure
van groepswerk in groepen (van 2 of 3)
• Ruimte voor studentgestuurd leren met
ruimte voor zelfsturing van student
• Vakdidactiek: groepswerkopdrachten met
heldere (sub-)leerdoelen  samen scripts
formuleren
• Peer-assessments geven sturing aan
leerproces
• Ruimte voor reflectie en bijstelling n.a.v.
feedback en feedforward
Opdracht
• Doel --> inzetten script in cursus: gekoppeld aan
open eindproduct en ondersteund met effectieve
didactiek
• Opdracht --> ga in twee- of drietallen na HOE en
WAAR een script in een huidige cursus verrijkend
ingezet kan worden: WAAROM. Bedenk samen
WELKE STAPPEN gezet moeten worden om dit te
kunnen waarmaken. Dus, maak een script. Wees
voorbereid om je bevindingen plenair te delen.