The Halpern Critical Thinking Assessment: Towards a Dutch Appraisal of
Critical Thinking
Hannie de Bie & Pascal Wilhelm1
Faculty of Behavioural Sciences, University of Twente, Enschede, The Netherlands
Abstract
When implementing critical thinking learning objectives in education, a valid and reliable instrument for
assessing the level of critical thinking skills is needed. This study focuses on the psychometric properties of the
Dutch version of the Halpern Critical Thinking Assessment (HCTA). A real-world outcomes inventory (RWONL) was developed to measure negative life events. The number of negative life events was hypothesized to be
inversely related to critical thinking ability. The HCTA and RWO-NL were administered to university students
in communication and psychology (N = 240). Reliability of the HCTA appeared sufficient (α = .75; λ2 = .77) and
factor analysis indicated that the use of the constructed response and forced choice format each containing the
five critical thinking subscales is an adequate method for assessing critical thinking ability. The total HCTA and
weighted RWO-NL scores did not show a significant relationship, r = -.12, ns. Recommendations for improving
the Dutch HCTA are discussed.
Keywords: Halpern Critical Thinking Assessment, validity, reliability
1
Correspondence concerning this article should be addressed to Hannie de Bie or Pascal Wilhelm, University of
Twente, Faculty of Behavioural Sciences, De Zul 10, 7522NJ, Enschede, The Netherlands. Phone: 0031 53 489
3562 E-mail: hannie112@hotmail.com or p.wilhelm@utwente.nl
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
2
There are many examples of thoughtless actions of people resulting from blindly
accepting information or carelessness. One example is the outcome of an investigation of
Professor Diederik A. Stapel of Tilburg University, the Netherlands. The press release that
indicated that meat eaters are more selfish and less social, was well received, especially by
vegetarians. Many people believed this without asking critical questions or consider how the
study was designed. Fortunately, some reporters questioned the study and thoroughly checked
the methods and conclusions (Hupkens, 2011, September 14) and chose not to publish the
research. Later it became known that Stapel’s data was fictitious (TilburgUniversity, 2011)
and eventually all Stapel’s publications were examined in search of scientific malpractice.
How important is the skill of critical thinking within society? Quite important,
according to the increasing focus in education on ‘21st century skills’ (Ananiadou & Claro,
2009). These skills, including critical thinking, communication, ICT literacy, social and/or
cultural skills, creativity, collaboration and problem solving skills (Voogt & Roblin, 2010) are
not new in their entirety (Rotherham & Willingham, 2010). However, due to economical and
societal change (from an industrial- to a knowledge society) and ICT developments, having
success on the labour market often depends on having these skills. This is one of the reasons
why these skills have to be taught, beginning early in education (Voogt & Roblin, 2010,
2012).
This study will focus on one of the 21st century skills, namely critical thinking.
Despite many conflicting definitions (e.g. Black, 2012; Ennis, 1996; Facione, 1998; Halpern,
1998; Moseley et al., 2005; Sternberg, 1986), Butler (2012) concludes that most researchers
agree that critical thinking “involves attempting to achieve a desired outcome by thinking
rationally in a goal-oriented fashion” (p. 721). In accordance with this observation, the
definition of Halpern (1998) will be used:
The term critical thinking refers to the use of those cognitive skills or strategies that
increase the probability of a desirable outcome. […] Critical thinking is purposeful,
reasoned, and goal-directed. It is the kind of thinking involved in solving problems,
formulating inferences, calculating likelihoods, and making decisions. Critical thinkers
use these skills appropriately, without prompting, and usually with conscious intent in
a variety of settings. (pp. 450-451)
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
3
If critical thinking becomes an educational objective, appropriate assessment is
needed. Many critical thinking assessments have been studied thoroughly (e.g. Black, 2012;
Hatcher, 2011; Ku, 2009; Spector, Schneider, Vance, & Hezlett, 2000; Stein & Haynes,
2011). This study focuses on the Halpern Critical Thinking Assessment (HCTA), which
presents 25 everyday scenarios. These scenarios are derived from various domains in real life;
issues like the lottery, the death penalty, and slimming programs are discussed. In each
scenario, respondents are asked to answer an open-ended question to give a first reaction in
their own words, which is followed by a forced choice question to choose the best response
out of the possible answers. The HCTA is unique when it comes to the combination of these
two formats in one assessment. The other advantages of the HCTA relative to other
assessments is the use of a computerized grading system and the option for both offline and
online administration. In the following, these differences and other characteristics of the
HCTA will be discussed.
The HCTA consists of five categories to measure critical thinking skills: (a) verbal
reasoning skills (e.g. the ability to detect and defend against ubiquitous or deceptive language
usage), (b) argument analysis skills (e.g. the ability to assess the strength of an argument), (c)
skills in thinking as hypothesis testing (e.g. the ability to reason scientifically, to determine
whether or not the given information confirms the hypotheses), (d) using likelihood and
uncertainty (e.g. make use of the correct estimate of a probability), and (e) decision making
and problem solving skills (e.g. the ability to define the problem, identify goals and weigh
both positive and negative findings) (Halpern, 2012).
The HCTA presents 25 scenario's respondents can encounter in daily life, each starting
with an open-ended question, followed by forced choice questions. This is the first distinction
between the HCTA and other assessments that are either based on a constructed response or a
forced choice format. Ku (2009) advocated the use of a multi response format and emphasized
that the conceptualization of critical thinking should be taken into account when developing a
critical thinking assessment. She stated that there are two components of critical thinking: the
dispositional component (e.g. intention and motivation to engage in critical thinking) and the
cognitive component (e.g. a set of skills, rules of formal logic). Together, these components
determine the actual critical thinking performance. Taube (1997) also investigated with a
confirmatory factor analysis whether a two-factor model of critical thinking provided a better
fit with the data than an one-factor model. The data consisted out of (a) the dispositional
factor measured by assessments on tolerance of ambiguity, need for cognition, and intellectual
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
4
development, and (b) the cognitive factor was measured by SAT scores, grade point average
scores, and scores on the Watson-Glaser Critical Thinking Appraisal (WGCTA: Watson and
Glaser (1980)). The Ennis-Weir Critical Thinking Essay Test (EWCTET: Ennis and Weir
(1985)), which consists out of a constructed response format, had a significant relationship
with both factors (Taube, 1997). These components appear to be associated with different
response formats, in which the constructed response format exposes more of the dispositional
component than the forced choice format does (Ku, 2009). Both response formats are
discussed below.
Constructed response relies on free recall, the respondents have to search their
memory and select the knowledge to construct an answer (Bridgeman & Morgan, 1996;
Butler, 2012; Ku, 2009). A constructed response format takes more cognitive effort, but also
reveals more of the dispositional part of critical thinking because of the opportunity for the
respondent to display the appropriate skills. The motivational and intentional aspects of
critical thinking will become more apparent, because answering open-ended questions shows
to what extent the respondent is willing and able to engage into critical thinking at the right
moment (Ku, 2009). However, in contrast to the forced choice format, an assessment with a
constructed response format is much more time consuming and there is concern about the
subjectivity of the scoring. The critical thinking assessments that rely solely on free recall, are
for instance the EWCTET and the ICAT Critical Thinking Essay Examination
(SonomaStateUniversity, 1996).
A format based on forced choice requires less cognitive effort, because the
respondents can rely on recognition; they have to identify the applicable response from a list
of alternatives (Bridgeman & Morgan, 1996; Butler, 2012; Ku, 2009). The forced choice
format gives the possibility to measure how well good use of critical thinking skills is
recognized, it is a quick way to get an indication of one's critical thinking skills and an
efficient way to reach many people. But it may reveal only the cognitive component, it is
doubtful whether forced choice is suitable for measuring the disposition towards critical
thinking. Responses do not indicate how the respondent operates in an unprompted context
where they have to generate their own answers (Ku, 2009). The critical thinking assessments
that rely solely on recognition memory, are for instance the California Critical Thinking Skills
Test (CCTST: Facione (1990)) and the Cornell Critical Thinking Test (CCTT: Ennis,
Millman, and Tomko (1985)).
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
5
Both response formats have their benefits and limitations, but the HCTA combines
these two formats into one assessment (Halpern, 2012). The response formats combined
should potentially give a more compatible assessment, since both formats are needed to
measure the dispositional and cognitive components of critical thinking. There is a
considerable amount of evidence indicating high reliability and validity of the HCTA
(Halpern, 2012). Internal consistency (Cronbach’s Alpha) ranges from .85 to .97 and because
of the scoring method that guides the grader with scoring the constructed response, the interrater reliability is high (Halpern, 2012). Because items are based on constructs that are most
frequently mentioned in descriptions of critical thinking, content validity is presumably high
(Halpern, 2012). Four small studies mentioned in Halpern (2012) reported correlations
between scores on the constructed response items and forced choice items of .39, .49, .42, and
.51. This suggests a reasonable relationship between the two formats, and simultaneously
gives evidence for the separability of free recall and recognition (Halpern, 2012).
The factor structure of the HCTA is evaluated in more detail in Halpern (2012) with a
U.S. norm sample of 450 respondents collected by the test author. The author proposed three
models and concluded that a two-factor model (comprising the constructed response and
forced choice format) each containing the five categories of critical thinking skills, fits the
data best. Hau et al. (2006, April) and Ku (2009) also evaluated the factor structure of the
HCTA with a sample of respondents from the U.S. and Hong Kong and concluded that the
same model represented the best fit. The constructed- and forced choice format are related,
but also have separate characteristics. This supports the combined use in assessing critical
thinking (Halpern, 2012; Hau et al., 2006, April; Ku, 2009).
Regarding construct validity, positive correlations (r = .12 - .59) exist with level of
education and academic ability tests like the SAT- and grade point average scores (Butler,
2012; Halpern, 2012; Ku, 2009), but the correlation with SAT scores appears higher (r = .50 .58) (Hau et al., 2006, April; Marin & Halpern, 2011). In addition, scores on need for
cognition- and conscientiousness scales are moderately related to critical thinking skills
(Clifford, Boufal, & Kurtz, 2004; Halpern, 2012; Ku, 2009; Ku & Ho, 2010; Spector et al.,
2000).
Several other countries have used a translated HCTA as a tool to assess critical
thinking, including China, Ireland, Portugal, Belgium, Spain, United States, and Vietnam
(Butler et al., 2012; Halpern, 2012). With respect to the total HCTA score, studies in Spain
(M[355] = 106, SD = 16.1) and Belgium (M[173] = 113.15, SD = 11.5) found similar results
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
6
compared to the U.S. norm sample (M[450] = 109.71, SD = 18.23). The relatively constant
scores illustrate the quality of the scenarios in the HCTA. Few changes by native translators
were needed to make the assessment more culturally fair, perhaps because cultural differences
are taken into account when developing the scenarios (Halpern, 2012).
An interesting study on the external validity of the HCTA was conducted by Butler
(2012). Instead of the more frequently studied relationship between academic performance
and critical thinking, she studied the relationship between real-world outcomes and critical
thinking level. The real-world outcomes were measured by an inventory (Decision Outcomes
Inventory (DOI)) adapted from Bruine de Bruin, Parker, and Fischhoff (2007), that
determines frequencies of negative life events in numerous domains, like finances, education,
and relations over the past 6 months. Butler (2012) hypothesized that the respondents who
score higher on the HCTA would report fewer negative life events than those who score lower
on critical thinking. This hypothesis was based on the notion that critical thinkers transfer and
exercise their critical thinking skills in multiple domains of life in order to be successful and
avoid negative life events caused by poor decision making. As Halpern (1998) states: “critical
thinkers will have more desirable outcomes than ‘noncritical’ thinkers (where ‘desirable’ is
defined by the individual, such as making good career choices or wise financial investments)”
(p. 450). This prediction was confirmed by Butler (2012), HCTA and DOI scores of 131
respondents showed a modest relationship (r = -.38, p = < .001) in the expected direction.
Also, the assumption was made that the critical thinking assessment scores and real-world
outcomes would yield similar results for three qualitatively different groups of respondents
(community adults, state university students, and community college students). Butler (2012)
reported no differences in the number of negative life events between the groups and
differences among the groups of respondents in the relationship between the number of life
events and the critical thinking assessment scores. The only difference found was the score on
the critical thinking assessment; community college students scored significantly lower (M =
92.31, SD = 17.50) than state university students (M = 105.15, SD = 21.48) and community
adults (M = 110.42, SD = 20.43).
A replication of the above-mentioned study was carried out with an Irish sample of 70
respondents, which also participated in an online critical thinking course. This study
confirmed the results of Butler’s research and showed that there was a low but significant
correlation between critical thinking scores and real-world outcomes, r = -.28, p = .019
(Dwyer, Hogan, & Stewart, 2012). These outcomes are worth pursuing, because it provides
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
7
evidence for the external validity. If there is a relationship between critical thinking and
decision making, critical thinking instruction may also yield benefits beyond the classroom.
The HCTA was translated in Dutch and published by Schuhfried GmbH. However,
little psychometric data is available about the Dutch edition. Therefore, this study explored
the internal structure and reliability of the Dutch HCTA. Secondly, this study attempted to
replicate the findings of Butler (2012), whose primary objective was to determine whether
HCTA scores are related to a real-world outcomes inventory of everyday life.
Like Halpern (2012), Hau et al. (2006, April), and Ku (2009), Cronbach's Alpha of the
total item set is hypothesized to be .85 or higher and reliability of the subscale items should
resemble those of the U.S. norm sample (constructed response format α = .84, and forced
choice format α = .79). Additionally, it is expected that the factor analysis will show two
related, but separable latent factors for the constructed- and forced choice format, each
containing the five critical thinking categories. Finally, like Butler (2012), it is predicted that
the correlation between HCTA scores and scores on a real world outcomes inventory shows a
modest, but significant negative relationship. This prediction implies that the respondents who
score higher on the HCTA will report fewer negative life events than those who score lower
on critical thinking. To check for possible ambiguities in the HCTA encountered during
administration, respondents indicated at the end of the test if and where they experienced
problems in the comprehensiveness of the HCTA. The results of these observations are
reported.
Method
Participants
The respondents were first- and second year communication and psychology students
from the University of Twente in the Netherlands, Enschede. For course credits, they are
required to participate in research studies conducted at the Faculty of Behavioural Sciences.
They signed up voluntarily and earned 1.5 points (out of 10 mandatory credits) by completing
both the HCTA and RWO-NL. 258 respondents completed the Dutch HCTA and the Dutch
version of the RWO (RWO-NL) adapted from Bruine de Bruin et al. (2007) and Butler
(2012). Participants were excluded from analysis when their answers on both tests indicate
that they did not take the assessment seriously or when they prematurely aborted the tests.
Data from 18 respondents were excluded. Of the remaining 240 respondents, 80% was female
(n = 191) and 20% was male (n = 49). This female/male distribution represents the population
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
8
of the concerning studies. The respondents were aged 18 - 32 (M = 20.53, SD = 2.07). Ethnic
background was distributed as follows: 46% Dutch, 34% German, and 20% stated another
ethnicity or refused to fill out this question.
Materials
Halpern Critical Thinking Assessment. The instrument used to measure critical
thinking is the HCTA (Halpern, 2012). A few technical language errors were corrected before
it was used, without affecting the meaning of the items (see Appendix A). Test form S1 and
version A has been used in this study. The HCTA Form S1 presents 25 everyday scenario's
accompanied by questions in two response formats: first a constructed response (open-ended)
and then forced choice (e.g., multiple-choice, rating of alternatives or ranking) (See Appendix
B for the HCTA used in this study). Form S2 only consists of the forced choice questions, and
can be used as a short form. Version A and version B are parallel versions of the HCTA. This
enables a repeated measures design, without possible memory bias for the items.
The everyday scenarios were drawn from disciplines such as medical research, social
policy analysis and other disciplines respondents may encounter in daily life. Five categories
of critical thinking are measured with the HCTA: (a) verbal reasoning, (b) argument analysis,
(c) thinking as hypothesis testing, (d) likelihood and uncertainty, and (e) decision making and
problem solving. Each construct is examined with five everyday scenario's. An everyday
scenario in the category of likelihood and uncertainty is for instance the following situation:
"Ahmed has obtained the highest score on the first of three exams of a group of 120 students."
The respondent is asked to indicate what expectation he or she has about how Ahmed will
score at the end of the semester. They have to check a box whether Ahmed will score (a)
"class average", (b) "above class average, but not the top of the class", or (c) "top of the
class". The constructed response is composed by the next question: "Explain your answer in
one or two sentences". The respondent continues on the next page with the forced choice
question and has to check one of the next five response options which is the most likely
explanation: (a) "Ahmed was probably lazy and studied not so hard after his first exam", (b)
"Other students in his class learned how to study, so they got higher grades", (c) "An extreme
score is usually followed by a score that is closer to the average", (d) "The law of averages
predicts that all students will score close to average, regardless of their score on a single test",
and (e) "Test scores are not independent, so the score of Ahmed at the end of the semester
will depend on the performance of other students in the class". The answers to both the
constructed response and forced choice questions must show that the respondent recognizes
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
9
the principle of regression to the mean and the improbability of an extreme score followed by
another extreme score (correct answer: c). The administration of the HCTA (Form S1:
constructed response and recognition items, Version A) took 45 to 80 minutes.
The HCTA was provided within the Vienna Test System (VTS: Halpern, 2012), but in
this study the HCTA and RWO-NL were administrated online with Thesistools1. With
Thesistools, both tests could be administered online so that a large group of respondents could
be reached. Scoring was derived from VTS which automatically calculates the forced choice
response and guides scoring of the constructed responses. Guided grading uses computerized
prompting of the grader. For example, in response to the answer to the constructed response
question regarding the example of the score of Ahmed at the end of the semester described
above, the grading system for example displays the following question: “Did the respondent
recognize the principle of regression to the mean or the improbability of an extreme score
followed by another extreme score?” By each question, the grader determines if the
respondent’s answer: (a) clearly indicated this, (b) less clearly indicated this, or (3) did not
indicate this at all (Halpern, 2012). By scoring in a standardized way with the use of
computerized prompting, the concern for scoring bias can be reduced. Halpern (2012)
reported a high (r = .83) inter-rater reliability for the constructed response, which indicates
that scoring objectivity can be assumed.
RWO-NL. The computerized inventory used to assess real-world outcomes is the
RWO-NL, adapted from Bruine de Bruin et al. (2007) and Butler (2012). The items were
translated and adapted for Dutch respondents by altering language use within certain
expressions, culturally unfamiliar or uncommon terms, and economically different items
(Butler et al., 2012). The respondents indicate whether or not they have experienced a
particular event in the past six months by selecting a check box with ‘yes’ or ‘no’. The
inventory contains items from a wide variety of domains, like finances, education, and
relations. There are two types of items possible: items containing sub-questions, and items
with no sub-questions. The items with sub-questions always start with an opportunity (e.g.
"Gone shopping for food or groceries") that made the (several) negative event(s) possible.
These negative events were measured by the sub-questions (e.g. "Threw out food or groceries
you had bought, because they went bad"). Therefore this inventory considers the possibility of
actually experiencing a negative life event due to a previous decision. Nine items have no
1
http://www.thesistools.com
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
10
preceding occurrence (e.g. "Been in a public fight or screaming argument"). See Appendix C
for the complete list of 50 presented items.
The total item set was created in three steps. First, 31 items and a total of 31 subquestions were adopted from the original inventory published by Bruine de Bruin et al.
(2007). Of these items, 10 items and 12 sub-questions were modified for the Dutch
population. Second, the adjustments made by Butler (2012) to make the items more applicable
for university students were included, which resulted in nine additional items and 11
additional sub-questions. Of these items, one item and four sub-questions were modified for
the Dutch population. Finally, the addition of 10 items and 19 sub-questions were made to
make the inventory more suitable and culturally appropriate for the Dutch population. For
example, an original item contained the words "Used checks". This was altered in "Used a
debit card", because checks are rarely used in the Netherlands. In this way, the item was made
more suitable for the Dutch population, without too much deviation from the original item.
Additional items were created which nowadays play a greater role in the life of the Dutch
students. For example: (a) "Had a mobile phone", with subsequent negative events: (b) "Lost
a mobile phone" and (c) "Had to pay at least three times extra on your phone bills because
you went over your call/text/data limit". These additional items all fit in the various domains
used for the RWO. The administration of the RWO-NL took 5 to 15 minutes.
The calculation of the total score of the RWO-NL was adapted from Bruine de Bruin
et al. (2007) and Butler (2012). First, the total score is calculated by dividing the number of
negative life events by the number of opportunities that can make a negative life event
possible (Butler, 2012). This score represents the proportion of negative life events that the
respondents experienced. Second, the negative outcomes are weighted which makes the
calculations of the RWO-NL more fair (Bruine de Bruin et al., 2007). Some outcomes are in
fact not as bad as others (e.g. taking the wrong train or bus vs. been in jail). Generally, bad
outcomes probably happen to a few people. To weigh for severity, the proportion of avoided
outcomes per item is computed (1 - proportion of experienced outcomes). Each respondents'
weighted RWO-NL score is the sum of the weighted scores, divided by the total number of
experienced opportunities to make bad decisions. This results in a score between 0 and 1,
where 0 stands for making good decision making, and 1 for poor decision making. The
respondents were able to not answer any uncomfortable questions by checking a third option.
If the nonresponse was an opportunity that could make a negative life event possible but the
respondent did answer "yes" to a subsequent negative life event, then the response does not
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
11
make sense. The opportunity, like driving a car, is necessary to experience a negative life
event, like getting a speeding ticket. In these cases, it is assumed that the respondent has
forgotten to answer the first question and therefore the nonresponse is changed to "yes". If the
nonresponse was a negative life event, then the whole item is excluded from analyses by also
excluding the opportunity that could make the negative life event possible from the proportion
score.
Procedure
All respondents who participated in the study were presented with an informed
consent statement describing the purpose of the study and stating confidentiality. All
respondents received the same assessment and conducted this computerized assessment
through an online questionnaire. After completion of the test, the outcomes were checked and
the respondents received the compensation of 1.5 out of 10 participation points. After the total
study was finished, the respondents received a debriefing by email which also included
reading suggestions for students who are interested in learning more about critical thinking.
Results
The mean score on the HCTA (n = 240) was 108.23 (SD = 13.91) out of the maximum
score of 194. The mean score on the weighted RWO-NL (wRWO-NL) was 0.14 (SD = 0.08).
All measures met the criteria for univariate normality (skewness and kurtosis between -1 and
1). Different age groups were compared, including ≤ 19 years and ≥ 20 years, the age
boundary was incremented twice, and finally the age groups of ≤ 26 years and ≥ 27 years
were compared. There were, as predicted, no differences in HCTA scores based on age or
gender (all ps > .05). Also, there were no differences observed in HCTA scores between
Dutch and German students, t(189) = 1.52, p = .13, and between Dutch students and
remaining students with other ethnicities, t(115) = 0.58, p = .57. It is therefore concluded that
ethnicity had no effect on the HCTA scores, thus students with a native language other than
Dutch were presumably able to correctly understand the content of the items.
The exploration of the factor structure of the Halpern Critical Thinking Assessment
Cronbach's Alpha measured for all items was α = .75 which seems to support the
reliability of the HCTA (Kline, 2000). However, the large number of items and the use of
multiple subscales within the HCTA raised concern about the interpretation of this value
(Cortina, 1993; Field, 2009). Therefore, the Cronbach's Alpha was calculated for every
subscale of both formats (see Table 1). As can be seen, total subscale scores had very low to
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
12
Table 1
Summary of the Cronbach's Alpha (sub)scale scores of the HCTA
Cronbach's Alpha
Guttman's Lambda
Constructed Forced
(Sub)scale
Constructed
Forced
response
choice
Total
response
choice
Total
.61
.64
.75
.63
.67
.77
Verbal Reasoning
.30
.19
.33
.33
.23
.37
Argument Analysis
.24
.22
.38
.30
.26
.42
.29
.38
.53
.32
.42
.55
.31
.18
.39
.33
.20
.42
.30
.43
.52
.34
.47
.54
Critical Thinking
Thinking as Hypothesis
Testing
Likelihood and Uncertainty
Decision Making and
Problem Solving
Table 2
Model fit statistics of the measurement models in the HCTA sample
χ2
df
p
CFI
RSMEA
∆χ2
∆df
p
∆CFI
M1
32.050
29
.318
.990
.021
-
-
-
-
M2
38.556
30
.136
.972
.035
6.506
1
.011
0.018
M3
95.614
30
< .001
.782
.096
63.564
1
< .001
0.208
Model
poor values for Cronbach's Alpha. A better reliability estimation like Guttman's Lambda is
endorsed by Sijtsma (2009). This analysis results in a slightly better overall reliability value,
λ2 = .77, and subscale values.
To further explore the factor structure of the HCTA, a confirmatory factor analysis
was carried out with three measurement models specified in Halpern (2012). This analysis
evaluated the goodness of fit of each model to the norm data. The first model (M1) constitutes
two latent factors; the constructed response ("critical thinking - free recall") and the forced
choice format ("critical thinking - recognition"), each containing the five sub-scale scores
hypothesized to load on the associated factor. The correlated unique errors of the associated
sub-scale scores were allowed to be freely estimated since items of both formats have the
same origin. The latent factors were allowed to be correlated to test the hypothesis whether
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
13
Figure 1. Standardized factor loadings of measurement model 1. CTF = latent factor critical thinking - free
recall, CTR = latent factor critical thinking - recognition, VRF = sub-scale score verbal reasoning - free recall,
AAF = sub-scale score argument analysis - free recall, HTF = sub-scale score hypotheses testing - free recall,
LUF = sub-scale score likelihood and uncertainty = free recall, PSF = sub-scale score decision making and
problem solving - free recall, VRR = sub-scale score verbal reasoning - recognition, AAR = sub-scale score
argument analysis - recognition, HTR = sub-scale score hypotheses testing - recognition, LUR = sub-scale score
likelihood and uncertainty - recognition, PSR = sub-scale score decision making and problem solving recognition.
there is a relationship between the two formats, and simultaneously gives evidence for the
separability of free recall and recognition. The only change in the second model (M2) and the
third model (M3) compared to M1, is that the standardized latent correlation of the two latent
factors was set to respectively 1 and 0, to test the hypotheses whether both factors have
indistinguishable- or completely separated characteristics.
The calculations of the factor structure of the HCTA were carried out with IBM®
SPSS® Amos(TM) 22 (Arbuckle, 2013). Maximum likelihood was used to estimate the
model parameters, since the data is normally distributed. The following cut-off values were
used to evaluate the goodness of fit of the models: non-significant χ2-test, CFI ≥ .95, and
RMSEA < .05 (Jackson, Gillaspy Jr, & Purc-Stephenson, 2009; Marsh, Hau, & Wen,
2004).Also, to test whether model M2 and model M3 significantly differ from model M1,
criteria of a significant ∆χ2 statistic and ∆CFI ≥ 0.01 (Cheung & Rensvold, 2002) are used.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
14
The model fit statistics of the three measurements are summarized in Table 2. The statistics in
Table 2 show a significantly better fit of model M1, ∆χ2 (1, N = 240) = 6.51, p = .01, which
indicates that the latent factors of "Critical Thinking - free recall" and "Critical Thinking recognition" have a strong relationship (r = .785). However, the factors are separable because
M2 (in which the standard latent correlation of the two factors was set to 1) gave a poorer fit
than M1.
The standardized factor loadings of the constructed- and multiple choice sub-scales on
their associating latent factor were all significant (all ps < .001). The correlated unique errors
between the associated sub-scales turned out to be rather small and only reached significance
in "Hypothesis Testing" and "Decision Making and Problem Solving". The lack of
significance indicates a good fit of the model, since the correlations between the latent
variables and the associated subscales are preferred to explain all variance. The structural
relations and standardized factor loadings are depicted in Figure 1.
The Halpern Critical Thinking Assessment in relation with the Real World Outcomes
inventory
In contrast to what was expected, there was no significant relationship between the
total HCTA score and the score on the RWO-NL, r = -.10, ns. Also, the total HCTA score and
the weighted score on the RWO-NL did not result in a significant relationship, r = -.12, ns.
The item nonresponse was not included in these calculations. Refusing to answer the question
when uncomfortable could probably be the result of experiencing the outcome, but it might be
too embarrassing to admit in the inventory. To find out how the relationship changes between
the HCTA and RWO-NL when this consideration is taken into account, all unanswered
questions were replaced by 'yes' (experiencing the outcome). Surprisingly, the relationship
between the total HCTA score and the RWO-NL score appeared to be significant, r = -.16, p
= .01. Also, the weighted score on the RWO-NL had a somewhat stronger relationship with
the HCTA, r = -.17, p = .007. However, these correlations are small. This finding seems to
support the hypothesis that a higher score on critical thinking is related to experiencing less
negative events in daily life. But these results should be interpreted with caution, because of
the alternative calculation of the item nonresponse. See Appendix C for the complete list of
the 50 presented item sets and the corresponding response frequencies.
Feedback of the respondents
The option to provide feedback on the HCTA was used by 55 respondents, this is 23%
of the total sample. Of these feedback, 37 respondents stated that complex and incorrect
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
15
syntax and the use of scientific language makes it difficult to comprehend the scenario's and
questions of the HCTA. Also, seven respondents commented on the excessive length of the
test, some said they spent three hours to complete the assessment. In order to maintain
concentration and motivation, the sentences should be kept short and easy to understand.
Although few respondents used the opportunity to give feedback about specific items, the
comments still can be useful to give an indication of where bottlenecks are. Specific useful
comments about ambiguities within certain items of the HCTA were mentioned with regard to
the following items: 5, 7, 8, 14, 19, and 21. Each item will be discussed below (see Appendix
B The Dutch HCTA for the display of the items).
The following feedback of one respondent about item 5 summarizes the feedback of
the other nine respondents. This respondent cites the following sentence derived from
scenario 5: "After a year it was found that the average result of the at risk students was .2
higher than at risk student of the previous year." She comments: "This sentence is not clear. Is
it about the average result, the number of current students that increased, or the students who
have successfully completed the first year? Also, it was not clear to me what .2 exactly means.
Is it that the grades increased by 0.2? Or did 20% of the students achieve the first year? Or is
the result of the at risk students increased by 20%?"
Seven of the respondents thought scenario 7 was too difficult. They felt they did not
have enough knowledge for this question and would like to have had more explanation about
terms like "diagnostic category". Another respondent thought the last question was too long
and complex.
All four of the respondents are not very clear about why they found scenario 8 difficult
to understand. They used terms like "vague" to describe this item.
Item 14 received feedback of five respondents. Four of these respondents even said
that the correct answers were not among the forced choice response options. They probably
did not understand that the response options included an underlying reasoning, instead they
took it literally.
Four respondents did not understand what was meant by "deficiencies" in scenario 19.
One respondent posed the question: "Certain shortcomings of food?" This indicates a
misinterpretation of the question. Instead, there should be looked at the shortcomings of the
reasoning of the news article.
Finally, nine respondents directed their feedback at scenario 21. This was mainly due
to the question whether the respondents could formulate the problem in two ways. Also, the
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
16
question of part B, whether the respondents could assess the quality of several problems, was
often not properly understood.
Conclusions and Discussion
The results of the present study partly replicate those reported by Halpern (2012).
First, the confirmatory factor analysis revealed that the model which reflects two correlated
latent factors (the constructed response and forced choice format) each containing the five
subscales of the HCTA, best fits the factorial structure of the Dutch HCTA. This supports the
findings of Halpern (2012), Hau et al. (2006, April), and Ku (2009) in which the same model
fitted the data of a U.S. and Chinese sample. Most important, the analysis confirms that the
latent factors of the constructed response and the forced choice format are closely related, yet
separate in their properties. The separability could reflect the difference between measuring
more of the dispositional component with the constructed response format, and measuring the
cognitive component with the forced choice format. This indicates that the use of both
response formats in the HCTA is a valid method to obtain an accurate indication of the ability
in critical thinking. However, the estimated value of Cronbach's Alpha did not confirm the
hypothesis of α ≥ .85, neither did the value of the subscale scores (constructed response
format α = .61 in lieu of α = .84, and forced choice format α = .64 in lieu of α = .79). Still, the
overall values of Cronbach's Alpha (α = .75) and Guttman's Lambda (λ2 = .77) indicate good
reliability of the Dutch HCTA. Taken together, these results not only confirm the quality of
the Dutch translation, but also the universality of the two factor model each containing five
subscales. This justifies the use of the Dutch version of the HCTA in the Netherlands, despite
the fact that respondents still reported ambiguities in the scenarios. Once these issues have
been resolved, further research on the Dutch HCTA will probably yield more reliable results.
Finally, the third aim was to assess the relationship between HCTA and RWO-NL
scores. The analysis showed a non-significant relationship, while Butler (2012) found a
modest relationship, r(131) = -.38, p < .001. The relation between the HCTA and RWO-NL
could possibly be compromised because of the use of self-report. For example, having a
higher score on the HCTA could influence the RWO-NL score by giving more social
desirable answers. Also, the inclusion of only university students could have influenced the
RWO-NL scores, because it is possible that university students are more likely to display
themselves as good decision-makers compared to students from other educational levels. Like
Butler (2012), respondents were given the opportunity to not answer any uncomfortable
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
17
questions to lessen this concern during administration of the RWO-NL. When the item
nonresponse was replaced with an affirmative answer (that the respondent actually
experienced the outcome), a significant negative relationship between the HCTA and the
(w)RWO-NL appeared, r = -.17. This relationship is still relatively weak compared to the
findings of Butler (2012) and Dwyer et al. (2012), who found correlations of respectively r = .38 and r = -.28. But that aside, when not answering the question is caused by the
embarrassment to admit experiencing the outcome, the hypothesis that a higher score on
critical thinking is related to experiencing less negative events in daily life is supported.
However, this assumption can not be determined with this study. A closer look at the item
nonresponse revealed a significant relationship between HCTA scores and the number of
unanswered questions on the RWO-NL in the opposite direction, r(239) = -.20, p = .002. This
does not correspond with the proposition that respondents with a higher critical thinking score
gave also more social desirable answers and thus caused more item nonresponse on the RWONL. It could be that respondents with a lower HCTA score were perhaps less motivated to
seriously complete the RWO-NL, and therefore did not answer all questions. Or that
respondents with a higher HCTA score are more aware of the anonymity of the RWO-NL,
and therefore answered more questions even when they felt embarrassed. Nevertheless,
further development and validation of the RWO-NL can possibly give a more reliable tool for
measuring negative life events.
This study also has its limitations. First, the sample of respondents consists of only
university students from the same university who have chosen to participate in this study.
There was no random selection, although the sample is rather large and will at least be
representative for students from this Faculty. Second, in line with previous research, it is
assumed that the constructed response format measures more of the dispositional aspect of
critical thinking. The argument that the constructed response format gives the opportunity to
come up with self-generated solutions, think critically in an unprompted context, and show
the extent to which someone will think critically makes sense. But the evidence of the
assertion that it measures the dispositional aspect of critical thinking is scarce. Bridgeman and
Morgan (1996) indicate that constructed response and forced-choice questions measure
separate cognitive abilities and Martinez (1999) adds that the range of cognitions needed for
answering constructed response questions is larger than the range of cognitions for answering
forced choice questions. Further research should investigate this issue more precisely for
critical thinking. For instance other methods of measuring the disposition towards critical
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
18
thinking, like in the California Critical Thinking Disposition Inventory (CCTDI) (Facione,
2000), can provide further evidence. The CCTDI uses seven elements of the overall
disposition (inquisitiveness, systematicity, analyticity, open-mindedness, maturity of
judgment, truth-seeking, self-confidence, and their negative poles) and these elements are
measured using 75 Likert style items. Comparing scores on the CCTDI and scores on the
constructed response format of the HCTA may shed some light on whether the disposition is
revealed in the constructed response. Third, the online administration of the test was
unproctored. There are mixed opinions about this method of administration within the
cognitive domain; proctored and unproctored conditions may be equivalent (Lievens &
Burke, 2011), or the unproctored condition yields higher test scores than the proctored
conditions because of the presence of a proctor (Carstairs & Myors, 2009). This effect does
not seem to occur in the present study, because no inflation of the unproctored test scores is
observed compared with the mean of the U.S. norm sample (M = 109.71, SD = 18.23)
(Halpern, 2012). Just the opposite, a lower mean of 108.23 (SD = 13.91) was found. The U.S.
norm sample has a wider spread in terms of age (M = 29, SD = 12.53), thus this could mean
that these respondents had more years of education. More years of education is related to the
level of critical thinking (Butler, 2012), which can explain the lower mean in comparison with
the U.S. norm sample. But, as a fourth limitation, the lower mean may also be caused by the
translation of the HCTA, where cultural differences could have influenced the test score. The
Netherlands are a welfare state, where different opinions about politics, diets, drugs and
alcohol could distort the score on these particular items. Respondents may for example react
more lenient towards the scenario about alcohol abuse due to a lower age at which alcohol
may be consumed in the Netherlands, making alcohol more socially accepted. This mildness
may cause Dutch respondents to not easily report the alcohol abuse to an authority figure in
that particular scenario, possibly making them to score lower on this item. Another drop in the
score on the HCTA could be due to incorrect syntax. Respondents had the possibility to give
feedback on the HCTA after completion of the assessment. Based on this feedback, we infer
that the complex and incorrect sentence structure and scientific questioning could have
affected the comprehensibility of some of the items. We suggest that these issues are
addressed before further research is done.
This study has established a solid foundation for future validation research on the
HCTA in the Netherlands. The hypothesized factor structure was confirmed, which justifies
the Dutch version of the HCTA. Also, recommendations have emerged out of the respondents'
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
19
feedback and a thorough review of the authors. Because our sample of respondents had a
smaller spread regarding age and educational level, it is recommended to include a larger and
more diverse sample of respondents. The supervision of a proctor could give more control
over the behaviour of the respondents during the completion of the tests. In addition, another
method for measuring negative life events can be introduced. For instance, an unobtrusive
experiment could be developed to observe actual behaviour that indicates good or bad
decision making. For example, the respondent is approached by an aggressive seller and the
researcher scores whether the respondent uses good or bad decision making. Although this is
a very laborious method to collect data, it can circumvent the social desirability issue. Based
on these observations, it is recommended to re-examine the relationship between HCTA and
RWO-NL scores.
Finally, with a legitimate Dutch critical thinking assessment instrument, it is possible
to examine the effectiveness of critical thinking instruction. Gains in critical thinking can be
measured by an increase in HCTA scores from pretest to posttest. The repeated measures
design requires the use of version B of the HCTA, which in turn should also be subject of
validation studies for the Dutch population. However, further validation research is needed.
Still, a thoroughly researched HCTA is a promising tool to assess the 21st century skill of
critical thinking among Dutch learners.
Acknowledgements
This research was conducted for the master thesis of Hannie de Bie, supervised by
Pascal Wilhelm and Hans van der Meij. The authors would like to thank Diane F. Halpern and
Heather A. Butler for their knowledge and helpful suggestions, and Schuhfried GmbH and
Science Plus Group BV for their practical support.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
20
References
Ananiadou, K., & Claro, M. (2009). 21st century skills and competences for new millennium learners
in OECD countries. OECD Education Working Papers, 41. doi: 10.1787/218525261154
Arbuckle, J. L. (Ed.). (2013). Amos 22 Reference Guide. Crawfordville, FL: Amos Development
Corporation.
Black, B. (2012). An overview of a programme of research to support the assessment of Critical
Thinking. Thinking Skills and Creativity, 7(2), 122-133. doi: 10.1016/j.tsc.2012.04.003
Bridgeman, B., & Morgan, R. (1996). Success in college for students with discrepancies between
performance on multiple-choice and essay tests. Journal of Educational Psychology, 88(2),
333. doi: 10.1037/0022-0663.88.2.333
Bruine de Bruin, W., Parker, A. M., & Fischhoff, B. (2007). Individual differences in adult decisionmaking competence. Journal of personality and social psychology, 92(5), 938. doi:
10.1037/0022-3514.92.5.938
Butler, H. A. (2012). Halpern Critical Thinking Assessment Predicts Real-World Outcomes of Critical
Thinking. Applied Cognitive Psychology, 26(5), 721-729. doi: 10.1002/acp.2851
Butler, H. A., Dwyer, C. P., Hogan, M. J., Franco, A., Rivas, S. F., Saiz, C., & Almeida, L. S. (2012).
The Halpern Critical Thinking Assessment and real-world outcomes: Cross-national
applications. Thinking Skills and Creativity, 7(2), 112-121. doi: 10.1016/j.tsc.2012.04.001
Carstairs, J., & Myors, B. (2009). Internet testing: A natural experiment reveals test score inflation on
a high-stakes, unproctored cognitive test. Computers in Human Behavior, 25(3), 738-742. doi:
10.1016/j.chb.2009.01.011
Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing
measurement
invariance.
Structural
Equation
Modeling,
9(2),
233-255.
doi:
10.1207/S15328007SEM0902_5
Clifford, J. S., Boufal, M. M., & Kurtz, J. E. (2004). Personality Traits and Critical Thinking Skills in
College Students Empirical Tests of a Two-Factor Theory. Assessment, 11(2), 169-176. doi:
10.1177/1073191104263250
Cortina, J. M. (1993). What is coefficient alpha? An examination of theory and applications. Journal
of applied psychology, 78(1), 98-104. doi: 10.1037/0021-9010.78.1.98
Dwyer, C. P., Hogan, M. J., & Stewart, I. (2012). An evaluation of argument mapping as a method of
enhancing critical thinking performance in e-learning environments. Metacognition and
Learning, 7(3), 1-26. doi: 10.1007/s11409-012-9092-1
Ennis, R. H. (1996). Critical thinking. Upper Saddle River, NJ: Prentice Hall.
Ennis, R. H., Millman, J., & Tomko, T. N. (1985). Cornell Critical Thinking Tests Level X & Level Z:
Manual. Boise, ID: Midwest Publications.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
21
Ennis, R. H., & Weir, E. E. (1985). The Ennis-Weir Critical Thinking Essay Test: An Instrument for
Teaching and Testing. Boise, ID: Midwest Publications.
Facione, P. A. (1990). The California Critical Thinking Skills Test: College Level. Millbrae, CA:
California Academic Press.
Facione, P. A. (1998). Critical thinking: What it is and why it counts. Millbrae, CA: California
Academic Press.
Facione, P. A. (2000). The disposition toward critical thinking: Its character, measurement, and
relationship to critical thinking skill. Informal Logic, 20(1), 61-84.
Field, A. (2009). Discovering statistics using SPSS. Thousand Oaks, CA: Sage publications.
Halpern, D. F. (1998). Teaching critical thinking for transfer across domains: Disposition, skills,
structure training, and metacognitive monitoring. American Psychologist, 53(4), 449-455. doi:
10.1037/0003-066X.53.4.449
Halpern, D. F. (2012). Halpern Critical Thinking Assessment: Test Manual. Mödling, Austria:
Schuhfried GmbH.
Hatcher, D. L. (2011). Which test? Whose scores? Comparing standardized critical thinking tests. New
Directions for Institutional Research, 2011(149), 29-39. doi: 10.1002/ir.378
Hau, K. T., Halpern, D. F., Marin-Burkhart, L., Ho, I. T., Ku, K. Y. L., & Chan, N. M. (2006, April).
Chinese and United States students’ critical thinking: Cross-cultural construct validation of a
critical thinking assessment. Paper presented at the Paper presented at the American
Educational Research Association Annual Meeting, San Fransisco, CA.
Hupkens, J. (2011, September 14). Veel media trappen in vals wetenschapsnieuws [Media are misled
by false science news], nrc.next. Retrieved from http://www.nrcnext.nl
Jackson, D. L., Gillaspy Jr, J. A., & Purc-Stephenson, R. (2009). Reporting practices in confirmatory
factor analysis: an overview and some recommendations. Psychological methods, 14(1), 6-23.
doi: 10.1037/a0014694
Kline, P. (2000). The handbook of psychological testing. London: Routledge.
Ku, K. Y. L. (2009). Assessing students’ critical thinking performance: Urging for measurements
using
multi-response
format.
Thinking
Skills
and
Creativity,
4(1),
70-76.
doi:
10.1016/j.tsc.2009.02.001
Ku, K. Y. L., & Ho, I. T. (2010). Dispositional factors predicting Chinese students’ critical thinking
performance.
Personality
and
Individual
Differences,
48(1),
54-58.
doi:
10.1016/j.paid.2009.08.015
Lievens, F., & Burke, E. (2011). Dealing with the threats inherent in unproctored Internet testing of
cognitive ability: Results from a large-scale operational test program. Journal of Occupational
& Organizational Psychology, 84(4), 817-824. doi: 10.1348/096317910x522672
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
22
Marin, L. M., & Halpern, D. F. (2011). Pedagogy for developing critical thinking in adolescents:
Explicit instruction produces greatest gains. Thinking Skills and Creativity, 6(1), 1-13. doi:
10.1016/j.tsc.2010.08.002
Marsh, H. W., Hau, K.-T., & Wen, Z. (2004). In search of golden rules: Comment on hypothesistesting approaches to setting cutoff values for fit indexes and dangers in overgeneralizing Hu
and Bentler's (1999) findings. Structural Equation Modeling, 11(3), 320-341. doi:
10.1207/s15328007sem1103_2
Martinez, M. E. (1999). Cognition and the question of test item format. Educational Psychologist,
34(4), 207-218.
Moseley, D., Baumfield, V., Elliott, J., Higgins, S., Miller, J., Newton, D. P., & Gregson, M. (2005).
Frameworks for thinking: A handbook for teaching and learning. Cambridge, UK: Cambridge
University Press.
Rotherham, A. J., & Willingham, D. T. (2010). 21st century skills the challenges ahead. Educational
Leadership, 67(1), 16-21.
Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness of Cronbach’s Alpha.
Psychometrika, 74(1), 107-120. doi: 10.1007/s11336-008-9101-0
SonomaStateUniversity. (1996). ICAT Critical Thinking Essay Test. Rohnert Park, CA: Sonoma State
University.
Spector, P. E., Schneider, J. R., Vance, C. A., & Hezlett, S. A. (2000). The relation of cognitive ability
and personality traits to assessment center performance. Journal of Applied Social Psychology,
30(7), 1474-1491. doi: 10.1111/j.1559-1816.2000.tb02531.x
Stein, B., & Haynes, A. (2011). Engaging faculty in the assessment and improvement of students'
critical thinking using the critical thinking assessment test. Change: the magazine of higher
learning, 43(2), 44-49. doi: 10.1080/00091383.2011.550254
Sternberg, R. J. (1986). Critical Thinking: Its Nature, Measurement, and Improvement. Washington,
DC: National Inst. of Education.
Taube, K. T. (1997). Critical thinking ability and disposition as factors of performance on a written
critical thinking test. The Journal of General Education, 46(2), 129-164.
TilburgUniversity. (2011). Interim Report Regarding the Breach of Scientific Integrity Committed by
Prof.
D.
A.
Stapel.
Retrieved
from
http://www.tilburguniversity.edu/nl/nieuws-en-
agenda/commissie-levelt/interim-report.pdf.
Voogt, J., & Roblin, N. P. (2010). 21st Century Skills: Discussion paper. University of Twente.
Retrieved from http://onderzoek.kennisnet.nl/onderzoeken-totaal/21stecentury
Voogt, J., & Roblin, N. P. (2012). A comparative analysis of international frameworks for 21st century
competences: Implications for national curriculum policies. Journal of Curriculum Studies,
44(3), 299-321. doi: 10.1080/00220272.2012.668938
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
23
Watson, G., & Glaser, E. M. (1980). Manual for the Watson Glaser critical thinking appraisal.
Cleveland, OH: Psychological Corporation.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
24
Appendix A
Corrections of the Dutch HCTA before administration
Location
Instructie
Probleem 1: Deel B
Probleem 1: Deel B
Incorrect text
Corrected text
We willen graag begrijpen hoe je denkt
We willen graag begrijpen hoe je denkt
over complexe dagdagelijkse situaties.
over complexe dagelijkse situaties.
Je baserend op deze informatie, welk
Je baserend op deze informatie, welk
van onderstaande stellingen is het
van onderstaande stellingen is het meest
meest plausibel?
aannemelijk?
Schoolresultaten zullen waarschijnlijk
Schoolresultaten zullen waarschijnlijk
verbeteren als we adolescenten
verbeteren als we adolescenten
verhinderen van te roken, ... (zo ook in
verhinderen te roken, ...
optie 2 en 4)
Situatie en probleem 4
Beide programma's kosten evenveel.
Beide programma's kosten evenveel
geld.
Probleem 4: Deel B
Situatie en probleem 5
Situatie en probleem 6
Welk percentage van de deelnemers
Welk percentage van de deelnemers
weegt binnen het jaar terug evenveel
weegt binnen een jaar weer evenveel als
als zijn begingewicht?
zijn of haar begingewicht?
"Zoals men kan afleiden uit de
"Zoals men kan afleiden uit de
verhoging in gemiddeld resultaat bij de
verhoging in gemiddeld resultaat bij de
studenten, was dit programma was een
studenten, was dit programma een
gigantisch succes."
gigantisch succes."
Als leerlingen in je tekenlessen
Als leerlingen in je tekenlessen dezelfde
dezelfde tekeningen maken als ze
tekeningen maken als ze gemaakt
zouden gemaakt hebben als ze thuis
zouden hebben als ze thuis waren
waren gebleven of niet begeleid
gebleven of niet begeleid werden, ...
werden, ...
Probleem 6: Deel B
Leerkrachten zitten vaak reeds voor het
Leerkrachten zitten vaak door hun
schooljaar ten einde is doorheen hun
materiaalvoorraad voor tekenlessen heen
materiaalvoorraad voor tekenlessen.
voor het schooljaar ten einde is.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
25
Appendix A (continued)
Location
Probleem 7: Deel B
Incorrect text
Corrected text
Het gebruik van deze term suggereert
Het gebruik van deze term suggereert
dat het slachtoffer van mishandeling er
dat het slachtoffer van mishandeling er
in zekere zin zelf voor
in zekere zin zelf voor verantwoordelijk
verantwoordelijk is dat hij mishandeld
is dat zij mishandeld wordt.
wordt.
Situatie 8: Deel A
Beoordeel de redenering van de
Beoordeel de redenering van de
minister-president over deze kwestie,
minister-president over deze kwestie,
gebruik maken van een 7-puntenschaal
gebruik makend van een 7-puntenschaal.
waarin.
Probleem 8: Deel B
Welke veronderstelt de baas wanneer
Welke veronderstelling maakt de
hij deze analogie maakt?
minister-president wanneer hij deze
analogie maakt?
Probleem 9: Deel B
Probleem 9: Deel B
Situatie en probleem 10
Als de ouders erin slagen in hun opzet
Als de ouders slagen in hun opzet en hun
en hun voorstel wordt een nieuwe regel
voorstel wordt een nieuwe regel in de
in de schoolgemeenschap, wat is dan
schoolgemeenschap, wat is dan
waarschijnlijk het grootste probleem
waarschijnlijk het grootste probleem
waarmee ze zullen geconfronteerd
waar ze mee geconfronteerd zullen
worden?
worden?
Sommige ouders zijn nalatig en leren
Sommige ouders zijn nalatig en leren
hun kinderen niet van vriendelijk te
hun kinderen niet vriendelijk te zijn
zijn tegen anderen.
tegen anderen.
Een politicus werd gevraagd om zijn
Een politicus werd gevraagd om zijn
standpunt uit te leggen over het
standpunt uit te leggen over het
wetsvoorstel dat voorziet dat de staat
wetsvoorstel dat voorziet dat de staat
propere naalden zou geven aan
schone naalden zou geven aan
drugsverslaafden, om de verspreiding
drugsverslaafden, om de verspreiding
van ziekten als aids tegen te gaan. Hij
van ziekten als aids tegen te gaan. Hij
antwoordde dat hij zich verzet tegen
antwoordde dat hij zich verzet tegen een
een ‘propere naalden’-programma
‘schone naalden’-programma omdat dit
omdat dit verkeerd is.
verkeerd is.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
26
Appendix A (continued)
Location
Probleem 10: Deel B
Situatie en probleem 12
Probleem 12: Deel B
Situatie 14: Deel A
Situatie en probleem 16
Probleem 16: Deel B
Probleem 18: Deel B
Incorrect text
Corrected text
Hij heeft niet duidelijk gemaakt of hij
Hij heeft niet duidelijk gemaakt of hij
voor of tegen een ‘propere naalden’-
voor of tegen een ‘schone naalden’-
programma is.
programma is.
Natuurlijk is het geen goede keuze als
Natuurlijk is het geen goede keuze als je
je schrik hebt voor wiskunde of graag
angst hebt voor wiskunde of graag
buiten werkt.
buiten werkt.
Computerwetenschappen is geen goede
Computerwetenschappen is geen goede
keuze als je schrik hebt voor wiskunde
keuze als je angst hebt voor wiskunde
Beschrijf het redeneerwijze van de
Beschrijf de redeneerwijze van de
Immigratiedienst.
Immigratiedienst.
Ann Marie, een Amerikaanse vrouw,
Ann Marie, een Amerikaanse vrouw, wil
wilt naar Hollywood verhuizen ...
naar Hollywood verhuizen ...
De kans dat ze om het even welke at
De kans dat een willekeurig
random geselecteerde vrouw een
geselecteerde vrouw een succesvolle
succesvolle actrice zal worden
actrice zal worden
Welke van de volgende stellingen over
Welke van de volgende stellingen over
de kans dat om het even welke zes
de winkans van een getallenreeks van de
nummers de winnende getallen van de
Lotto, zijn waar?
Lotto zijn, is waar?
Probleem 21: Deel B
Situatie en probleem 23
De vriendin zou van school kunnen
De vriendin zou van school gestuurd
gestuurd worden als ze zich zo vaak
kunnen worden als ze zich zo vaak blijft
blijft bezatten.
bezatten.
Je maakt een toets in de les
Je maakt een toets in de les natuurkunde
natuurkunde en je stoot op een
en je stuit op een probleem waarvoor je
probleem waarvoor je geen antwoord
geen antwoord kan bedenken.
kan bedenken.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
27
Appendix A (continued)
Location
Probleem 23: Deel B
Probleem 24: Deel B
Incorrect text
Corrected text
Schrijf in een gemene nota aan de
Schrijf een brief aan de leerkracht
leerkracht omdat hij zo'n moeilijk
waarin je aangeeft dat hij te moeilijke
probleem gebruikt.
vragen of sommen gebruikt.
Laat de pil op de grond liggen en kijk
Laat de pil op de grond liggen en kijk of
of de hond hem opeet.
de hond hem op eet.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
Appendix B
The Dutch HCTA
With respect to copyright, only the first five questions are shown.
28
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
29
Instructie
We willen graag begrijpen hoe je denkt over complexe dagelijkse situaties. Alle vragen starten met
een korte situatieschets. Nadat je de situatieschets hebt gelezen, krijg je hierover verschillende
vragen. Bij sommige vragen moet je zelf een kort antwoord formuleren. Bij andere vragen moet je
tussen een aantal alternatieven kiezen.
Hier is een voorbeeldvraag waar je zelf een kort antwoord moet formuleren.
Voorbeeld van een situatieschets:
Na afloop van een televisiedebat over de doodstraf, werden de kijkers aangemoedigd om naar de
website van de zender te surfen en online te stemmen of ze "voor" of "tegen" de doodstraf zijn.
Binnen het eerste uur "stemden" bijna 1000 mensen op de website, waarbij ongeveer de helft
"voor" en de helft "tegen" de doodstraf stemde. Het nieuwsanker van deze zender maakte de
resultaten de volgende dag bekend. Hij concludeerde dat de inwoners van het land evenredig
verdeeld waren over het al dan niet toepassen van de doodstraf.
Hier is een voorbeeldvraag waar je zelf een kort antwoord moet formuleren:
Ben je het op basis van deze gegevens eens met de conclusie van het nieuwsanker?
ja
nee
Geef twee suggesties om deze studie te verbeteren:
Eerste suggestie:
Tweede suggestie:
Het antwoord dat bij deze voorbeeldvraag verwacht wordt:
Ben je op basis van deze gegevens eens met de conclusie van het nieuwsanker?
ja
nee
Geef twee suggesties om deze studie te verbeteren:
Eerste suggestie:
Ik zou een steekproef proberen samen te stellen die meer representatief is
voor het land - niet alleen mensen die het internet kunnen gebruiken om
vragen te beantwoorden.
Tweede suggestie:
Ik zou de keuze van de kijker niet veralgemeniseren naar de mening van de
inwoners van het land.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
30
Instructie
Nu krijg je een voorbeeldvraag waar je moet kiezen tussen de aangeboden alternatieven. Deze
voorbeeldvraag gaat over dezelfde situatieschets beschreven op de vorige pagina. Tracht eerst zelf
een antwoord op de vraag te formuleren.
Denk op basis van de informatie in de situatieschets na over elk van de volgende alternatieven en
beslis of het alternatief waar of waarschijnlijk waar is. Kruis alle stellingen aan die juist of wellicht
juist zijn. Laat de andere blanco.
Veel mensen gingen kort na het einde van de show achter hun computer zitten om te
"stemmen".
Ongeveer de helft van alle vrouwen en de helft van alle mannen zijn voorstander van de
doodstraf.
Zowel het standpunt pro als het standpunt contra de doodstraf waren even overtuigend in
het debat.
Mensen die naar deze show gekeken hebben en vervolgens gestemd hebben op hun
computer zijn mogelijk niet representatief voor alle mensen in dit land.
Mensen die gestemd hebben, voelen zich waarschijnlijk sterker betrokken bij deze kwestie
(in positieve of negatieve zin) dan degenen die niet gestemd hebben.
Het antwoord dat bij deze voorbeeldvraag verwacht wordt:
Veel mensen gingen kort na het einde van de show achter hun computer zitten om te
"stemmen".
Dit is niet juist. Verklaring: We weten dat voor elke positie telkens de helft van alle mensen gestemd
Ongeveer de helft van alle vrouwen en de helft van alle mannen zijn voorstander van de
heeft, maar we weten niets over de proportie vrouwen of mannen die voor elke positie gestemd
doodstraf.
hebben. Dus kunnen we niet concluderen dat deze stelling waar of waarschijnlijk waar is.
Zowel het standpunt pro als het standpunt contra de doodstraf waren even overtuigend in
Dit is niet juist. Verklaring: We weten dat voor elke positie telkens de helft van alle mensen gestemd
het debat.
wetenshow
niets over
hoe overtuigend
posities warengestemd
in het debat,
omdat er
Mensenheeft,
diemaar
naarwedeze
gekeken
hebben beide
en vervolgens
hebben
opgeen
hun
meting was van de positie van de stemmers voor de show werd uitgezonden. Het is mogelijk dat de
computer zijn mogelijk niet representatief voor alle mensen in dit land.
meeste mensen voorstander waren van één positie, maar dat bijna de helft van hen van mening
Mensenveranderde
die gestemd
waarschijnlijk
sterker
betrokken
bij deze
kwestie
na hethebben,
debat. Dusvoelen
kunnenzich
we niet
concluderen dat
het waar
of waarschijnlijk
waar
is dat
(in positieve
zin) daneven
degenen
die niet
gestemd hebben.
het pro-ofennegatieve
de contrastandpunt
overtuigend
waren.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
31
Instructie
Nu weet je wat je verondersteld wordt te doen. Het is de bedoeling dat alle vragen duidelijk zijn. Er
zijn geen strikvragen.
Denk eraan om je redenering zo kort en duidelijk mogelijk weer te geven. Gelieve niet vooruit te
bladeren voor alle vragen zijn beantwoord in het belang van het onderzoek!
Er zijn in totaal 25 verschillende situaties. Je mag zolang werken als je wilt. Overhaast je dus niet.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
32
Situatie 1: Deel A
In een tijdschrift voor ouders en leerkrachten verscheen recent een rapport dat duidelijk maakte dat
adolescenten die sigaretten roken ook geneigd zijn lage resultaten te halen op school. Naarmate het
aantal sigaretten dat per dag gerookt werd toenam, daalde het gemiddelde schoolresultaat. Een
suggestie die in dit rapport werd gemaakt, was dat we de schoolprestaties zouden kunnen
verbeteren door te verhinderen dat adolescenten roken.
Je baserend op deze informatie, zou je dit idee ondersteunen als een manier om de schoolprestaties
van rokende adolescenten, te verbeteren?
ja
nee
Leg a.u.b. uit waarom wel of waarom niet.
Verklaring:
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
33
Probleem 1: Deel B - Vraag 1 van 1
In een tijdschrift voor ouders en leerkrachten verscheen recent een rapport dat duidelijk maakte dat
adolescenten die sigaretten roken ook geneigd zijn lage resultaten te halen op school. Naarmate het
aantal sigaretten dat per dag gerookt werd toenam, daalde het gemiddelde schoolresultaat. Een
suggestie die in dit rapport werd gemaakt, was dat we de schoolprestaties zouden kunnen
verbeteren door te verhinderen dat adolescenten roken.
Je baserend op deze informatie, welk van onderstaande stellingen is het meest aannemelijk?
Schoolresultaten zullen waarschijnlijk verbeteren als we adolescenten verhinderen te
roken, omdat de onderzoekers vaststelden dat als het roken toeneemt, de resultaten dalen.
Schoolresultaten zouden kunnen verbeteren als we adolescenten verhinderen te roken,
maar we kunnen hier niet zeker van zijn omdat we alleen weten dat de resultaten
verslechteren wanneer het roken toeneemt, maar niet wat er gebeurt wanneer het roken
vermindert.
Je kan niet weten of de schoolresultaten zullen verbeteren als we adolescenten verhinderen
te roken, want we weten alleen dat er een verband is tussen roken en schoolresultaten, niet
of roken een verandering in schoolresultaten veroorzaakt.
Er zal waarschijnlijk geen effect zijn op de schoolresultaten als we adolescenten verhinderen
te roken omdat het tijdschrift geschreven is voor ouders en leerkrachten, dus het is
waarschijnlijk bevooroordeeld tegen het roken van adolescenten.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
34
Situatie 2: Deel A
Een gerenommeerde krant uit je buurt publiceert verschillende verhalen over criminelen die
gruwelijke misdrijven gepleegd hebben nadat ze door de Commissie voor Voorwaardelijke
Invrijheidstelling vervroegd werden vrijgelaten uit de gevangenis. Eén boze lezer wil dat alle leden
van de Commissie ontslagen worden omwille van de slechte beslissingen die ze nemen.
Stel dat jij zou moeten oordelen over het ontslag van de commissieleden, op welke twee vragen zou
je dan een antwoord willen zien om een gefundeerde beslissing te kunnen nemen?
Eerste vraag:
Tweede vraag:
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
35
Probleem 2: Deel B - Vraag 1 van 2
Een gerenommeerde krant uit je buurt publiceert verschillende verhalen over criminelen die
gruwelijke misdrijven gepleegd hebben nadat ze door de Commissie voor Voorwaardelijke
Invrijheidstelling vervroegd werden vrijgelaten uit de gevangenis. Eén boze lezer wil dat alle leden
van de Commissie ontslagen worden omwille van de slechte beslissingen die ze nemen.
Hieronder staan enkele vragen die je misschien zou willen stellen om een gefundeerde beslissing te
kunnen nemen. Duid voor elke vraag aan hoe belangrijk ze is voor het nemen van je beslissing.
Welk percentage van degenen die vrijgelaten worden, pleegt nooit een ander ernstig misdrijf?
helemaal
van zeer
een klein
van
niet
weinig
beetje
middelmatig
heel
extreem
belangrijk
belang
belangrijk
belang
belangrijk
belangrijk
belangrijk
helemaal
niet
belangrijk
Bestaat de Commissie uit links- of rechtsdenkende leden?
van zeer
een klein
van
weinig
beetje
middelmatig
heel
belang
belangrijk
belang
belangrijk
belangrijk
extreem
belangrijk
Heeft iemand van de Commissieleden familieleden die in de gevangenis zitten?
helemaal
van zeer
een klein
van
niet
weinig
beetje
middelmatig
heel
extreem
belangrijk
belang
belangrijk
belang
belangrijk
belangrijk
belangrijk
Welk percentage van vrijgelaten gevangenen die nooit een ander ernstig misdrijf plegen, kennen
ze in landen die vergelijkbaar zijn met het onze?
helemaal
van zeer
een klein
van
niet
weinig
beetje
middelmatig
heel
extreem
belangrijk
belang
belangrijk
belang
belangrijk
belangrijk
belangrijk
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
36
Probleem 2: Deel B - Vraag 2 van 2
Vervolg...
Welk soort informatie gebruikt de Commissie om haar beslissingen te nemen?
helemaal
van zeer
een klein
van
niet
weinig
beetje
middelmatig
heel
extreem
belangrijk
belang
belangrijk
belang
belangrijk
belangrijk
belangrijk
helemaal
niet
belangrijk
Zijn de leden van de Commissie politiek benoemd?
van zeer
een klein
van
weinig
beetje
middelmatig
heel
belang
belangrijk
belang
belangrijk
belangrijk
extreem
belangrijk
Heeft iemand van de Commissieleden familieleden die ooit in de gevangenis hebben gezeten?
helemaal
van zeer
een klein
van
niet
weinig
beetje
middelmatig
heel
extreem
belangrijk
belang
belangrijk
belang
belangrijk
belangrijk
belangrijk
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
37
Situatie 3: Deel A
Een kruidenierswinkel is onlangs een gigantische reclamecampagne gestart om haar imago van
eerder dure winkel te veranderen in dat van een winkel met lage prijzen. Televisie-, kranten- en
radioadvertenties overspoelden de buurt, met als slogan: "De Voedselwereld, kampioen in lage
prijzen!". Een maand nadat de reclamecampagne van start ging, werd een studie uitgevoerd in de
lokale gemeenschap, waarbij aan de klanten die buitenkwamen bij De Voedselwereld het volgende
werd gevraagd: "Welke winkel heeft volgens u de laagste prijzen?" Het onderzoek toonde aan dat
meer dan 60% van de respondenten De Voedselwereld als antwoord gaven. De PR-verantwoordelijke
rapporteerde overtuigd aan de algemeen directeur van de firma dat de campagne erin geslaagd was
om de perceptie die de lokale gemeenschap heeft van De Voedselwereld, te veranderen van "dure
supermarkt" in "kampioen in lage prijzen".
Als jij de algemeen directeur was van De Voedselwereld, welke twee veranderingen zou jij dan
aanbrengen in deze studie om te bepalen of de reclamecampagne heeft gewerkt?
Eerste verandering:
Tweede verandering:
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
38
Probleem 3: Deel B - Vraag 1 van 1
Een kruidenierswinkel is onlangs een gigantische reclamecampagne gestart om haar imago van
eerder dure winkel te veranderen in dat van een winkel met lage prijzen. Televisie-, kranten- en
radioadvertenties overspoelden de buurt, met als slogan: "De Voedselwereld, kampioen in lage
prijzen!". Een maand nadat de reclamecampagne van start ging, werd een studie uitgevoerd in de
lokale gemeenschap, waarbij aan de klanten die buitenkwamen bij De Voedselwereld het volgende
werd gevraagd: "Welke winkel heeft volgens u de laagste prijzen?" Het onderzoek toonde aan dat
meer dan 60% van de respondenten De Voedselwereld als antwoord gaven. De PR-verantwoordelijke
rapporteerde overtuigd aan de algemeen directeur van de firma dat de campagne erin geslaagd was
om de perceptie die de lokale gemeenschap heeft van De Voedselwereld, te veranderen van "dure
supermarkt" in "kampioen in lage prijzen".
Lees elk van de volgende voorstellen. Duid alle voorstellen aan die de studie volgens jou zouden
verbeterd hebben. Laat de andere voorstellen blanco.
Vraag de klanten of ze graag hun
inkopen doen bij De Voedselwereld.
Bevraag de klanten voor de advertenties
plaatsvinden en bevraag ze nadien
opnieuw.
Bevraag de klanten alvorens ze de
winkel binnengaan en niet wanneer ze
hem verlaten.
Bevraag ook de klanten die hun inkopen
in andere supermarkten doen.
Bel willekeurig gekozen mensen uit de
buurt op en vraag hen naar de
'kampioen in lage prijzen'.
Achterhaal het percentage van mensen
uit de buurt die hun inkopen doen in
supermarkten.
Vraag respondenten of ze de
advertenties gehoord of gezien hebben.
Vraag de respondenten of ze liever
televisie kijken, de krant lezen of naar
de radio luisteren.
Bevraag de buurt om te bepalen
hoeveel mensen de voorkeur geven aan
merkproducten.
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
39
Situatie 4: Deel A
Je probeert te beslissen welk van twee afslankingsprogramma's het beste is om een zwaarlijvige
vriend van je definitief van zijn overgewicht af te helpen. Je beschikt over de brochures van twee
programma's die allebei een goede naam hebben. Het eerste programma beweert dat het
gemiddelde gewichtsverlies 12 kilo is. Het tweede programma beweert dat het gemiddelde
gewichtsverlies 15 kilo is. Beide programma's kosten evenveel geld.
Welke twee vragen zou je aan de vertegenwoordigers van elk programma stellen om te bepalen welk
programma je zal adviseren aan je vriend?
Eerste vraag:
Tweede vraag:
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
40
Probleem 4: Deel B - Vraag 1 van 2
Je probeert te beslissen welk van twee afslankingsprogramma's het beste is om een zwaarlijvige
vriend van je definitief van zijn overgewicht af te helpen. Je beschikt over de brochures van twee
programma's die allebei een goede naam hebben. Het eerste programma beweert dat het
gemiddelde gewichtsverlies 12 kilo is. Het tweede programma beweert dat het gemiddelde
gewichtsverlies 15 kilo is. Beide programma's kosten evenveel geld.
Geef elk van de volgende vragen een score volgens hoe bruikbaar de informatie zou zijn voor je
beslissing.
Hoeveel mensen volgen uw programma?
een klein
van
beetje
middelmatig
belangrijk
belang
belangrijk
helemaal
niet
belangrijk
van zeer
weinig
belang
heel
belangrijk
extreem
belangrijk
helemaal
niet
belangrijk
Maakt u reclame voor uw programma in de lokale media?
van zeer
een klein
van
weinig
beetje
middelmatig
heel
belang
belangrijk
belang
belangrijk
belangrijk
extreem
belangrijk
helemaal
niet
belangrijk
Wordt het programma onderschreven door een filmster of model?
van zeer
een klein
van
weinig
beetje
middelmatig
heel
belang
belangrijk
belang
belangrijk
belangrijk
extreem
belangrijk
Wat is het gemiddelde gewicht van de deelnemers voor en na het programma?
helemaal
van zeer
een klein
van
niet
weinig
beetje
middelmatig
heel
extreem
belangrijk
belang
belangrijk
belang
belangrijk
belangrijk
belangrijk
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
41
Probleem 4: Deel B - Vraag 2 van 2
Vervolg...
helemaal
niet
belangrijk
Welke soort training of opleiding krijgt het begeleidend personeel?
van zeer
een klein
van
weinig
beetje
middelmatig
heel
belang
belangrijk
belang
belangrijk
belangrijk
extreem
belangrijk
Hoeveel deelnemers stoppen met het programma voor ze het voltooid hebben?
helemaal
van zeer
een klein
van
niet
weinig
beetje
middelmatig
heel
extreem
belangrijk
belang
belangrijk
belang
belangrijk
belangrijk
belangrijk
Welk percentage van de deelnemers weegt binnen een jaar weer evenveel als zijn of haar
begingewicht?
helemaal
van zeer
een klein
van
niet
weinig
beetje
middelmatig
heel
extreem
belangrijk
belang
belangrijk
belang
belangrijk
belangrijk
belangrijk
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
42
Situatie 5: Deel A
Een grote universiteit in de VS heeft het moeilijk om studenten uit een bepaald deel van de bevolking
aan te trekken en te behouden. Er werd een 'Ga voor de onderscheiding!'-programma ontworpen om
het gemiddelde resultaat van deze risicostudenten te verhogen zodat er meer van hen een diploma
zouden behalen. Een groot 'Ga voor de onderscheiding'-symbool werd uitgestald bij de dienst waar
deze studenten geholpen worden. De studenten kregen ook elk trimester een nieuwsbrief
toegezonden vol studietips, verhalen over succesvolle studenten en een groot 'Ga voor de
onderscheiding'-logo. Na één jaar werd vastgesteld dat het gemiddelde resultaat van de
risicostudenten .2 hoger was dan dat van de studenten die het jaar voordien als risicostudenten
geïdentificeerd waren. De directeur van het 'Ga voor de onderscheiding'-programma zei: "Zoals men
kan afleiden uit de verhoging in gemiddeld resultaat bij de studenten, was dit programma een
gigantisch succes."
Welke informatie uit de situatiebeschrijving ondersteunt het sterkst de bewering van de directeur?
Welke informatie uit de situatiebeschrijving weerlegt het sterkst de bewering van de directeur?
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
43
Probleem 5: Deel B - Vraag 1 van 2
Een grote universiteit in de VS heeft het moeilijk om studenten uit een bepaald deel van de bevolking
aan te trekken en te behouden. Er werd een 'Ga voor de onderscheiding!'-programma ontworpen om
het gemiddelde resultaat van deze risicostudenten te verhogen zodat er meer van hen een diploma
zouden behalen. Een groot 'Ga voor de onderscheiding'-symbool werd uitgestald bij de dienst waar
deze studenten geholpen worden. De studenten kregen ook elk trimester een nieuwsbrief
toegezonden vol studietips, verhalen over succesvolle studenten en een groot 'Ga voor de
onderscheiding'-logo. Na één jaar werd vastgesteld dat het gemiddelde resultaat van de
risicostudenten .2 hoger was dan dat van de studenten die het jaar voordien als risicostudenten
geïdentificeerd waren. De directeur van het 'Ga voor de onderscheiding'-programma zei: "Zoals men
kan afleiden uit de verhoging in gemiddeld resultaat bij de studenten, was dit programma een
gigantisch succes."
Geef voor elk van de volgende stellingen aan of de stelling de bewering van de directeur
ondersteunt, de bewering van de directeur afzwakt of niet relevant is voor de bewering van de
directeur.
De directeur behaalde nooit een universitair diploma.
ondersteunt de
zwakt de
is niet relevant
stelling
stelling af
voor de stelling
In interviews die volgden, beweerden studenten dat ze gemotiveerd werden door het 'Ga voor het
onderscheiding'-programma.
ondersteunt de
zwakt de
is niet relevant
stelling
stelling af
voor de stelling
Door de nadruk die gelegd werd op academische prestaties, spraken de studiebegeleiders van de
dienst de studenten vaker aan over hun academische vooruitgang.
ondersteunt de
zwakt de
is niet relevant
stelling
stelling af
voor de stelling
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
44
Probleem 5: Deel B - Vraag 2 van 2
Vervolg...
Het programma werd gesteund door de rector van de universiteit.
ondersteunt de
zwakt de
is niet relevant
stelling
stelling af
voor de stelling
ondersteunt de
stelling
Er was een verbetering van .2 voor alle studenten.
zwakt de
is niet relevant
stelling af
voor de stelling
Het gemiddelde resultaat van de risicostudenten van het vorige jaar was het laagste in vijf jaar.
ondersteunt de
zwakt de
is niet relevant
stelling
stelling af
voor de stelling
De directeur hield geen rekening met het aantal studenten uit het programma dat het jaar daarop
terugkeerde naar de universiteit.
ondersteunt de
zwakt de
is niet relevant
stelling
stelling af
voor de stelling
ondersteunt de
stelling
Veel oud-studenten moedigden het programma aan.
zwakt de
is niet relevant
stelling af
voor de stelling
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
With respect to copyright, the remainder of the test is not shown.
45
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
46
Appendix C
The Dutch Real World Outcomes inventory (RWO-NL) with response frequencies
Item
Percentage
Percentage who
who made
experienced
the decision
outcome
Heb je, of ben je in de afgelopen 6 maanden …
1a)
Een boek geleend bij de bibliotheek?
43.5
b)
Een boek geleend bij de bibliotheek zonder het te lezen?
45.2
c)
Een boete moeten betalen, omdat je een geleend boek te laat
24.0
inleverde?
2a)
Nieuwe kleding of schoenen gekocht?
b)
Nieuwe kleding of schoenen gekocht die je nooit hebt
96.7
31.2
gedragen?
3a)
Boodschappen gedaan?
b)
Boodschappen weggegooid, omdat het over datum was?
4a)
Zelf je was gedaan?
b)
Je kleding beschadigd, omdat je de wasinstructie op het label
99.6
77.7
68.2
12.3
niet had opgevolgd?
5a)
Een opleiding gevolgd?
b)
Een les of college gemist, omdat je door de wekker heen was
97.5
30.5
geslapen of was vergeten om een wekker te zetten?
c)
Een hele nacht doorgewerkt om huiswerk af te maken of een
33.5
toets voor te bereiden?
d)
Een school- of studieopdracht vergeten te maken?
22.3
e)
Vergeten dat je een toets of tentamen had en daar op de dag zelf
3.9
achter kwam?
f)
Een dag weggestuurd of geschorst van school of van je
24.9
opleiding om welke reden dan ook?
6a)
Je verslapen waardoor je ergens te laat voor kwam?
40.2
7a)
Een (bij)baan gehad?
b)
Na een week ontslag genomen van een (bij)baan?
2.8
c)
Ontslag genomen zonder dit minstens twee weken van tevoren
6.9
60.7
aan te geven?
8a)
Op een fiets gereden?
94.6
b)
Een valpartij met de fiets gehad?
19.9
c)
Een boete gekregen in het verkeer met je fiets?
3.1
9a)
Op een brommer of scooter gereden?
b)
Een opgevoerde brommer of scooter gehad?
11.7
32.1
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
47
Appendix C (continued)
Item
Percentage
Percentage who
who made
experienced
the decision
outcome
Heb je, of ben je in de afgelopen 6 maanden …
c)
Een valpartij met de brommer of scooter gehad?
3.6
d)
Een boete gekregen in het verkeer met je brommer of scooter?
.0
10a)
In een auto gereden?
b)
Beschuldigd van het veroorzaken van een auto-ongeluk?
1.0
c)
Parkeerboetes gekregen?
8.7
d)
Boetes voor te hard rijden gekregen?
14.6
e)
Meer dan 10 minuten lang verdwaald geweest of de verkeerde
39.8
86.2
weg gereden met de auto?
f)
De autosleutels achtergelaten in je auto?
11a)
Een rijbewijs gehad?
b)
Een rijbewijs gehad dat werd ingenomen door de politie?
12a)
Een auto gekocht?
b)
Minstens €400,- moeten betalen voor een reparatie aan een auto
4.4
75.3
.0
6.3
13.3
die je minder dan een half jaar in je bezit had?
13a)
Met het vliegtuig gereisd?
b)
Een vlucht gemist van een vliegtuig?
14a)
De trein of de bus genomen?
b)
De verkeerde trein of bus genomen?
15a)
Een identiteitsbewijs (rijbewijs, paspoort, ID-kaart) in je bezit
33.1
6.3
93.7
21.0
97.9
gehad?
b)
Een identiteitsbewijs moeten vervangen omdat je het kwijt was
3.4
geraakt?
16a)
In een gehuurde woning of kamer gewoond?
b)
Uit een gehuurde woning of kamer gezet?
17a)
Een eigen huissleutel gehad?
b)
Een huissleutel moeten laten bijmaken, omdat je de sleutel was
72.0
7.0
96.2
5.7
verloren?
c)
Jezelf buiten je huis gesloten?
16.1
d)
Per ongeluk de voordeur niet op slot gedaan?
16.5
18a)
Rekeningen voor elektriciteit, internet, telefoon, gas of water
58.6
moeten betalen?
b)
Elektriciteit, internet, telefoon, gas of water niet op tijd betaald
waardoor je een betalingsherinnering hebt ontvangen?
12.1
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
48
Appendix C (continued)
Item
Percentage
Percentage who
who made
experienced
the decision
outcome
Heb je, of ben je in de afgelopen 6 maanden …
c)
Elektriciteit, internet, telefoon, gas of water niet op tijd betaald
2.1
waardoor je een brief (aanmaning) van een incassobureau hebt
ontvangen?
d)
Elektriciteit, internet, telefoon, gas of water niet op tijd betaald
1,4
waardoor iets werd afgesloten?
19a)
Een lening gehad of iets op afbetaling gekocht?
b)
Een aflossing van je lening of afbetaling te laat betaald waardoor je
17.6
14.3
een betalingsherinnering hebt ontvangen?
c)
Een aflossing van je lening of afbetaling te laat betaald waardoor je
7.1
een brief (aanmaning) van een incassobureau hebt ontvangen?
20a)
Huur of hypotheek moeten betalen?
b)
De huur of hypotheek te laat betaald, waardoor je een
51.9
10.5
betalingsherinnering hebt ontvangen?
c)
De huur of hypotheek te laat betaald, waardoor je een brief
1.6
(aanmaning) van een incassobureau hebt ontvangen?
21a)
Een kaartje voor een loterij gekocht?
14.2
22a)
Een betaalpas (PIN-pas) gebruikt?
b)
Langer dan twee maanden rood gestaan?
7.1
c)
Niet meer kunnen pinnen aan de kassa omdat je je limiet had
14.2
94.6
bereikt?
23a)
Een mobiele telefoon gehad?
99.6
b)
Een mobiele telefoon verloren?
6.3
c)
Minimaal drie keer buiten je mobiele telefoon bundel gebeld?
26.5
24a)
Een credit card gehad?
b)
Meer dan €4000,- schuld gehad op een credit card?
25a)
Geld ingezet bij een gokspel (bijvoorbeeld bij een gokkast, in een
21.8
1.9
15.9
casino of een online spel)?
b)
Meer dan €250,- verloren bij het gokken?
26a)
Naar een café, restaurant of hotel geweest?
b)
Naar een café, restaurant of hotel geweest en daar vervolgens
10.5
97.1
2.6
uitgezet door iemand die daar werkte?
27a)
Iemand meer dan €40,- geleend?
b)
Iemand meer dan €40,- geleend en het niet meer teruggekregen?
31.8
13.2
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
49
Appendix C (continued)
Item
Percentage
Percentage who
who made
experienced
the decision
outcome
Heb je, of ben je in de afgelopen 6 maanden …
28a)
Meer dan €40,- van iemand geleend?
b)
Meer dan €40,- van iemand geleend en dit nooit terugbetaald?
29a)
Een relatie gehad?
b)
Een relatie verbroken?
30a)
Met iemand naar bed geweest?
b)
Een geslachtsziekte (SOA) opgelopen?
2.3
c)
Zelf een ongeplande zwangerschap gehad of iemand per ongeluk
.0
18.8
2.2
67.4
21.1
72.4
zwanger gemaakt?
31a)
Een relatie van minstens 1 jaar gehad?
b)
Vreemd gegaan in een relatie die al langer dan een jaar duurde?
32a)
Een condoom gebruikt tijdens seks?
b)
Een condoom gebruikt dat brak, scheurde of afgleed tijdens seks?
33a)
Een alcoholische drank gedronken?
b)
Zo veel alcohol gedronken dat je moest overgeven?
c)
Een boete gekregen voor rijden onder invloed?
34a)
In de zon gezeten?
b)
Flink verbrand door de zon?
35a)
Een product gekocht via een thuiswinkelprogramma op de
54.0
4.7
51.5
15.5
95.0
33.5
.0
88.3
30.3
1.7
televisie?
b)
Een product gekocht via een thuiswinkelprogramma op de televisie
50.0
zonder vooraf informatie te lezen over de effectiviteit van dit
product?
36a)
Je horoscoop gelezen?
59.4
b)
Je horoscoop gelezen en geconcludeerd dat het klopte?
37a)
Een nacht in een politiecel gezeten om welke reden dan ook?
38a)
Verzeild geraakt in een gevecht of schreeuwende ruzie?
19.7
39a)
Een verjaardag vergeten van een vriend(in) of naast familielid en
30.5
40.8
.4
daar pas de volgende dag of later achter gekomen?
40a)
Overgewicht gehad waardoor je gezondheidsproblemen kreeg
2.9
(bijvoorbeeld kortademigheid, diabetes type 2, hartklachten, hoge
bloeddruk)?
41a)
Iets gebroken omdat je viel, uitgleed of je verstapte?
7.9
THE HCTA: TOWARDS A DUTCH APPRAISAL OF CRITICAL THINKING
50
Appendix C (continued)
Item
Percentage
Percentage who
who made
experienced
the decision
outcome
Heb je, of ben je in de afgelopen 6 maanden …
42a)
Iets dat geluk brengt in je bezit gehad (bijvoorbeeld een
34.3
konijnenpootje, gelukspoppetje, etc.)?
43a)
Betaald voor een gesprek met een helderziende of medium
2.1
(persoonlijk of via de telefoon)?
44a)
Een dieet gevolgd waar je snel van af zou vallen?
b)
Na afloop van een dieet weer aangekomen, waardoor je uiteindelijk
15.5
56.8
weer op je oorspronkelijke gewicht zat?
45a)
Iets via Marktplaats gekocht?
24.3
b)
Vooraf betaald voor iets via Markplaats maar niets gekregen?
5.2
46a)
Natuurgeneesmiddelen gekocht die het geheugen of het denken
9.2
verbeteren?
47a)
Iets met genezende kracht in je bezit gehad (bijvoorbeeld
4.6
genezende kristallen, magnetische armbanden, mystieke stenen,
etc.)?
48a)
Een kettingmail of –brief ontvangen?
b)
Een kettingmail of –brief doorgestuurd?
49a)
Een abonnement afgesloten (bijvoorbeeld voor een tijdschrift,
48.5
11.2
31.0
krant, telefoon, etc.)?
b)
Een abonnement afgesloten (bijvoorbeeld voor een tijdschrift,
12.2
krant, telefoon, etc.) waar je na een tijdje vanaf wilde, maar waar je
voor langere tijd aan vast bleek te zitten?
50a)
Ingegaan op een aanbod van een verkoper op straat of aan de deur
2.1
(met uitzondering van goede doelen)?
b)
Ingegaan op een aanbod van een verkoper op straat of aan de deur
20.0
(met uitzondering van goede doelen) waar je later spijt van had?
Note: Item nonresponse is not included in the calculation of the percentage of decisions or the percentage of
experienced outcome.