( 1 BASIC ASSESSMENT CONCEPTS ) A/ Assessment includes any means of checking what students can do with the language and what they can’t do, but proper assessment gives due weight to the possitive side of their achievement. ولكن التقييم المناسب يعطي الوزن الواجب للجانب اإليجابي من،ويشمل التقييم أي وسيلة للتحقق مما يمكن للطالب القيام به مع اللغة وما ال يمكن القيام به إنجازهم. Q2/ WHAT IS TESTING? (P1) A/ Testing means presenting a student with a set of questions or tasks in order to obtain a measure of performance often presented by a score. Q2 / ( ؟ما هو اختبارP1) A / اختبار يعني تقديم الطالب مع مجموعة من األسئلة أو المهام من أجل الحصول على قياس األداء في كثير من األحيان التي تقدمها النتيجة. Q3/ WHAT IS THE MAIN DEFFRENT BETWEEN TESTING AND ASSESSMENT? (P1) Q4/ WHY DO WE ASSESS? THERE ARE FIVE PURPOSE OF ASSESSING: (P2) لماذا نقيم؟ هناك خمسة الغرض من تقييم/ 4 س: 1-Placemant....... 1-Placemant ....... 2-Diagnosis............. 2- التشخيص............. 3Selection............. 3- اختيار............. 4-Evaluation........... 4- تقييم........... 5-Progress............. 5- التقدم............. Q5/ WHEN AND WHERE THE FORMATIVE ASSESSMENT IS GIVEN? (p3) A/ It’s given before and during the course of the study to assess the first six purposes. Q5 / ( ؟متى وأين يتم التقييم المبدئيP3) (أ) تعطى قبل وأثناء الدراسة لتقييم األغراض الستة األولى. Q6/ WHEN AND WHERE THE SUMMATIVE ASSESSMENT IS GIVEN? (p4) A/ It represents the end of the road, and given at the end of the couse of the study when the student is usually ranked and graded; it serves the last purpose, accreditation. )4P( متى وأين التقييم اإلجتماعي؟/ 6Q . واالعتماد، فإنه يخدم الغرض األخير. وتعطى في نهاية الدراسة من عندما يكون الطالب عادة في المرتبة والتدرج، إيت يمثل نهاية الطريق/ A Q7/ HOW MANY TYPES OF TESTS ARE THERE? (p4) A/ 1-Acheviement test. 2-Proficiency test. 3-Diagnosis test. 4-Aptitude test. Q8/ HOW DO WE ASSESS? (p7) A/The answer of this question is about 1-either in terms of describing a variety of testing techniques or 2-through consideration of a series of conflicting modes of assessment. 1 )7P( كيف نقدر؟ (أ) اإلجابة عن هذا السؤال إما من حيث وصف مجموعة متنوعة من تقنيات االختبار أو- 1 . من خالل النظر في سلسلة من طرق التقييم المتضاربة- 2 Q9/ WHAT ARE THE CONTRASTING MODES OF ASSESSMENT? (p7) A/ 1-formal ................................ informal 2-formative .........................summative 3-direct................................... indirect 4-district point.................... integrative 5-decontextualized .... contextualized 6-receptive ....................... productive Q10/ WHAT IS THE FORMAL TEST? (p7) A/ It is large-scale tests administered in controlled environments typically once a year and prepared either by the school teacher or by professional testing services (Ministerial examinations). )7P( ما هو االختبار الرسمي؟/ 10Q هو اختبارات واسعة النطاق تدار في بيئات تسيطر عادة مرة واحدة في السنة وإعداد إما من قبل مدرس المدرسة أو من خالل خدمات االختبارات المهنية/ A .)(االمتحانات الوزارية Q11/ WHAT ARE THE AIMS BEHIND THE FORMAL TEST? (p7) A/1-determind the level of academic achievement reached by individual students. 2-to compere a student’s performance with other students. 3-to assist intitutions in the selection, placement and evaluation of the student. EX- when students are distributed among the universities according to their scores. )7P( ما هي األهداف وراء االختبار الرسمي؟/ 11Q .ديترميند مستوى التحصيل الدراسي الذي تم التوصل إليه من قبل الطالب على حدة-1 / A .أداء الطالب مع الطالب اآلخرين-2 .لمساعدة إنتيتوتيونس في اختيار والتنسيب والتقييم للطالب-3 .عند توزيع الطلبة على الجامعات حسب درجاتهم Q12/ WHAT IS THE INFORMAL TEST? (P7) A/ This test allows teacher to 1-to track the ongoing progress of their students regularly and often. 2-to obtain reliable insights about the student's ability and development. 3-to measure how well students are mastering the content. 4-to reveal where further practice is needed. )7P( ما هو االختبار غير الرسمي؟/ 12Q هذا االختبار يسمح المعلم/ A . لتتبع التقدم المستمر للطالب بشكل منتظم وغالبا.1 3 للحصول عىل رؤى موثوقة حول قدرة الطالب والتنمية.2 . لقياس مدى إتقان الطالب عىل المحتوى.3 . الكشف عن الحاجة إىل مزيد من الممارسة.4 Q13/ WHAT IS THE FORMATIVE TEST? (P8) A/ It is assessing for the sake of learning. It provides information to promote teaching and learning while they occur and make timely adjustments possible. 2 )8P( ما هو االختبار التجريبي؟/ 13 Q . ويوفر المعلومات لتعزيز التدريس والتعلم في حين أنها تحدث وجعل التعديالت في الوقت المناسب ممكن.(أ) يجري التقييم من أجل التعلم Q14/ WHAT IS SUMMATIVE ASSESSMENT? (P9) A/ It is usually given at the end of the course to measure the total material covered )9P( ما هو التقييم التجميعي؟/ 14. Q عادة ما تعطى في نهاية الدورة لقياس مجموع المواد المشمولة Q15/ WHAI IS THE DIRECT TEST? (P9) A/ It is require the student to perform precisely the skill which is to be measured. For example to test student’s ability to write compositions. (productive skills). )9P( واي هو االختبار المباشر؟15Q .) (المهارات اإلنتاجية. على سبيل المثال الختبار قدرة الطالب على كتابة التراكيب. أنه يتطلب من الطالب ألداء بالضبط المهارة التي يتم قياسها/ A Q16/ WHAT IS INDIRECT TEST? (P9) A/ It is representing by (receptive skills), it is interesting in measures the ability underline the skills. )9P( ما هو االختبار غير المباشر؟/ 16Q . فمن المثير لالهتمام في تدابير القدرة على تسليط الضوء على المهارات، ) وهو يمثل من قبل (مهارات تقبلي/ A Q17/ WHAT IS DISCRETE-POINT TEST? (P10) A/ It refers to measuring knowledge of every single language element. Ex, grammar, vocabulary, .... )10P( ما هو اختبار نقطة االختبار؟/ 17Q .... ، مفردات، قواعد، مثال. إيت يشير إلى قياس معرفة كل عنصر لغة واحدة/ A Q18/ WHAT IS INTEGRATIVE TEST? (P10). A/ It requires the student to combine many elements when completing a task. Ex, requires the student to use knowledge of grammar, vocabulary and listening comprehension. It measure overall language proficiency. .)10P( ما هو االختبار التكاملي؟/ 18Q يتطلب من الطالب استخدام المعرفة من قواعد اللغة، على سبيل المثال. فإنه يتطلب من الطالب الجمع بين العديد من العناصر عند االنتهاء من مهمة/ A . وهو يقيس الكفاءة اللغوية عموما.والمفردات واالستماع الفهم Q19/ WHEN DO WE ASSESS? (p17) A/ There are three terms: 1-terminal: the assessment that takes place at the end of the unit. (Final exam). 2-periodic: the assessment that takes place throughout the course. (monthly exam). 3-continuous: the assessment that given to have the continous updating of judgment about the student’s performance. )17P( متى نقدر؟/ 19Q :(أ) هناك ثالث فترات .) (إمتحان نهائي. التقييم الذي يحدث في نهاية الوحدة:محطة-1 .) (امتحان شهري. التقييم الذي يحدث طوال الدورة:الدوري-2 . التقييم الذي أعطى لتحديث مستمر للحكم عن أداء الطالب:المستمر-3 #IMPORTANT NOTE# Answer the ( DISCUSSION QUESTION ) ON PAGE ( 18 ) (2) (2 APPROACHES TO LANGUAGE ASSESSMENT ) The modren theories about the nature of the language seem to influence theories about language learning, which in turn influence ways and methods of teaching and testing. والتي بدورها تؤثر على طرق وأساليب التدريس واالختبار،يبدو أن النظريات الحديثة حول طبيعة اللغة تؤثر على النظريات حول تعلم اللغة. (Lingustic theories......Language learning theories ....Teaching methods .....Testing methods) 3 *This chapter concerns with the main theories in linguistics and thier effect on language teaching and testing. ( طرق االختبار..... طرق التدريس.... نظريات تعلم اللغة...... )نظريات اللغات * يتناول هذا الفصل النظريات الرئيسية في اللغويات وتأثيرها على تدريس اللغة واختبارها. Q1/ THE MAJOR APPROACHES TO LANGUAGE TESTING ARE? (P20) A/ 1-The Essay-Translation approach. 2-The Structuralist approach. 3-The Interative approach. 4-The Communicative approach. (P20)النهج الرئيسية لالختبار اللغة هي؟Q1 / .مقال الترجمة-مقالA / 1. المنهج الهيكلي2.النهج التفاعلي3.النهج التواصلي4- Q2/ WHAT IS THE ESSAY-TRANSLATION APPROACH? (p20) A/ This approach is also referred to as the pre-scientific stage of language testing as it was prior to the modern theoretical developments in linguistics and psychology. )20P( ما هو نهج تقيم الترجمة2Q .يشار إلى هذا النهج أيضا بمرحلة ما قبل العلم الختبار اللغة كما كانت قبل التطورات النظرية الحديثة في علم اللغويات وعلم النفس *More explination: this traditional approach is favoured by those who are not really interested in the learner or give any consideration to his needs. Langauge to them is a thing learned by reading and writing and it exists in texts, there is no spoken langauge. * النغوج لهم هو شيء. هذا النهج التقليدي هو المفضل من قبل أولئك الذين ليسوا مهتمين حقا في المتعلم أو إعطاء أي اعتبار الحتياجاته:المزيد من التنقيح ال يوجد يتحدث المنطوقة،تعلمت من خالل القراءة والكتابة وأنه موجود في النصوص. *The major inadequacies of this approach are: (p20) 1-Emphasis on reading and writing. 2-Subjective test. 3-Lack of concern for objectivity and for test reliability . )20p( :* أوجه االضعف الرئيسية في هذا النهج هي .التركيز على القراءة والكتابة-1 .اختبار ذاتي-2 .عدم االهتمام بالموضوعية ولموثوقية االختبار-3 Q3/ WHAT IS THE STRUCTURALIST APPROACH? (p24) A/ This testing approach is influenced by the theory based on structural lingusitics and behaviourist psychology. Followers of this theory see laguage as a machine which acts as a stimulus-response mechanism. )24P( ما هو النهج البنيوي؟/ 3Q ويرى المتابعون لهذه النظرية الغواج كآلة تعمل بمثابة آلية. هذا النهج االختبار يتأثر النظرية القائمة على لينغوسيتيكش الهيكلي وعلم النفس السلوكي/ A .التحفيز واالستجابة Q4/ Through structuralist approach the learning is achieved by three processes. (p24) 1-receving knowledge. 2-fixing it in the memory by repetition. 3-using it in actual practice till it becomes a skill. )24P( . من خالل نهج الهيكلي يتم تحقيق التعلم من خالل ثالث عمليات/ 4Q . تلقي العرفة-1 .إصالحه في الذاكرة عن طريق التكرار-2 .استخدامه في الممارسة الفعلية حتى يصبح مهارة-3 *According to this approach , testing is charactrized by the view that testing can be : (1-objective, 2-precise, 3-relible, 4-scientific) * يتميز االختبار بالرأي القائل بأن االختبار يمكن أن يكون،وفقا لهذا النهج: 4 ،الهدف ، دقيقة، ،موثوق بها العلمي )1 )2 )3 )4 (3) Q5/ THE ADVANTAGES OF THE TESTING ACCORDING TO STRUCTURAL APPROACH?(p24) A/ 1-the test allows for a wide coverage and objective scoring. 2-It provides a means for measuring the knowledge of students on individual distinct point of separate sound, grammatical structures, or vocabulary items. )24p( مزايا االختبار وفقا للنهج الهيكلي؟/ 5Q .االختبار يسمح لتغطية واسعة والهدف الهدف-1 / A . أو المفردات، والهياكل النحوية،أنه يوفر وسيلة لقياس معرفة الطالب على نقطة متميزة منفصلة من الصوت منفصلة-2 Q6/ WHAT IS THE INTEGRATIVE APPROACH? (p27) A/ This approach involves the testing of language in context and is concerend with meaning and the total communicative effect of discourse. Thus, it is the exact reverse of analytical assessment since it attempts to assess several elements and perhaps skills at the same time. )27P( ما هو النهج التكاملي؟/ 6 س فإن العكس هو بالضبط العكس من التقييم، وبالتالي. ويتفق مع المعنى والتأثير التواصلي الكلي للخطاب،(أ) ينطوي هذا النهج على اختبار اللغة في السياق .التحليلي ألنه يحاول تقييم عدة عناصر وربما المهارات في نفس الوقت Q7/ THE ADVANTAGES OF INTEGRATIVE APPROACH ARE? (p27) A/ 1-The integrative tests are easy to administer. 2-Economical to test and mark. 3-Reliable. )27P( مزايا النهج التكاملي؟/ 7Q .االختبارات التكاملية سهلة إلدارة-1 / A .اقتصادية الختبار وعالمة-2 .يمكن االعتماد عليها-3 Q8/ WHAT IS THE COMMUNICATIVE APPROACH TEST? (p29) A/ This approach is sometimes linked to the integrative approach as they both emphasized the importance of the meaning of utterance. )29P( ما هو اختبار النهج التفاعلي؟/ 8Q .(أ) يرتبط هذا النهج أحيانا بالنهج التكاملي حيث يؤكد كالهما أهمية معنى الكالم Q9/ WHAT IS THE COMMUNICATIVE APPROACH? (P29) A/ This approach is sometimes linked to the integrative approach as they both emphasize the importance of the meaning of utterance. Q9 / ( ؟ما هو النهج التفاعليP29) (أ) يرتبط هذا النهج أحيانا بالنهج التكاملي حيث يؤكدان على أهمية معنى الكالم. Q10/ THE MAIN CHARACTERISTICS OF THE COMMUNICATIVE APPRAOCH ARE? (P31) A/ 1-Authenticity of texts and situations. 2-Unpredictable, purposive and contextualized texts. 3-Integration of different language assessment. 4-Criterian-refrenced assessment. 5 5-Qualitative rather than quantitative assessment. Q10 / ( ؟الخصائص الرئيسية لاللتزام المشتركP31) A / 1-أصالة النصوص والحاالت. 2 - النصوص التي ال يمكن التنبؤ بها والهادفة والسياقية. 3-دمج تقييم اللغة المختلفة. 4-التقييم المعاد تقييمه. 5 - التقييم النوعي وليس الكمي. Q11/ WHAT IS THE DIFFRENCE BETWEEN USE AND USAGE? (P33) A/ Use: It is concerend with how people use language for a multitude of different purposes. Usage: It is concerns the formal pattrens of language. Q11 / ( ؟ما هو الفرق بين االستخدام واالستخدامP33) A / هو كونفيريند مع كيفية استخدام الناس اللغة لعدة وافر من أغراض مختلفة:وس. إنها مخاوف من اللغة الرسمية للغة:أوسيج. Q12/ WHAT IS THE NORM- REFERENCED ASSESSMENT? (P34) A/ It is a discriminating test carried out for the basic purpose of comparing a student’s performance against the performance of the other students. It is quanititative test uses numbers. )34P( ما هو التقييم املرجعي؟/ 12Q . هو اختبار كوانتيتاتيف يستخدم األرقام.(أ) إنه اختبار تمييزي يتم تنفيذه لغرض أساسي يتمثل في مقارنة أداء الطالب بأداء الطلبة اآلخرين Q13/ WHAT IS THE CRITERION-REFRENCED ASSESSMENT? (P34) A/ It is has been used lately with the communicative approach is a mastery test. It indicates whether students have achieved a certain standard, or met predetermined criteria. It is qualitative assessment. (4) Q14/ WHAT IS THE ALTERNATIVE ASSESSMENT? (P35) A/ It is a new perception of assessment considers assessment and learning inseparable. Assessment is viewed not only as a tool of providing evidence of learning but also as a tool for learning. (4) Q14 / ( ؟ما هو التقييم البديلP35) A / ينظر إلى التقييم ليس فقط كأداة لتقديم أدلة على التعلم ولكن أيضا كأداة للتعلم.هو مفهوم جديد للتقييم يعتبر التقييم والتعلم ال ينفصالن. Q15/ WHAT IS THE DIFFERENCE BETWEEN THE TRADITIONAL AND ALTERNATIVE FORMS OF ASSESSMENT? (P36) A/ OLD FORMS NEW FORMS 2-Teacher-centered learner-centerd 3-Isolated skills Integrated skills 4-Emphasis on product Emphasis on process 5-Open answer Open-ended, several solution 6-One way correction Different corrections 7-Tests that test Test that teach Q15 / ( ؟ما هو الفرق بين األشكال التقليدية واإلبداعية للتقييمP36) Q16/ WHAT ARE THE ALTERNATIVE ASSESSMENT TOOLS? (P36) 6 A/1-Teacher observation.......... 2-Checklists........ 3-Questioning strategies.................. (P36)ما هي أدوات التقييم البديلة؟Q16 / ..........معلم المالحظةA / 1........ قوائم المراجعة2.................. استراتيجيات االستجواب3 ......................استعراض الذات والنظراء .................الفصول الدراسية الممارسة والواجبات المنزلية 45- 6-Portifolios ....................... 4-Self and peer reviews...................... 5-Classroom practice and homework................. 6-Portifolios....................... Q17/ WHAT THE DESCRIPTIVE FEEDBACK? (P37) A/ It is also used as a profitable instructional strategy to help students move forwards in their learning. Q17 / ( ؟ما هي ردود الفعل الوصفيةP37) A / كما أنها تستخدم كاستراتيجية تعليمية مربحة لمساعدة الطالب على التحرك إلى األمام في تعلمهم. Q18/ WHY THE TEACHERS NEED TO GIVE DESCRIBTIVE FEED BACK IN THE STUDENT’S TEST? (P37) مالذا يحتاج المعلمون إلى تقديم ردود فعل وصفية يفر اختبار الطالب/ 18 ؟س A/1-Identify specific strengths. 2-Pinpoint areas that need improvement. 3-Suggest a route of action to help students close the gap between where they are now and where they need to be. 4-Change student’s interest in the test score he has got to focusing on his mistakes and learning how to avoid them in future. . تحديد نقاط قوة محددة- 1 / أ .تحديد النقاط التي تحتاج إلى تحسين-2 .اقتراح مسار العمل لمساعدة الطالب على سد الفجوة بين أين هم اآلن وحيث يحتاجون إلى أن يكون-3 .تغيير مصلحة الطالب في درجة االختبار انه قد حصلت على التركيز على أخطائه وتعلم كيفية تجنبها في المستقبل-4 #IMPORTANT NOTE# Answer the ( DISCUSSION QUESTION ) ON PAGE ( 38 ) (3 (5) CHARACTERISTICS OF ASSESSMENT ) Q1/ WHAT IS THE CHARACTERISTICS OF A GOOD TEST? (P39) A/ 1-Validity 2-Reliability 3-Practicality 4-Accuracy )39P( ما هي خصائص اختبار جيد؟/ 1Q الصالحية-1 / A الموثوقية-2 التطبيق العملي-3 الدقة-4 7 *The validity means: The degree to which a test measures what it is supposed to measure, or can be used successfully for the purpose for which it is intended. (p39) * أو يمكن استخدامه بنجاح للغرض المقصود منه، الدرجة التي يقيس بها االختبار ما يفترض قياسه:تعني الصالحية. (P39) *The reliability means: The stability of test scores. Presumably, if the same test is given twice to the same group of students, under the same conditions, it would give the same results. (p42) * فإنه يعطي نفس، في ظل نفس الظروف، إذا أعطي نفس االختبار مرتين لنفس المجموعة من الطالب، ويفترض. استقرار درجات االختبار:الموثوقية تعني النتائج. (P42) *The practicality means: The test which is valid and reliable but difficult to administer, score, or require too much equipment or money may fail to gain acceptance. (p43) * أو تتطلب الكثير من المعدات أو المال قد تفشل في، والنتيجة، االختبار الذي هو صحيح وموثوق بها ولكن من الصعب إدارة:يعني التطبيق العملي الحصول على القبول. (P43) *The accuracy means: The test should be free from grammatical, spelling, and punctuation errors, frequently found in EFL test papers. (p43) * التي يتم العثور عليها بشكل متكرر في أوراق اختبار إفل، يجب أن يكون االختبار خاليا من األخطاء النحوية واإلمالئية وعالمات الترقيم:تعني الدقة. (P43) Q2/ WHAT ARE THE TYPES OF VALIDITY? (P40) A/ 1-Content 2-Empirical 3-Face 4-Constract ما ه أنواع الصالحية؟Q2 / (P40) كونتنتA / 1تطبيقية2- Q3/ WHAT ARE THE MOST IMPORTANT ISSUES FOR A TEACHER WHEN PREPARING A T ما هي أهم/ 3 س الوجه3 القضايا التي يواجها أحد المعلمين عند إعداد اختبار؟ (ص40)EST? (p40) عقد4A/ 1-The extent to which a test adequately covers the syllabus to be tested. 2-The relative importance of each area, and the number of items given to it. . مدى تغطية االختبار بشكل كاف للمنهج المقرر اختباره- 1 / A . األهمية النسبية لكل منطقة وعدد العناصر المقدمة لها- 2 Q4/ The Empirical validity: This type of validity is usually referred to as statistical validity. If we are to check the effectiveness of a test a test and to determine how well the test measures. (p41) Q4 / إذا أردنا أن نتحقق من فعالية اختبار اختبار ولتحديد مدى نجاح. هذا النوع من الصالحية يشار إليه عادة بالصالحية اإلحصائية:الصالحية التجريبية االختبار. (P41) Q5/ The Face validity: This simply means the way the test looks to the tastes, supervisors and to the people concerned with the education of students. (p41) إذا أردنا أن نتحقق من فعالية اختبار اختبار ولتحديد مدى نجاح. هذا النوع من الصالحية يشار إليه عادة بالصالحية اإلحصائية: الصالحية التجريبية/ 4Q )41P( .االختبار Q6/ The Construct validity: It means that the testing methods should be in harmony with the teaching method used, and the theory upon which the instructional materials have been prepared and developed. (p41) والنظرية التي تم إعداد المواد التعليمية، وهو ما يعني أن طرق االختبار يجب أن تكون في وئام مع طريقة التدريس المستخدمة: صحة البناء/ 6Q )41P( .وتطويرها 8 (6) Q7/ WHAT ARE THE REQUISTHES OF DEPENDABLE TESTS? (P42) A/1-Multiple sample 2-Standard conditions 3-Standard tasks 4-Standard scoring )42P( ما هي متطلبات االختبارات الموثوقة؟/ 7Q عينة متعددة-1 / A الشروط القياسية-2 المهام القياسية-3 قياسي التهديف-4 Q8/ WHAT ARE THE FACTORS WHICH AFFECT A TEST? (P44) A/ 1-Length of test ...................... 2-Choice of test technique............. 3-Writing the test ............. 4-Test administration......................... 5-The question paper ........................ )44P( ما هي العوامل التي تؤثر على اختبار؟/ 8Q ...................... طول االختبار-1 / A ............. اختيار تقنية االختبار-2 ............. كتابة االختبار-3 ......................... إدارة االختبار-4 ........................ ورقة السؤال-5 #IMPORTANT NOTE# Answer the ( DISCUSSION QUESTION ) ON PAGE ( 45 ) (4 TEST CONSTRUCTION AND ADMINSTRATION ) Q1/ If the teacher try to construct an educational test, it should include the follwoing steps. A/ 1-Planning the test. 2-Preparing the test items and diractions. 3-Reviewing the items. 4-Setting the scoring echeme. 5-Reproducing the test. 6-Administring the test. 7-Analysing the results. 8-Using the results. . يجب أن يتضمن الخطوات التالية، إذا حاول المعلم بناء اختبار تعليمي/ 1Q .تخطيط االختبار-1 / A .إعداد عناصر االختبار والكسور-2 .مراجعة البنود-3 .وضع نظام التهديف-4 .إعادة إنتاج االختبار-5 .إدارة االختبار-6 9 .تحليل النتائج-7 .استخدام النتائج-8 Q2/ THERE ARE TWO STEPS TO PROVIDE A BRIEF GUIDE TO THE PLANNING OF THE LANGUAGE TEST? (P49) ( ؟هل هناك خطوتان لتقدم دليل موجز لتخطط اختبار اللغةP49) A/ 1-Determining the course objectives: when preparing the test it is necessary to base the test objectives on the objectives of the course of study. 2-Designing the test: The next step in the construction of the test is the selection of the specific problems on which to base the test items. The outline should specify not only which areas are to be tested, but also the percentage of items to be written around each problem. . عند إعداد االختبار من الضروري أن تستند أهداف االختبار على أهداف الدراسة:تحديد أهداف الدورة-1 / A وينبغي أن يحدد المخطط ليس. الخطوة التالية في بناء االختبار هي اختيار المشاكل المميزة التي تقوم على أساس عناصر االختبار:تصميم االختبار-2 . بل ينبغي أيضا تحديد العناصر التي ينبغي كتابتها حول كل مشكلة،فقط المجاالت التي يتعين اختبارها Q3/ WHAT ARE THE IMPORTANT ISSUES THAT THE TEACHER IS PREPARING FOR ITEMS AND WRITTEN DIRCTIONS? (P49) A/1-A teacher may write more items than he could possibly need or be answerd by the testees during the allotted time for the test, and so some items have to be eliminated. 2-An important issue that must also be considered is the time to be provided for the test. It would probaply be fair and safe in most testing situations to time the test. )49P( ما هي القضايا الهامة التي يعدها المعلم للعناصر والقرارات المكتوبة؟/ 3 س وحتى بعض البنود يجب، المعلم قد يكتب أكثر من البنود التي يمكن أن تحتاج أو أن يجيب من قبل الخصوم خالل الوقت المخصص لالختبارA / 1-A .القضاء عليها سيكون من المحتمل أن تكون عادلة وآمنة في معظم حاالت. من المسائل الهامة التي يجب النظر فيها أيضا هو الوقت الذي يتعين تقديمه لالختبار- 2 .االختبار لوقت االختبار (7) 3-Another important issue is the choice of test techniques which may include: multiple-choice items, short answer question, completion, essay writing. 4-It is important to realize when writing test directions that most students taking any test are working under certain mental pressures. The test should be clear, simple to understand and free from possible ambiguity. . كتابة المقال، واالنتهاء، سؤال الجواب القصير، عناصر االختيار من متعدد: هناك مسألة مهمة أخرى هي اختيار تقنيات االختبار التي قد تشمل- 3 وينبغي أن يكون االختبار.من المهم أن ندرك عند كتابة توجيهات االختبار أن معظم الطالب الذين يأخذون أي اختبار يعملون تحت ضغوط نفسية معينة-4 .واضحا وبسيطا للفهم وخاليا من الغموض المحتمل Q4/ WHAT IS THE REVIEWING THE TEST ITEMS MEANS? (P50) A/ Once the items are written, they should be set aside for a day or two before being reviewed by the teacher. When the teacher is satisfied with the test, it should be subitted to a colleague who is experienced in the subject. Q4 / ( ؟ما هو استعراض عناصر االختبار يعنيP50) يجب أن يتم إرساله، عندما يكون المعلم راضيا عن االختبار. يجب أن يتم تخصيصها لمدة يوم أو يومين قبل مراجعتها من قبل المعلم، بمجرد كتابة البنود/ أ إلى زميل له خبرة في هذا الموضوع. 10 Q5/ WHAT IS THE TESTING A SCORING SCHEME MEANS? (P51) A/ For the purpose of objectivity and reliability, a scoring scheme should be developed for the test. Scoring refers to the process of correcting tests and assessing numerical scores. In objective tests, each item is marked as correct or incorrect. Q5 / ( ؟ما هو اختبار مخطط سكور ينغ يعنيP51) ( في االختبارات. يشير التهديف إلى عملية تصحيح االختبارات وتقييم الدرجات العددية. ينبغي وضع مخطط لالختبار،أ) ألغراض الموضوعية والموثوقية يتم وضع عالمة على كل عنصر على أنه صحيحا أو غير صحيح،الموضوعية. Q6/ WHAT IS REPRODUCING THE TEST MEAN? (P51) A/ It means the presentation of the test paper itself. Where possible, it should be printed so as to appear neat and tidy. )51P( ما الذي يعيد اختبار االختبار؟/ 6Q . يجب طباعته بحيث تظهر أنيق ومرتب، حيثما كان ذلك ممكنا. وهذا يعني تقديم ورقة االختبار نفسها/ A THE FOLLOWING SUGGESTION ARE USEFUL: (P51/ 52) : (P51 / 52)واالقتراح التالي مفيد 1-The test material.......... ..........مواد االختبار1 2-A few extra copies.......... ..........بعض النسخ اإلضافية23-The test material should ................يجب أن تكون مادة االختبار3...........................عندما يكون بلبكس4............................من المستحسن أن5- be................ 4-When blabks are........................... 5-It is advisable to ............................ Q7/ THROUGH ADMINSTRATING THE TEST , TEACHER’S RESPOSIBILTIES INCLUDE.(P52) A/ 1-Selecting the................... 2-Checking test....................... 3-Reading the test........................ )52P( . وتشمل مسؤوليات المعلم، من خالل إدارة االختبار/ 7Q ................... اختيار-1 / A ....................... فحص االختبار-2 ........................ قراءة االختبار-3 Q8/ WHEN CONDUCTING THE TEST, THE FOLLWOING STEPS NEED TO BE CONSIDERED THOROUGHLY: (p53) A/ 1-Seating the tastes................... 2-Discribibg the test....................... 3-Giving test directions..................... 4-Timing the test........................... 5-Walking around....................... ................... سيتينغ ذي تاستيس-1 / A ....................... ديسكريبغ االختبار-2 ..................... إعطاء اتجاهات االختبار-3 ........................... توقيت االختبار-4 11 ....................... المشي حول-5 #IMPORTANT NOTE# Answer the ( DISCUSSION QUESTION ) ON PAGE ( 55 ) (5 (8) TEST DESIGN 1 ) Q1/ WHEN DESCRIBING ASSESSMENT IN AN EDUCATIONAL PROGRAM, TEACHERS ARE MAINLY CONCERND WITH? (P56) A/ 1-Test Format. 2-Test Scoring. 3-Test Result interpretation. 4-Test Techniques. )56 والمعلمين مهتمون بشكل رئيسي؟ (ص، عند تقييم التقييم في برنامج التعليم/ 1Q .تيست فورمات-1 / A .اختبار التهديف-2 .تفسير نتيجة االختبار-3 .تقنيات االختبار-4 Q2/ THE TEST MAY BE CLASSIFIED IN TO THREE MAIN CATEGORIES: (P56) A/ 1-Closed-ended 2-Open-ended 3-Restricted-response )56P( : يمكن تصنيف االختبار إلى ثالثة فئات رئيسية/ 2 Q مغلق النهائي-1 / A مفتوح العضوية-2 المقيدة لالستجابة-3 Q3/ In a close-ended test, the testee.......... (p56) A/ The testee does not create, modify or develop the information. He selects from options that the teacher has put before him as in multiple-choice questions. )56 (ص.......... فإن الشخص، في اختبار مختصر/ 3Q . يختار من الخيارات التي وضعها المعلم أمامه كما هو الحال في أسئلة االختيار من متعدد.(أ) ال يقوم المحقق بإنشاء أو تعديل أو تطوير المعلومات Q5/ In restricted-response test, the testee........... (p57) A/ The teste provides with the opportunity to compose his response, put on very restricted grounds. The best example is cloze tests. )57p( ........... واالختبار، في اختبار االستجابة المقيدة/ 5 Q . أفضل مثال هو اختبارات كلوز. وضعت على أسس محدودة للغاية، يوفر الفرصة للخصم لتأليف رده/ أ Q6/ WHAT DOES IT MEAN BY SCORING, AND HOW MANY CATEGORIES IT HAS? (P57) A/ The process of scoring involves giving numerical scores to student’s performance. Scoring is divided into three main categories: objective, subjective and semi-objective. 12 )57P( وما هي الفئات التي يمتلكها؟، ما الذي تعنيه بالقياس/ 6Q . ذاتية وشبه موضوعية، موضوعية: وينقسم التهديف إلى ثالث فئات رئيسية هي. وتشمل عملية التسجيل إعطاء عشرات العددي ألداء الطالب/ A Q7/ THERE ARE THREE KINDS OF TEST SCORING? (p58) A/ 1-Objective scoring: for example: short-answer questions. 2-Sime-objective scoring: for example: variety of brief response. 3-Subjective scoring: for example: the oral test or essay writing. )58P( هناك ثالثة أنواع من اختبار سكورينغ؟/ 7Q . أسئلة قصيرة اإلجابة: على سبيل المثال:الهدف التهديف-1 / A . مجموعة متنوعة من استجابة وجيزة: على سبيل المثال:شيم الهدف التهديف-2 . االختبار الشفهي أو كتابة المقاالت: على سبيل المثال: التسجيل الذاتي- 3 Q8/ The results of language tests can be interpreted in two different ways depending on ........? A/ ( Reference used ). ؟........ نتائج اختبارات اللغة يمكن تفسيرها بطريقتين مختلفتين اعتمادا على/ 8Q .) (المرجع المستخدم/ A Q9/ There are two kinds of result interpretation? (p58) A/ 1-Norm-refrence interpretation: If the score results are interpreted in relation to the performance of a particular group of individuals. 2-Criterian-refrence interpretation: If the score results are interpreted with respect to a specific level or predetermined criterion. Q9 / ( ؟هناك نوعان من تفسير النتيجةP58) . إذا تم تفسير نتائج النتيجة فيما يتعلق بأداء مجموعة معينة من األفراد:ريفرانس التفسير-نورم-1 / A . إذا تم تفسير نتائج النتيجة فيما يتعلق بمستوى معين أو معيار محدد سلفا:تفسير المعادالت-2 (9) Q10/ THERE ARE A NUMBER OF CONSIDERATIONS BY WHICH STUDENTS’ ABILITY AND PERFORMANCE CAN BE TESTED. (P59) A/ 1-Subject matter. 2-Purpose. 3-Age. 4-Ability. 5-Time. )59P( . هناك عدد من االعتبارات التي يمكن اختبار قدرة الطالب واألداء/ 10Q .الموضوع-1 / A .الغرض-2 .العمر-3 .القدرة-4 . وقت5 Q11/ WHAT ARE THE METHODS OF LANGUAGE TESTING INCLUDE? (P59) A/ 1-Writting assessment. 2-Oral assessment. 3-Aural assessment. )59P( ما هي طرق اختبار اللغة بما في ذلك؟/ 11Q .كتابة التقييم-1 / A . التقييم الشفهي- 2 13 .أورال التقييم-3 Q12/ HOME WORK: Go through google, looking for examples about each test techniques written in ( table 6 ) page 60. Q13/ WHAT IS THE CLOSE-ENDED OR ( OBJECTIVE ) ITEMS? (p60) A/ The item in which is asked in such a way that the answer is unambiguously identified or there is only one predetermined correct answer. )60P( ما هي العناصر المغلقة أو (الهدف)؟/ 13Q . البند الذي يتم طرحه بطريقة بحيث يتم تحديد الجواب بشكل ال لبس فيه أو أن هناك إجابة صحيحة واحدة محددة سلفا فقط/ أ Some characteristics of this item: 1-The student selects from the given material and has more reading to do than writing. 2-The test assesses recognition rather than production. 3-The questions in such tests are easier to mark than to set and permit a wide coverage. 4-This format has objectivly of scoring and economy in marking but lacks production. :بعض خصائص هذا البند .يختار الطالب من مادة معينة ولديه المزيد من القراءة للقيام به من الكتابة-1 . يقيم االختبار االعتراف بدال من اإلنتاج- 2 .األسئلة في هذه االختبارات هي أسهل بمناسبة من وضع والسماح تغطية واسعة-3 .هذا الشكل لديه موضوعيا من التهديف واالقتصاد في وضع العالمات ولكن يفتقر إلى اإلنتاج-4 Q14/ WHAT IS RESTRICTED-RESPONSE OR (SEMI-OBJECTIVE) QUESTIONS? (p61) A/ These questions are designed to elicit answers which may be marked more or less objectively. Some characterstics of ot this question: 1-These questions are fundamentally short-answer questions. 2-These questions are measuring understanding, reasoning, creative thinking and problem solving. )61p( أوبجكتيف)؟- ما هي أسئلة الرد المقيدة أو (سيمي/ 14Q .(أ) هذه األسئلة مصممة الستخالص إجابات يمكن أن تكون موضوعية أكثر أو أقل موضوعيا :بعض تشاراكتيريستيكش من أوت هذا السؤال .هذه األسئلة هي أسئلة جوهرية قصيرة اإلجابة-1 . التفكير اإلبداعي وحل المشكالت، التفكير،هذه األسئلة هي قياس الفهم-2 Q15/ WHAT IS OPEN ENDED OR (SUBJECTIVE) QUESTIONS. (p61) A/ It is called subjective or free response, it means two things: 1-The student has to decide what to include and what to exclude in his answer. 2-There is normally no precise limits in the questions themselves as to the length or style of the answer. Some characteristics of the question: 1-The student in this question is required to write more than reading. 2-Thes questions are easier to set than to mark but they provide limited coverge. )61p( .) ما هي األسئلة المفتوحة أو (الموضوع/ 15Q : فهذا يعني أمرين، وتسمى استجابة ذاتية أو حرة/ A .على الطالب أن يقرر ما يجب تضمينه وما يستبعده في إجابته-1 . ال توجد عادة حدود دقيقة في األسئلة نفسها بشأن طول أو أسلوب اإلجابة- 2 :بعض سمات هذا السؤال .الطالب في هذا السؤال مطلوب كتابة أكثر من القراءة-1 14 .هذه األسئلة هي أسهل لتعيين من عالمة ولكن أنها توفر تغطية محدودة-2 (10) Q16/ WHAT ARE THE CHARACTERSTICS OF OBJECTIVE TEST? A/ ON PAGE (62) 1-........ 2-..... 3-......... 4-........... 5-.......... 6-......... 7-.......... . Q16 / ؟ما هي خصائص اختبار الهدف Q17/ WHAT ARE THE TECHNIQUES OF OBJECTIVE TEST? A/ ON PAGE (62) 1-..... 2-..... 3-...... 4-...... 5-......... 6-..... 7-....... 8-......... 9-....... . Q17 / ؟ما هي تقنيات اختبار الهدف Q18/ WHAT IS THE ( MCQ ) TEST MEANS? A/ It means the multiple-choice test and it is recognized as the most widely applicable type of objective tests. Q18 / ؟ما هو (مسك) اختبار الوسائل A / ويعترف بأنه النوع األكثر قابلية للتطبيق على نطاق واسع من االختبارات الموضوعية، وهذا يعني اختبار االختيار من متعدد. # What are the terminology used in MCQ test? (p62/ 63) A/ 1-........ 2-......... 3-.......... 4-......... 5-........... 6-......... . # ( ؟ما هي المصطلحات المستخدمة في اختبار مسكp62 / 63) #What are the Advantages and Disadvantages of ( MCQ ) TEST? (p63/ 64) A/ ADVANTAGES ARE: 1-....... 2-...... 3-......... 4-........ 5-....... 6-...... 7-........... . A/ DISADVANTAGES ARE: 1-....... 2-...... 3-....... 4-........... 5-..... 6-......... . # ما هي مزايا وعيوب (مسك) اختبار؟ (ص63/64) # Suggestion for constracting MC items? (p 64/ 65/ 66 ) A/ 1-...... 2-..... 3-...... 4-...... 5-...... 6-..... 7-...... 8-..... 9-.... 10-...... . Q19/ WHAT IS THE TRUE / FALSE ITEMS? (p66) A/ It is declarative statement that the tastes is asked to mark as true or false, in each items there are only two possible answers, and the teste asked to select one. It is used for measuring the ability to identify the correctness of statement of principles and the like. )66P( الخاطئة؟/ ما هي العناصر الحقيقية/ 19Q وطلب تيست الختيار، في كل بند هناك اثنين فقط من اإلجابات المحتملة، هو بي ان تصريحي أن يطلب من األذواق لالحتفال بأنها صحيحة أو خاطئة/ A . يتم استخدامه لقياس القدرة على تحديد صحة بيان المبادئ وما شابه ذلك.واحد #What are the Advantages and Disadvantages of ( T/ F ) TEST? (p67/ 68) A/ ADVANTAGES ARE: 1-....... 2-...... 3-......... . A/ DISADVANTAGES ARE: 1-....... 2-........ . )68/67 ) اختبار؟ (صT / F( ما هي مزايا وعيوب# # Suggestion for constracting MC items? (p 67/ 68 ) A/ 1-...... 2-..... 3-...... 4-...... 5-...... 6-........ . Q20/ WHAT IS THE MATCHING ITEMS MEAN? (P68) A/ It consists of two lists with instructions as how the matching is to be undertaken. The items in the first list called ( premises ) the items in the second list called (responses ). The testee’s task is to identify the pairs of items that are to be associated. )68P( ما هي العناصر المطابقة؟/ 20Q 15 وتتمثل مهمة.) البنود في القائمة األولى تسمى (المباني) العناصر في القائمة الثانية تسمى (الردود. وهو يتألف من قائمتين مع تعليمات مثل كيفية المطابقة/ A .الشخص في التعرف على أزواج من العناصر التي يجب ربطها #What are the Advantages and Disadvantages of Matching items? (p69) A/ ADVANTAGES ARE: 1-....... 2-...... . A/ DISADVANTAGES ARE: 1-....... 2-........ 3-........... . # ( ؟ما هي مزايا وعيوب مطابقة البنودP69) # Suggestion for constracting Matching items? (p 69/ 70 ) A/ 1-...... 2-..... 3-...... 4-...... 5-...... . (11) Q21/ WHAT IS THE REARRANGEMENT TEST MEAN? (P70) A/ This test format demands the arrangment of a number of words to make a meaningful sentences or, to arrange a jumbled series of sentences to form a meaningful and coherent piece of writing. )70P( ما هي طريقة اختبار إعادة التنظيم؟/ 21Q أو ترتيب سلسلة من الجمل المختلطة لتشكيل قطعة كتابة ذات مغزى،(أ) يتطلب شكل االختبار هذا ترتيب عدد من الكلمات إلصدار جمل ذات معنى .ومتماسكة Q22/ WHAT IS THE GAP FILLING MEAN? (P70) A/ In this test the student is given a number of sentences with gaps to be filled from a list of words given either before the sentences or at the bottom. )70P( ما هو ملء الفجوة؟/ 22Q . في هذا االختبار يتم إعطاء الطالب عددا من الجمل مع ثغرات لملء من قائمة من الكلمات التي تعطى إما قبل الجمل أو في األسفل/ أ Q23/ WHAT IS THE LABELLING MEAN? (P72) A/ The test in which the testee is required to labe certain areas of a digram or a picture which is accompanied by a text. The testee asked to read information from text and lable the diagram accordingly. )72P( ما هي طريقة التسمية؟/ 23Q طلب من المستطلع قراءة المعلومات من النص و البل.(أ) االختبار الذي يطلب من الشاهد فيه أن يعالج مناطق معينة من ديغرام أو صورة مصحوبة بنص .الرسم البياني وفقا لذلك Q24/ WHAT IS ( ODD-ONE-OUT ) TEST MEAN? (P73) A/ It is also an adjective testing technique in which the testee is given four words in each item and he has to recognize the word that is not related to the set of words in the item. )73P( أوت) تيست ميان؟-وان- وات إس (أود/ 24Q بل هو أيضا طريقة اختبار الصفة التي يتم إعطاء الخصية أربع كلمات في كل بند وانه يجب أن تعترف الكلمة التي ال عالقة لمجموعة من الكلمات في/ A .هذا البند Q25/ WHAT IS THE GRID ITEM MEAN? (P73) 16 A/ In this test the student is required to communicate his understanding of the material presented in boxes and respond by selecting or ticking the right boxes. )73P( ما هو بند جدول األعمال؟/ 25Q . في هذا االختبار يطلب من الطالب أن يفهم فهمه للمواد المعروضة في صناديق واالستجابة عن طريق اختيار أو وضع عالمة في المربعات المناسبة/ أ Q26/ WHAT IS TRANSCODING ( TRANSFERING ) TEST MEAN? (P74) A/ In which the higher level students may be asked to transcode or transfer some information obtained from a reading text to a table or graph. )74P( ما هو النقل (نقل) اختبار؟/ 26Q .(أ) قد يطلب من الطالب ذوي المستوى األعلى أن يقوموا بترميز أو نقل بعض المعلومات التي تم الحصول عليها من نص القراءة إلى جدول أو رسم بياني #IMPORTANT NOTE# Answer the ( DISCUSSION QUESTION ) ON PAGE ( 76 ) ( 6 (12) TEST DESIGN (2) ) This chapter focusing on Restructed-Response and Open-ended questions. Q1/ In Restructed-Respose: 1-questions clearly ask for a short reply which testee has to compose from his own according to what he has studied. 2-Marking these tests are not completely objective or completely subjective. Q1 / ريسوس-إن ريستروتود: .أسئلة تسأل بوضوح عن الرد القصير الذي يجب أن يكون المؤلف أن يؤلف من تلقاء نفسه وفقا لما درس-1 .وضع عالمات على هذه االختبارات ليست موضوعية تماما أو ذاتية تماما-2 Q2/ What are the Advantages of ( RRQ) Items? (p 78) 1-............. 2-............. 3-............. 4-....... 5-......... 6-.......... 7-............ 8-........... . Q3/ What are the Disadvantages of ( RRQ ) items? (p 78) 1-........... 2-................ 3-.................. Q4/ Suggestions for constructing RRQ items? (p 78/ 79) 1-................. 2-................. 3-................ . Q5/ What are the RRQ items techniques? (p 79) 1-............. 2-............ 3-.............. 4-.............. 5-.................... . Q6/ What is the Transformation technique means? (p 79) A/ This techniques is extremly useful for testing student’s ability to construct, and produce sentences by changing a sentence structure form into another as required. A wide range of grammatical areas can be coverd. 17 Q7/ What is the Completion technique means? (p 80) A/ It means of testing student’s ability to produce correctly grammatical and meaningful sentences. Q8/ What is the Cloze test means? (p 80) A/ Here a test is chosen first, and then the teacher delets every nth word. The blanks are of uniform length. The testees have to full in the blanks with the approperiate words on the basis of contextual clues provided in the text. Q9/ Scoring the cloze test: (p 81) A/ For scoring a cloze test, one mark may be awarded for each exact answer, or accaptable one. This means that a testee is given a mark weather he restores the exact word or writes a sutibale one. Both answers are considered right and they deserve a full mark. Q10/ What does it mean by short-answer questions? (p 83) A/ The testees are asked to identify relationships in the data, to recognize valid conclusions, to appraise assumptions or inferences, and the like. (13) Q11/ What are the main characteristics of open-ended questions? (p 85) A/ 1-........... 2-.......... 3-....... 4-............ Q12/ What are the advantages of OEQ items? (p 86) A/ 1-........ 2-............ 3-......... 4-............ Q13/ What are the disadvantages of OEQ items? (p 86) A/ 1-......... 2-.............. 3-............. 4-............. Q14/ Suggestions for constructing OEQ: (p 86) A/ 1-............ 2-......... 3-.......... 4-........... 5-......... 6-......... 7-.......... Q15/ What are the techniques of testing OEQ? (P 87) A/ 1-Composition writing 2-Letter or email writing 3-Essay 4-Summary writing )87 ما هي تقنيات اختبار أويق؟ (ص/ 15Q تكوين الكتابة-1 / A رسالة أو الكتابة عبر البريد اإللكتروني-2 مقال-3 كتابة الملخص-4 Q16/ Composition writing can be classified into two kinds: (p 87) A/ 1-Guided ( or Restricted ) writing questions. 2-Free ( or Extended ) writing questions. )87 (ص: يمكن تصنيف كتابة التركيب إلى نوعين/ 16Q 18 .الموجهة (أو مقيدة) أسئلة الكتابة-1 / A .الحرة (أو الموسعة) أسئلة الكتابة-2 Q17/ What is Guided writing mean? (p 87) A/ In guided writing, testees are given some help to compose their piece of writing which can different forms. Q18/ Guided writing has diffrent forms: (p 88) A/ 1-Parrallel passage:............. 2-Completion ...................... 3-Pictorial composition....... 4-Letters or e-mails............. 5-Filling in a form............... Q19/ Free writing means: (p 88) A/ It includes writing a report, an essay, an argumentative or describtive composition, and the like. No help is given to the testees besides the title of the task and the number of words. . ال تعطى أي مساعدة للخصيتين إلى جانب عنوان المهمة وعدد من الكلمات.(أ) يتضمن كتابة تقرير أو مقال أو تركيبة مجادلة أو وصفية وما شابه ذلك #IMPORTANT NOTE# Answer the ( DISCUSSION QUESTION ) ON PAGE ( 88 ) (14) 19 20 21 22