کارگاه پرسشنامه پرسشنامه پرسشنامه حاوي مجموعه اي از سئواالت است که پاسخ گو به گونه اي کتبي به آنها پاسخ مي دهد. ابزاري که در آن سئواالت بصورت کتبي ارائه مي گردد و واحد پژوهش پاسخها را خود مي نويسد Methods of Data Collection: • There are usually 4 methods involved: 1. Questionnaires (it may be used in all kinds of research either experimental or non-experimental but it is one of most specific tools in surveys.) 1. Interviews 2. Observation 3. documents مواقع بکارگيري • دانش • نگرش يا طرز تفکر • عملکرد Knowledge Attitude Practice مرحله -1توصيف آنچه قصد "اندازه گيري" آن را داريد. در مورد آنچه قصد اندازه گيري آن را داريد ،بسيار شفاف عمل كنيد. ً اين مرحله احتماال دشوارترين مرحله در مراحل تهيه پرسشنامه است .تا هنگامي كه آگاهي و مهارتها و رفتارها يا نگرشهايي را كه قصد داريد افراد ،خود را در برابر آنها مورد ارزيابي قرار دهند ،مشخص نكرده ايد، به هيچ وجه قادر به طراحي سؤاالت پرسشنامه نخواهيد بود .اگر بتوانيد آنچه را كه قصد اندازه گيري آن را داريد با جزئيات كامل توصيف كنيد ،قادر به اندازه گيري آن نيز خواهيد بود. مثال :اندازه گيری تفکر استراتژيک تعريف :داشتن انديشه هاي بلند مدت و طراحي هدفهايي با مقياس وسيع شاخصهاي رفتاري فعاليتها و وظايف روزمره را با چشم اندازهاي بلند مدت مرتبط مي سازد. هدفهاي بلند مدت و با مقياس وسيع را طراحي مي كند. برنامه هاي عملياتي براي تحقق مقاصد بلند مدت پايه ريزي مي كند. مقاصد و پروژه هاي بلند مدت سازماني را پايه ريزي مي كند. ميزان تاثيرپذيري سياستها ،فرآيند و روشهاي كنوني را از توسعه آينده سازماني بررس ي مي كند. برنامه هاي اضطراري براي مسائل و اتفاقات احتمالي را تهيه مي كند. استراتژيهاي (راهبردهاي) اقتصادي را طراحي مي كند. تهديدها و فرصتهاي بلند مدت را مشخص مي كند. در مورد ارائه يك ديدگاه از وضعيت مطلوب سازمان در آينده ،با ديگران مشاركت مي كند. ميزان انطباق اهداف كوتاه مدت با اهداف بلند مدت را بررس ي مي كند. براي تحقق هر چه بهتر اهداف بلند مدت ،در طراحي سازمان تجديد نظر مي كند. مرحله -2تصميم گيري در باره شكل پرسشنامه چك ليست (فهرست بازبيني) عبارات دوتايي انتخاب اجباري باز -پاسخ برای کسب اطالعات بيشتر در مورد شکل پرسشنامه و نحوه نمره دهی و تفسير نمرات می توانيد به کتاب ((مجموعه پرسشنامه برای مربيان روابط انسانی -ناشر دانشگاه علوم پزشکی اصفهان ترجمه :يوسفی – چنگيز -جعفری)) مراجعه کنيد. راهنماي پاسخگويي :در اين پرسشنامه 12عبارت درباره کار تيمي وجود دارد .روي خطي که در کنار هر عبارت وجود دارد با مراعات صداقت کامل ،پاسخخ خخود را ً مرقخو فرماييخخد .دربخخاره هخخر عبخخارت ،مشخخخص فرماييخخد تيمخخي کخخه شخخما در آن عيخخو هسخخييد کخم يخخا بخخيش چخخه تمخخاي تي از خخخود بخخروز مخخي دهخخد .لطفخخا از شخخماره کلمخخات زيخخر براي پاسخگويي استفاده کنيد. .1به ندرت .2گهگاهي .3مکررا .4تقريبا هيچگاه – خيلي به ندرت .5تقريبا هميشه – خيلي زياد ____ -1تمايل داريم اهداف تيم را همانگونه که اعالم و قرائت مي شود ،بپذيريم ،با اين پيش فرض که درک مشترکي داريم. ____ -2از روش ثابتي پيروي نمي کنيم ،درباره روش کار ،در خالل انجام کار ،به توافق مي رسيم. ____ -3نقشهاي مشخص ي را براي اعضاء تيم در نظر مي گيريم (مانند :مدير جلسه ،وقت نگهدار ،منش ي جلسه و چيزهايي از اين قبيل). ____ -4مااايليم بااا توافااق روي قواعاادي ،اطمينااان پياادا کناايم کااه همااه چيااز براسااا نظاام پاايش مااي رود (مااًال اينکااه هاار کاا ي باراي صااتبت کردن وقت بگيرد يا قطع کالم ديگران به حداقل برسد و مواردي از اين قبيل). ____ -5مدير تيم ،دموکراتيک و همکارانه عمل مي کند. ____ -6ما از آگاهي الزم براي انجام کار برخورداريم و نمي گذاريم موضوعي بيش از حد وقت تيم را بگيرد. ____ -7تمايل داريم ايده هاي زياادي در گاروه خلاق شاوند ،اماا يساياري از ايان اياده هاا باه دجيال عادم توجاه گاروه و ياا رد شادن آنهاا از ساوي يعض ي افراد گروه ،از دست مي روند. ____ -8همه ما باور داريم که مسئوجيت مشترکی در قبال موفقيت و يا شکست تيم داريم. ____ -9ما روش مشخص ي براي توافق در مورد هدفها و برنامه ريزي جهت انجام وظايف داريم. ____ -10رهبر تيم (مدير جلسه) همان گونه که در حفظ نظم کوشش مي کند ،در انجام وظايف گروه هم همکاري مي کند. ____ -11ما از کارکردن با هم جذت مي بريم .اين همکاري ضمن موجد بودن ،نشاط آور است. ____ -12رهبر تيم (مدير جلسه) با تذکر نکات الزم ،تضمين کننده حفظ قواعد ،پرهيز از مشاجرات و قطع کالم افراد است. مرحله -3ساختن سؤاالت پرسشنامه اين مرحله خ قانه ترين مرحله است .بزرگترين چالش ،بكارگيري كلماتي در عبارات پرسشنامه است كه ارزشهاي مورد قبول شما برآن سايه نيفكنده باشد . آشكار كردن همه آن چيزي كه مورد قبول شما مي باشد .در خ ل سؤاالت پرسشنامه و به دست آوردن پاسخهاي جذاب و مطلوب شما ،كار ساده اي است .از ان اجتناب کنيد هنگامي كه درصدد ساختن عبارات پرسشنامه هسييد ،بهترين توصيه اين است كه عبارات را كوتاه و مختصر بسازيد .هر چه مختصرتر ،بهتر .توجه مدا به فهرست تشريحي كه در مرحله اول تهيه كرده ايد كمك كننده است. به سادگی ممکن است از هدف پرسشنامه دور شويد ،زيرا وسوسه نوشتن سواالت ماهرانه اما غير مرتبط ،زياد است. مرحله -4طراحي سيستم نمره گذاري .بهترين توصيه به شما اين است كه اين كار را ساده بگيريد. اگر افراد در هنگا اجراي پرسشنامه اي كه شما طراحي كرده ايد، زياد سؤال مي كنند و يا نياز به كمك دارند ،مطمئن باشيد كه سيستم نمره گذاري پيچيده اي ،برگزيده ايد. مرحله -5آزمايش نمونه اوليه وقتي سؤاالت پرسشنامه را طراحي كرديد و روش نمره گذاري را مشخص نموديد ،پرسشنامه را در يك گروه نمونه آزمايش كنيد .به چند دليل ،اين مرحله يك مرحله مهم و ضروري است .اين داليل عبارتست از: مشخص شدن مدت زمان تكميل پرسشنامه. مشخص شدن سؤاالت و ابهامات افراد در مورد دستورالعمل تكميل پرسشنامه ،سؤاالت پرسشنامه ،و روش نمره گذاري آن. بدست آوردن داده هاي خا براي تحليل هاي آماري. مرحله -6تحليل آماري وقتي اط عات نمونه ها فراهم شد ،چهار عمل محاسباتي بايد انجا شود .در هر مورد مي توانيد كارهاي دقيق تري انجا دهيد .افراد سخت گير و اصول گرا ،اصرار بر دقت و كامل بودن در هر مورد دارند .به هر حال براي حفظ امانت در اين قسمت ،حداقل كارهايي را كه بايستي انجا دهيد ،تشريح مي كنم و توصيه مي كنم كه محاسبات را به ساده ترين شكل انجا دهيد . ) ( Likert – Scaleمقياس ليکرت مقياس (طيف) ليکرت به دليل سهولت ساخت ،نمره گذاري و تفسير نمرات با استقبال فراواني مواجه شده است .به ويژه آنکه همبستگي نتايج نگرش سنجي از طريق مقياس ليکرت با ساير مقياسها به ميزان بسيار بااليي گزارش شده است .اين در حالي است که ساخت مقياس ليکرت به لحاظ زماني و اقتصادي بسيار مقرون به صرفه تر از ساير مقياسها است. براي استفاده از مقياس (طيف) ليکرت جهت سنجش نگرشها و گرايشها به ترتيب زير اقدام مي شود. -1ابتدا متغيري که براي اندازه گيري مورد نظر است بايستي به صورت عملياتي تعريف شود .براي مثال اگر اندازه گيری مفهومی مانند (نگرش به آزادي) مورد نظر باشد، بايد رفتارهاي يک فرد آزاديخواه به صورتي که قابل مشاهده و قابل اندازه گيري باشد ،فهرست شود. آزادي تمايل قلبي و باطني همه انسانهاست. آزادي ارزش وااليي دارد اما امنيت براي همه انسانها ارزشي حياتي دارد . حاضرم براي آزادي حتي جان خود را فدا کنم. آزادي بدون قيد و شرط آزادي نيست ،بلکه نوعي هرج و مرج است. آزادي صرفا در چهارچوب ارزشها و هنجارهاي اجتماعي قابل پذيرش است . آزادي بدون قيد و بند ارزشهاي انسان را کاهش مي دهد. بزرگترين آزادي آن است که انسانها از اسارات تمايالت و هوسهاي خود آزاد باشند. تنها قيدي که براي آزادي مي توان برشمرد اين است که مزاحم ديگران نباشد . تعيين قيد و بند براي آزادي در واقع به اسارت کشيدن آزادي است . با ارزش ترين انسانهاي تاريخ آنهائي هستند که براي آرمان آزادي جان باخته اند. اگر عدالت در جامعه نباشد آزادي معنائي ندارد. افرادي که با شعار آزادي بر مردم مسلط شده اند صرفا در صدد کسب قدرت بوده اند. بدون آزادي هيچ پيشرفتي براي جامعه حاصل نخواهد شد. عقل و منطق حکم مي کند که براي ايجاد امنيت جلوي برخي آزاديها گرفته شود. به بهانه آزادي نمي توان به همة ارزشهاي انساني پشت پا زد. آزادي صرفا در چهارچوب قوانين روشن پذيرفته است. اکثر افرادي که مرتبا از آزادي دم مي زنند مقاصد پنهان ديگري دارند. فوايد آزادي از ضررهاي احتمالي آن بيشتر است. اگر آزادي را از انسان بگيرند خوب بودن بي معني مي شود. احساس آزادي احساس زندگي است. ادامه... -2اين رفتارها در قالب گزاره هايي بيان شود .اين گزاره ها بايستي هم جنبه مثبت و هم جنبه منفي را در نظر بگيرد و تعداد اين گزاره هاي مثبت و منفي حتي المقدور در فرم نهايي پرسشنامه برابر باشد. گزاره شکل مثبت :آزادي اصيل ترين آرزوي انسانها است. گزاره شکل منفي :آزادي معموالً به هرج مرج مي انجامد ادامه... -3در مقابل هر کدام از گزاره ها طيفي به پاسخگو ارائه مي شود که در برگيرنده موافقت کامل تا عدم توافق کامل است ,مثال: نظري ندارم موافقم کامالً موافقم کامالً مخالفم مخالفم ادامه... در بعضي موارد ممکن است به حسب نوع گزاره ها اين طيف در برگيرنده رضايت کامل تا عدم رضايت کامل باشد. مثال: از وضعيت جسماني خود: مجموعا ً رضايت دارم کامالً رضايت دارم نه راضي و نه ناراضي هستم کامالً ناراضي هستم ناراضي هستم ادامه... ذکر اين نکته الزم است که به حسب شکل گفتاري دستوري گزاره بيان شده در پرسشنامه ممکن است کلماتي در طيف آورده شود به غير از در حالت فوق که در هر حال بايستي به نوعي در برگيرنده توافق کامل تا عدم توافق باشد .گرچه شکل اول مثال (توافق – عدم توافق) مرسوم ترين حالت طيف ليکرت است ،اما در تناسب با شکل بيان گزاره ممکن است کلمات ديگري که هم وزن مثال اول باشد مورد استفاده قرار گيرد .مثالً براي تماشاي فيلم هاي پليسي به سينما مي روم. گاهي اوقات بيشتر وقتها هميشه اصالً (هيچ وقت) به ندرت ادامه... در ساخت و ارائه گزاره هاي نگرش سنج بايستي محقق (سازنده پرسشنامه) توجه داشته باشد که از بيان و ارائه گزاره هاي بي تفاوت که نشاندهنده جهت گيري مثبت يا منفي نمي باشند ،پرهيز نمايد .اين توصيه در مورد گزاره هاي غير مرتبط با موضوع مورد بررسي نيز صادق است. البته بعضي مواقع ممکن است محقق به صورت عمدي و براي سنجش صحت و دقت پاسخگويان ازگزاره هاي بي ارتباط نيز استفاده کند .البته اين موضوع نبايستي به عنوان قاعده تلقي شود و کساني که در ساخت پرسشنامه خبرگي ندارند بهتر است سراغ اين کار نروند. ادامه... نکته ديگري که ذکر آن همين جا الزم است اين است که بعضي مواقع طيف ارائه شده به پاسخگويان ممکن است هفت درجه اي باشد مانند: تا حدودي موافقم موافقم کامالً موافقم مخالفم تا حدودي مخالفم نظري ندارم کامالً مخالفم حالت هفت درجه اي طيف ليکرت در برخي از پرسشنامه ها با کلمات فوق يا مشابه اينها بعضي مواقع با صالحديد سازنده پرسشنامه (محقق) بکار گرفته شده و مي شود اما جنبه رايج اين طيف همان حالت پنج درجه اي است .شکل سه درجه اي اين طيف نيز بعضا ً مورد استفاده قرار مي گيرد. ادامه... -4براي نمره گذاري پاسخها در طيف ليکرت معموالً به پاسخ کامالً مخالفم نمره 1 مخالفم 2 نظري ندارم 3 موافقم 4و کامالً موافقم نمره 5 تعلق مي گيرد .بعضي مواقع اين نمره گذاري از صفر (کامالً مخالفم) شروع و تا نمره ( 4کامالً موافقم) ادامه مي يابد ولي شکل اول نمره گذاري شايعتر است .در بعضي پرسشنامه ها نيز به حالت نظري ندارم نمره صفر ،موافقم و کامالً موافقم نمره 1و 2و مخالفم و کامالً مخالفم نمره منفي 1و 2داده مي شود که اين شکل نمره گذاري چندان شايع نيست .البته به هر کدام از سه شکل فوق که نمره گذاري انجام شود در نتيجه تفاوتي حاصل نمي شود. بايستي دقت داشت که در فرم اصلي پرسشنامه که به پاسخگويان داده مي شود نمره ها در کنار پاسخها ذکر نمي شود .الزم به ذکر است در گزاره هايي که پاسخ منفي نشان دهنده گرايش است نمره گذاري معکوس انجام مي گيرد ادامه... • -5معموالً براي ساخت يک پرسشنامه نگرش سنج خوب با مقياس ليکرت ابتدا فرم اصلي پرسشنامه تهيه نمي شود .بلکه تعداد زيادي از گزاره هاي تهيه شده در يک مطالعه مقدماتي ) (Pilotمورد استفاده قرار مي گيرد و با تحليل گزاره هاي استفاده شده ) (Item Analysisمناسبترين گزاره ها براي استفاده از فرم نهايي پرسشنامه استفاده مي شود .فرم نهايي پرسشنامه نگرش سنج معموالً حاوي حداقل 15و حداکثر 30 گزاره مي باشد که البته حدود 20تا 22گزاره توصيه شده است. تحليل سوواالت ITEM ANALYSIS براي انتخاب مناسبترين گزاره ها در مطالعه مقدماتي دو روش معمول است الف :همبستگي هر گزاره با کل گزاره ها )(Correlation ب :مشخص کردن قدرت تشخيص گزاره )(Discrimination الفففف :در محاسفففبه همبسفففتگي ،بفففراي هفففر گفففزاره نمفففره اي کفففه تفففک تفففک پاسففخگويان بففه آن گففزاره داده انففد بففا نمففره کففل پاسففخگويان مففورد محاسففبه همبستگي قرار مي گيرد .مثالً براي گزاره شماره 10 پس از محاسبه همبستگي سواالت (گزاره ها) با کل آزمون ،گزاره هايي که حائز باالترين همبستگي هستند انتخاب مي شوند و در فرم اصلي پرسشنامه قرار مي گيرند .البته محاسبات دستي براي محاسبه تک تک همبستگي ها کار خيلي وقت گيري است اما با استفاده از کامپيوتر و نرم افزار SPSSاين کار با سهولت انجام مي شود. نمره فرد در گزاره 10 نمره کل فرد شماره افراد 4 83 1 2 44 2 1 56 3 5 66 4 4 74 5 0 0 0 0 0 0 0 0 0 Item analysis ب :محاسبه قدرت تشخيص هر گزاره :براي اين اقدام پاسخگويان به حسب نمره اي که از پرسشنامه کسب کرده اند رتبه بندي مي شوند .مثالً اگر 60نفر در مطالعه مقدماتي شرکت کرده اند به حسب نمره اي که کسب کرده اند در رتبه اول تا شصتم جاي مي گيرند .و سپس در مقابل هر فرد نمره او در هر گزاره ذکر مي شود. Item analysis ....... ....... ....... نمره گزاره 3 نمره گزاره 2 نمره گزاره 1 رتبه افراد 5 4 5 1 5 5 5 2 5 5 5 3 1 3 2 58 2 1 1 59 1 2 1 60 ... .... (به دليل طوالني شدن جدول فقط شکل ترسيم جدول مورد نظر بوده است) پس از کامل شدن جدول 25درصد افراد باالي جدول و 25درصد افراد پايين جدول انتخاب مي شوند (در مثال 60نفر شامل 15نفر باال و 15نفر پايين) سپس براي هر سوال ميانگين نمرات افراد باال در هر سوال (در اين مثال 15 نفر باال) محاسبه مي شود و با ميانگين نمرات افراد پايين در هر سوال (در اين مثال 15نفر پايين) از طريق آزمون ( Tتي) مقايسه مي شود .تفاوت ميانگين هايي که در سطح P<05/0يا < P 01/0به حسب نظر محقق معني دار باشد نشان دهنده اين است که سوال (گزاره) مورد نظر از قدرت تشخيص مناسبي برخوردار مي باشد .محقق مي تواند از بين سواالتي که قدرت تشخيص معني داري داشته اند تعداد گزاره هاي مورد نظر براي فرم نهايي پرسشنامه را گزينش نمايد .در صورتي که تعداد گزاره هاي با قدرت تشخيص معني دار بيش از تعدادي باشد که محقق براي فرم نهايي پرسشنامه در نظر دارد ،مي تواند گزاره هايي را گزينش کند که مقدار Tمحاسبه شده آنها بيش از ساير گزاره ها باشد. Item Analysis -6 گزاره هاي گزينش شده در مطالعه مقدماتي در فرم نهايي پرسشنامه قرار مي گيرد و به پاسخگويان (نمونه تصادفي انتخاب شده از جامعه تحقيق) عرضه مي گردد .پس از اجراي پرسشنامه فرم نهايي روي نمونه مورد مطالعه مطابق شرحي که در قسمت شماره 4ذکر شد ،سواالت (گزاره ها) نمره گذاري مي شوند و نمره هر پاسخگو که مجموع نمرات او در هر گزاره مي باشد .محاسبه مي گردد .براي تفسير نمرات پاسخگويان (تعيين گرايش يا نگرش مثبت و منفي آنان نسبت به موضوع مورد مطالعه) مي توان نسبت به تعيين ميانگين پرسشنامه اقدام کرد و نمره هر پاسخگو را با ميانگين پرسشنامه مقايسه کرد. چنانچه نمره پاسخگو باالتر از ميانگين پرسشنامه باشد ،نشان دهنده گرايش مثبت و در صورتي که کمتر از ميانگين پرسشنامه باشد ،نشان دهنده گرايش منفي است Item Analysis .براي محاسبه ميانگين پرسشنامه مي توان از فرمول ساده زير استفاده کرد. • U L M 2 = Mميانگين • = Uحداکثر نمره اي که در پرسشنامه قابل کسب کردن است. • = Lحداقل نمره اي که در پرسشنامه قابل کسب کردن است. براي مثال اگر يک پرسشنامه 20گزاره اي را در نظر بگيريم .حداکثر نمره اي که قابل کسب است عبارتست از U = 2×5=100و حداقل نمره عبارتست از L = 20×1=20پس ميانگين عبارت خواهد بود: 100 20 M 60 2 • Validity: A generic term used to define the degree to which the test measures what it claims to measure. What is measurement validity? • Validity refers to the accuracy of a measure. • A measurement is valid when it measures what it is suppose to measure and performs the functions that it purports to perform. • Does an indicator accurately measure the variable that it is intended to measure? VALIDITY • The extent to which measures indicate what they are intended to measure. • The match between the conceptual definition and the operational definition. Validity • validity types are attempting to assess the degree to which you accurately • Translated your construct into the operationalization. types of translation validity • • • • • • • Face Validity Content Validity Criterion-Related Validity Predictive Validity Concurrent Validity Convergent Validity Discriminant Validity Translational Validity • Face/Logical Validity –When the measure is that being tested, i.e. the measure is valid by definition • Content Validity –Does the measure adequately sample what is covered? Face Validity • Determined by judgements made by the researcher and based on surface appearance. Content Validity • Determined by expert judgements of the appropriateness of the contents of a measure. Domain of Meaning • Content validity refers to degree that one has representatively sampled from that domain of meaning. • This type of validity receives the most attention in construction of achievement & proficiency measures with psychology & education. Criterion Validity • Predictive Validity –Can the measurement be used to predict later reality? • Discriminant Validity –Is the measurement dissimilar to other measures that it theoretically should be dissimilar to? Criterion Validity, 2 • Concurrent Validity – Is the measurement correlated with a criteria that is measured at the same time? • Convergent Validity – Is the measurement similar to other measures that it theoretically should be similar to? Construct validity is an assessment of how well you translated your ideas or theories into actual programs or measures. Why is this important? Because when you think about the world or talk about it with others (land of theory) you are using words that represent concepts What is a criterion? • This is the standard by which your measure is being judged or evaluated. How to determine Criterion Validity • Find alternative measurements • Make alternative and your measurements at similar times • Compare results • These methods work for Face/Logical & Content Validity too! Example: Reading Achievement Test • A multiple choice test on reading achievement (which is designed to measure achievement at the time of testing and not designed to predict any future behavior.) might be validated by: – comparing the scores on the test with teachers’ ratings of students’ reading abilities. • Teachers’ ratings are the criterion Predictive Validity • This is determined by correlating test scores with criterion scores obtained after examinees have had a chance to perform what is predicted by the test. • A measure is validated with reference to future standing on criterion variable. Example: Employment Test • The purpose of an employment test is to predict success on the job. • The most appropriate test of its validity is predictive validity - to what extent does the test predict what it is supposed to predict? Reliability WHAT IS RELIABILITY? • A thermometer is Accurate if the actual body temperature (98.6F) and what is registered on the thermometer (98.6F) are the same • A thermometer is Consistent if, for multiple measures of body temperature, what is registered on the thermometer (99F) is the same each time (NOTE: a measure can be consistent and inaccurate, but not the other way around!) TEST RELIABILITY • Remember. . .reliability deals with measurement error; thus a “perfectly reliable” measure is 100% error-free. – We never know a person’s “true” score • Therefore, all our selection tests will only be estimates of reliability Statistical Concept of Reliability • Real Variance (Observed-Error) • Observed Variance (Real+Error) )واريانس واقعی (واريانس مشاهده شده – واريانس خطا ) واريانس خطا+ واريانس مشاهده شده (واريانس واقعی Methods of reliability estimation • 1-test---retest • 2-Parallel forms/alternate forms • 3-split half • 4-Alfa Kronbach WHAT FACTORS INFLUENCE TEST RELIABILITY? • • • • • • • Test question difficulty Length of a measure The method used to estimate reliability Response format How and by whom test is administered How homogenous or similar the test items are Physical conditions of testing location and physical condition of test taker Neither Reliable Nor Valid Reliable And Valid Reliable But Not Valid dean@merc.mui.ac.ir aryousefy@edc.mui.ac.ir Congratulation