BLUEPRINT OF ASSESSMENT High-stakes tests-those used for promotion ,grading decisions or used for any other life-altering decisions) must be reasonably reproducible (precise , reliable) and accurate - valid
روايي آزمون validity
تعريف اصطلاحي است كه به هدفي كه آزمون براي تحقق بخشيدن به آن درست شده است، اشاره مي كند.
آزموني داراي روايي است كه براي اندازه گيري آنچه مورد نظر است، كافي و مناسب باشد.
به عبارت ساده تر ،آزموني روا مي باشد كه همان چيزي را اندازه گيري نمايد كه ازابتدا به عنوان هدف از آزمون مشخص شده است، به عنوان مثال اگر آزمون درس كودكان است، انتظارمي رود كه فقط درس كودكان را مورد اندازه گيري و سنجش قرار دهد و نه سرعت خواندن فرد، درك زبان انگليسي و غيره ...
انواع روايي آزمون
روايي محتوايي (content-related validity)
روايي صوري
روايي ملاكي(روايي معيار)
روايي پيش بيني
روايي همزمان
روايي سازه
1- روايي محتوايي (content-related validity)
آيا سؤال هاي آزمون نمونه خوبي از محتواي درس يا موضوع مورد نظر مي باشد؟
ازآنجا كه هيچ آزموني نمي تواند تمام محتوا و كليه هدف هاي يك درس راشامل شود ،هر آزمون از مجموعه اي سؤال كه به عنوان نمونه اي از تمام محتوا و هدف هاي آموزشي درس انتخاب شده است، تشكيل مي يابد.
كاربردي ترين و مهمترين روايي كه ما با آن سروكار داريم، همين روايي محتوايي است.
روايي محتوايي به اين مطلب اشاره مي كند كه نمونه سؤال هاي موجود در يك آزمون تا چه حد معرف كل جامعه سؤال هاي ممكن است كه مي توان از محتوا يا موضوع مورد نظر تهيه كرد.
هرچه آزمون از اين لحاظ بهتر باشد، داراي روايي بيشتري است.
چگونه آزموني بسازيم كه روايي محتوايي بالايي داشته باشد؟
بااستفاده از جدول مشخصات آزمون
در ارزشيابي باليني اين موارد بايستي در نظر گرفته شود.
مهارت هاي جمع آوري اطلاعات
* * سنجش يادگيري عملکرد يادگيرندگان
در جهت تامين روايي validity آزمون
جدول مشخصات آزمون : table of specifications
مهمترين گام در تهيه آزمون هاي دانشگاهي
(پيشرفت تحصيلي) تهيه جدول مشخصات براي موضوعي است که قرار است آزمون آن تهيه شود. جدول مشخصات يک جدول دو بعدي است با تعدادي رديف و ستون، متناسب با محتوا و هدف هاي آموزشي درس.
جدول مشخصات آزمون Table of specifications
يك جدول دوبعدي است: 1- بعد افقي: محتواي آموزشي مورد نظر
2- بعد عمودي :سطوح حيطه شناختي (دانش، ادراك، كاربرد، تجزيه و تحليل،..)
مثال
نقش جدول مشخصات آزمون
يک آزمون پيشرفت تحصيلي دانشگاهي خوب، آزموني است که به بهترين شکل منعکس کننده تمامي هدفهاي آموزشي و همه محتواي برنامه درسي باشد.
براي تعيين درصد سؤال ها از بخش هاي مختلف چه كنيم؟
1- كدام بخش از محتوا و كدام بخش از هدف ها داراي حجم بيشتري است و وقت بيشتري صرف آموزش آنها شده است؟
2- كدام بخش از هدف ها از نظر نگاهداري در حافظه و كاربرد در آينده اهميت بيشتري دارند؟
چگونه روايي محتوايي يك آزمون را تعيين مي نماييم؟
Rهيچگونه روش آماري براي تعيين ضريب روايي محتوايي وجود ندارد.
R براي تعيين روايي محتوايي يك آزمون از قضاوت متخصصان در اين باره كه سؤال هاي آزمون تا چه ميزان معرف محتوا و هدف هاي برنامه يا حوزه محتوايي (content domain) هستند ،استفاده مي شود.
قضاوت هاي مربوط به روايي محتوايي نه قطعي هستند و نه نهايي،زيراآزمون ها از سطوح مختلف روايي برخوردارندو متخصصان در قضاوت هاي خود هميشه با هم توافق نظر ندارند.
روايي صوري(ظاهري)
Face validity
روايي صوري از مشتقات روايي محتوايي است.
روايي صوري به اين مطلب اشاره مي كند كه سؤال هاي يك آزمون تا چه حد در ظاهر شبيه به موضوعي هستند كه براي اندازه گيري آن تهيه شده اند.
Rدر واقع روايي صوري نمي تواند نوعي روايي باشد، بلكه تنها يك ويژگي آزمون است كه در پاره اي مواقع وجود آن مفيد به نظر مي رسد.
R برخي نيز اساسا اهميت آن رارد مي كنند.
R با اين وجود گاهي صورت آزمون (روايي صوري) از لحاظ قابليت پذيرش و معقول بودن آزمون براي آزمون شوندگان، داراي اهميت است.
مثال
داوطلبان خلباني، يك آزمون رياضي را كه در آن مسايل مربوط به جريان باد و مصرف بنزين طرح شده است، به آزمون رياضي ديگري كه مسايل را در قالب هزينه غلات يا فهرست مواد خام براي تهيه نوعي شيريني بيان مي كند، تر جيح مي دهند.
بنابراين مي توان گفت تا آن اندازه كه ظاهر آزمون بر انگيزه ي آزمون شونده اثر مي گذارد،روايي صوري مي تواند مهم باشد.
روش تعيين روايي صوري
از آنجا كه روايي صوري نوع خاصي از روايي محتوايي است، همان روشي كه براي تعيين روايي محتوايي به كار مي رود، يعني استفاده از نظر متخصصان، قابل استفاده است.
2 - روايي ملاكي (روايي معيار)
Criterion –Related Validity
آيا نمرات آزمون عملكرد فعلي (روايي همزمان) يا آتي (روايي پيش بيني) آزمون شوندگان را مي سنجد؟
Rمنظور از روايي ملاكي، ميزان ارتباط بين نمرات حاصل از يك آزمون با نمرات حاصل از يك آزمون ياوسيله اندازه گيري ديگر است.
R بنابراين هرزمان كه از نمرات يك آزمون براي پيش بيني عملكرد افراد در آزموني ديگر (آزمون ملاك) استفاده كنيم با روايي ملاكي سر وكارداريم.
R آزمون اول را آزمون پيش بيني و آزمون دوم كه عملكرد فرد درآن پيش بيني مي شود،آزمون ملاك نام دارد.
R اگر آزمون دوم پس از يك فاصله زماني با آزمون اول باشد، به آن روايي پيش بيني گفته مي شود.
R اگر هدف اين باشد كه آيا يك آزمون يا وسيله اندازه گيري مي تواند جانشين مناسبي براي آزمون يا وسيله اندازه گيري ديگري (بدون فاصله و بطور همزمان) باشد، به آن روايي همزمان گفته مي شود.مثال
3- روايي سازه (Construct validity)
آيا نمرات آزمون به مفاهيم نظري يا سازه هايي که آزمون براي سنجش آنها درست شده است، مربوط هستند؟
Researchers have found that the amount of words a child reads correctly in one minute is a good indicator of general reading ability
تعريف سازه:
سازه عبارت است از يك صفت ،ويژگي يا كيفيت روان شناختي (چيزي كه نمي توان آن را مستقيما مشاهده نمود)که از طريق نظريه هاي روان شناسي قابل استنتاج است.
مثال: هوش، خلاقيت، عشق،...
روايي سازه
ويژه آزمون هايي است که درستي نظريه هاي علمي را مي سنجند.
ارتباط روايي و پايايي
Rيك آزمون نمي تواند بدون داشتن پايايي، روايي داشته باشد.
R يك آزمون پايا مي تواند فاقد روايي باشد.
R پايايي شرط لازم براي روايي آزمون است ولي شرط كافي نيست.
راههاي بهبود روايي
اين عوامل را مي توان به دو دسته تقسيم نمود:
1- عوامل داخلي آزمون
2- عوامل بيروني آزمون
عوامل دروني
1- دستورالعمل يا راهنماي آزمون
2-کيفيت سؤالات آزمون:
آزموني كه سؤالات آن ضعيف ساخته شده باشد، روايي پاييني خواهدداشت.
3- ترتيب قرارگرفتن سؤال هاي آزمون:
(نبايد سؤال هاي دشوار در آغاز آزمون قرارداده شوند).
Rآزمون هايي که داراي مجموعه سؤال هاي بسيار دشوار يا بسيار ساده هستند، از سطح روايي خوبي برخوردار نيستند.
4– طول آزمون يا تعداد سؤال هاي آزمون:
افزايش طولآزمون موجب افزايش روايي مي شود(هم از نظرافزايش روايِي محتوايي و هم ازنظر تاثيري که برروي پايايي مي گذارد).
5-درصورتيکه روايي ملاکي مورد نظر باشد وملاک يا معيارمورد نظر پيچيده باشدو از چندين توانايي تشکيل شده باشد، اگرهمبستگي سؤالات تشکيل دهنده ي آزمون پايين باشد،توانايي هاي بيشتري را اندازه مي گيرد.
عوامل بيروني
1- اجراي ضعيف و نامناسب آزمون: مانند کمبود زمان، فضاي نامناسب، مکان نامناسب،...از عوامل اجرايي هستند که برعملکرد آزمون شوندگان و در نتيجه بر روايي آزمون تاثير نامطلوبي مي گذارند.
2- اشکالات موجود در تصحيح پاسخ هاي آزمون شوندگان و نمره گذاري (به ويژ ه در آزمون هاي تشريحي)
(به عنوان مثال عدم وجود زمان كافي، اضطراب زياد آزمون شوندگان در هنگام امتحان،...) موجب كاهش روايي آزمون مي شود.
2- محدوديت دامنه تغيير در آزمون، روايي معيار را هم در روايي پيش بيني و هم در روايي همزمان كاهش مي دهد (افزايش ناهمگني گروه روايي را افزايش مي دهد).
از اسلایدهای
کارگاه کشوری ارزشیابی؛ مدرس: دکتر ممتاز منش
بسم الله الرحمن الرحیم