نکات روان سنجي (الف: پايايي)
در اين مقاله با تفصيل به مفاهيم پايايي و اعتبار پرداخته ایم . اين بررسي براي دستيابي به يک درک مناسب از چشم انداز و محدوديتهاي روشهاي ارزيابي مختلف ضروري است. در عين حال، عوامل نامربوط نظامدار يا تحريفهاي پاسخ نيز مورد بحث قرار گرفته اند. اين تحريفها که بر کاربرد شيوه هاي ارزيابي شخصيت اثر مي گذارند، مشکل کوششهاي عمدي و حتي ناهشيار را براي ايجاد يک تأثير مطلوب (يا نامطلوب) در ديگران در بر مي گيرند.
پايايي، همان طوري که از نام آن بر مي آيد، به قابليت تکرار يا اعتماد يک اندازه يا شاخص مربوط مي شود. به عنوان يک مثال بسيار ساده، مي توان گفت که ديروز ما قد يک کودک را اندازه گرفته و مقدار 122/68 سانتي متر را به دست آورده ايم. ولي امروز فرد ديگري قد همان کودک را اندازه گرفته و مقدار 122/93 سانتي متر را گزارش کرده است. اين دو مقدار تا اندازه زيادي با يکديگر هماهنگ هستند؛ يعني، ما نوعي اندازهگيري اوليه از قد کودک را در نظر گرفته ايم که در بررسي مجدد تأکيد يا تکرار شده است. اين 0/25 سانتي متر اختلاف، اين واقعيت را نشان مي دهد که تکرار اندازه گيريها تقريباً همواره تا اندازه اي ثبات يا پايايي دارد و پذيرش اين نتيجه از جانب ما نشان مي دهد که اين بي ثباتي به اندازه اي نيست که سودمندي آن را انکار کنيم. بدين ترتيب، اختلاف 0/25 سانتي متر تحت اين شرايط به اندازه اي ناچيز است که مي توان آن را بي اهميت تلقي کرد. با وجود اين، در ساير اندازه گيريهاي فيزيکي اين سطوح تحمل بسيار کم هستند، مانند سيلندر موتور که اين تفاوت، اهميت بسياري دارد و سطح بالاتري از پايايي اندازه گيري مورد نياز است.
پايايي همان دقت نيست. دقت به ميزان صحتي اشاره مي کند که اندازه گيري را بر اساس آن مي توان مشخص کرد؛ بدين ترتيب، يک شيوه اندازه گيري که به ما امکان مي دهد تا نتايج را بر اساس يک هزارم سانتي متر گزارش کنيم، دقيقتر از آن اندازه گيري است که نتايج را بر اساس يک دهم سانتي متر به دست مي دهد. درجه دقت يک ابزار مکانيکي که امکان اندازه گيري 2/432 را فراهم مي سازد، يک هزارم سانتي متر است، ولي اگر تحت شرايط يکسان اين وسيله، مقدار 2/381 سانتي متر را به دست دهد، پايايي اين اندازه گيري به هيچ وجه منطبق با دقتي نخواهد بود که اين ابزار از آن برخوردار است.
اين ويژگي که اندازه گيريها را بايد “به اندازه کافي دقيق” انجام داد، در ارزيابي شخصيت نيز کاربرد دارد. اندازه گيري شخصيت در مقايسه با اندازه گيري خصوصيات فيزيکي مانند قد، هميشه نسبتاً فاقد دقت است؛ و بنابراين، تا اندازه اي ناپاياست. بدين ترتيب، ميزان دقت يک ابزار ارزيابي شخصيت بايد با پايايي آن همخواني داشته باشد. براي کساني که از چنين ابزارهايي استفاده مي کنند معمولاً ميزان شاخص پايايي مشخص شده است. ما مجدداً در يک فرصت مناسب به موضوع پايايي باز خواهيم گشت.
اندازه گيري شخصيت داراي شکل ديگري نيز هست که در اندازه گيريهاي فيزيکي به چشم نمي خورد و آن به استانداردهاي مورد قبولي مربوط مي شود که بر اساس آنها اندازه گيريها صورت مي گيرند. هيچ ترديدي وجود ندارد که يک ياردسنج (يا يک مترسنج) براي اندازه گيري فواصل خطي مانند قد مناسب است. با وجود اين، در ارزيابي شخصيت، غالباً سؤالهايي درباره صحت و دقت ابزارهاي اندازه گيري به منظور ارزيابي بُعد يا ويژگي مورد بررسي مطرح مي شوند. براي مثال، آيا واقعاً مي توان افسردگي را با شمارش پاسخهاي رنگي به موارد بي رنگ در آزمون رورشاخ اندازه گرفت؟ در اين مورد، نه تنها سؤال مربوط به شمارش پاياي اين پاسخها مطرح است، بلکه شکل ديگر و جدي تر اين است که آيا شمارش پاسخهاي رنگ به اندازه گيري درستي از افسردگي مي انجامد، درست به همان شيوه اي که علايم مندرج ياردسنج به شاخص معتبري از قد منجر مي شود (صحت يا اعتبار ابزارهاي اندازه گيري مورد استفاده در اندازه گيريهاي فيزيکي که درجات بسيار بالايي از دقت لازم را دارد، مشکلات چندي ايجاد کرده است.)
چون پيش از آنکه بتوانيم تعيين کنيم که آيا اندازه گيري در واقع به مفهوم مورد نظر مربوط مي شود يا خير، بايد از پايايي مناسب برخوردار باشد، ابتدا به بحث درباره پايايي مي پردازيم. معيارهاي آزمون تربيتي و روان شناختي که يک راهنماي عملي براي پايايي و اعتبار است، براي چندين سال توسط انجمن روان شناسي آمريکا انتشار يافته است (براي مثال، انجمن پژوهش تربيتي آمريکا- انجمن روان شناسي آمريکا- شوراي ملي اندازه گيري در تربيت، 1985) و تمام افرادي که فعالانه در ساختن ابزارهاي اندازه گري شخصيت و کاربرد آنها شرکت دارند، بايد اين راهنما را به دقت مطالعه کنند. کتاب راهنمايي که به منظور استفاده ويژه در زمينه انتخاب استخدامي به کار مي رود و با اين کتاب راهنما قابل مقايسه است، توسط شاخه روان شناسي صنعتي- سازماني انجمن روان شناسي آمريکا (1980) منتشر شده است. در اين کتاب راهنما توجه خاصي به موارد اعتبار و پايايي و تهيه ملاکها مبذول شده است و منبع مرجع سودمندي در اين زمينه ها محسوب مي شود.

پايايي

پايايي به قابليت تکرار يا قابليت اعتماد اندازه گيري اشاره دارد. در يک موقعيت فرضي که روش اندازه گيري کاملاً پاياست، فرض مي شود که هر گونه تغييري در اندازه گيري حاصل نشان دهنده يک تغيير واقعي در صفت مورد مطالعه است. بدين ترتيب، در چنين نظامي، افزايش يک کيلوگرم در مقياس نشان خواهد داد که وزن شيء مورد نظر دقيقاً يک کيلوگرم زياد شده است؛ به همين ترتيب، افزايش نمره حاصل از يک مقياس افسردگي نشان خواهد داد که پاسخ دهنده در حال حاضر افسردگي بيشتري دارد. پايايي يک اصطلاح کلي است؛ اصطلاحهاي همساني و ثبات به ترتيب براي توصيف پايايي وابسته به ابزار و پايايي مربوط به زمان به کار مي روند.
همساني به ميزان توافقي اشاره مي کند که از به کارگيري دو يا چند ابزار اندازه گيري (يعني، مقياسها، خط کشها يا آزمونها) حاصل مي شود. هر گونه ابزار اندازه گيري يا مجموعه ابزارها را مي توان برگرفته از جامعه گسترده اي از اين ابزارها (چه واقعي يا چه فرضي) در نظر گرفت که مي توان از آنها براي اندازه گيري اين صفت خاص استفاده کرد. همساني معمولاً با به کارگيري يک آزمون يا آزمونهاي همزمان ديگر مورد ارزشيابي قرار مي گيرد که ترجيحاً به طور تصادفي از جامعه در دسترس اندازه گيريها انتخاب مي شوند. اگرچه اين موضوع در اندازه گيري ابعاد فيزيکي مانند قد يا وزن به مشکلات اندکي مي انجامد، ولي با اين حال، مشکلات چندي را در ارزيابي شخصيت ايجاد مي کند. ما به زودي اين مشکلات را مورد بررسي قرار خواهيم داد.
ثبات به دقت اندازه گيري حاصل با گذشت زمان اشاره دارد. چنانچه از ابزار ديگري براي اندازه گيري مجدد استفاده شود، بازآزمايي با گذشت زمان علاوه بر ثبات، همساني را نيز شامل مي شود. هرگاه در دو بار اندازه گيري از يک ابزار استفاده شود، ارزيابي مستقيم ثبات اندازه گيري را مي توان انجام داد. بدين ترتيب، ناتواني در رسيدن به پايايي کامل به واسطه ناهمسانيها يا خطاهايي است که تابع تغييرات حاصل در نظام مورد نظر با گذشت زمان يا تابع تغييرات مربوط به ابزار مورد نظر و يا هر دو هستند.
به طور کلي، پايايي به شواهد مختلفي اشاره مي کند که در صدد توصيف يک توافق کلي ميان عمليات اندازه گيري هستند. هر کدام از اين شواهد بر منبع معيني از عدم توافق يا خطا تأکيد مي کند و بقيه منابع را ناديده مي گيرد. اندازه گيري شخصيت شامل گرفتن نمونه اي از رفتار در يک زمان و روز معين در قبال مجموعه معيني از محرکهاست. البته اين پاسخها بايد بر طبق يک شيوه معين توسط يک آزماينده خاص ثبت شوند. بعضي از خطاهاي نمونه گيري با هر کدام از اين “موارد خاص” رابطه دارند. اين زمان خاص نمونه اي از يک دوره زماني است و اين مجموعه خاص از محرکها يا سؤالها نمونه اي از يک دسته واقعي يا فرضي از محرکها در دسترس است. بسيار اهميت دارد که بتوانيم مشخص کنيم که يک پاسخ يا نمره خاص، احتمالاً تا چه اندازه به عنوان تابعي از تغييرات در هر کدام از اين خصوصيات اندازه گيري تغيير مي کند. متأسفانه، اين نوع اطلاعات به ندرت در ارزيابي شخصيت به چشم مي خورد.
بررسي کتاب هاي درسي در زمينه نظريه روان سنجي (براي مثال گيزلي(807)، 1964؛ نانالي(808)و برنشتاين(809)، 1994) نشان مي دهد که فرضهاي فلسفي متخصصان در زمينه مبناي اندازه گيري روان شناختي با يکديگر متفاوت است. اين تفاوتها در فلسفه به تفاوتهاي چندي در توصيف دقيق مفهوم و معناي پايايي و تفاوتهايي در شيوه هاي پيشنهادي براي اندازه گيري پايايي يک شاخص انجاميده است. در اين فصل، ما مي کوشيم تا مسير ميانه اي را از ميان رويکردهاي مختلف برگزينيم و در عين حال، علاوه بر موضوعهايي که فراتر از طيف اين کتاب قرار مي گيرند، از ناهمسانيها نيز اجتناب کنيم.
ما با اين نکته شروع مي کنيم که پايايي به طور تنگاتنگي با مفهوم خطاي اندازه گيري رابطه دارد. خطاهاي اندازه گيري را مي توان به صورت منظم يا تصادفي در نظر گرفت. هرگاه ما زمان را از روي ساعتي مشاهده کنيم که همواره پنج دقيقه جلوست، مرتکب يک خطاي منظم شده ايم. از طرف ديگر، هرگاه اين ساعت درست ولي به اندازه اي دور از ما قرار گرفته باشد که ما نتوانيم عقربه دقيقه شمار را بخوانيم، مرتکب يک خطاي تصادفي شده ايم. خطاهاي منظم را مي توان به صورت خطاهايي در نظر گرفت که با اشتباههاي معلوم رابطه دارند؛ و خطاهاي تصادفي را که به متوسط نمره درست يا مطلق گرايش دارند، مي توان زماني به صورت “موارد نامعلوم” در مشاهده در نظر گرفت که تمام خطاهاي منظم شناسايي يا حذف شده باشند.
به عبارت ديگر، خطاهاي اندازه گيري تصادفي با روش اندازه گيري “شکل مي گيرند”، درست مانند زماني که مي کوشيم با يک خط کش که تنها با اينچ مدرج شده است با تقريب يک دهم اينچ اندازه گيري کنيم يا هنگامي که سعي مي کنيم “افسردگي” را با يک پرسشنامه مداد و کاغذي کلي که فاقد ويژگيهاي باليني ضروري افسردگي است، ارزيابي کنيم. برخلاف اين خطاهاي تصادفي که اجتناب از آنها مشکل است، خطاهاي منظم مشخص تر و صحيح تر هستند. به يک معنا، خطاهاي منظم ناشي از سازنده يا استفاده کننده آزمون هستند تا اينکه به خود ابزار اندازه گيري برگردند. هرگاه ما يک مقياس افسردگي را روي آزمودنيهايي اجرا کنيم که در يک فرهنگ (يا خرده فرهنگ) متفاوت زندگي مي کنند در مقايسه با آزمودنيهايي که از هنجارهاي مناسبي برخوردارند، يا هرگاه دستورالعملهاي فشارزايي را به کار ببريم که آشکارا از دستورالعملهاي مربوط به جامعه هنجاري متفاوت باشند، در معرض خطاي منظم قرار خواهيم داشت. اين خطاهاي منظم بالقوه را مي توان و البته بايد با تنظيم هنجارهاي جديد مبتني بر گروه فرهنگي مناسب يا شرايط ديگر سنجش تصحيح کرد.
نظريه پردازان روان سنجي در کوششهاي خود براي به کميت درآوردن پايايي، به طور سنتي به مشخص کردن سهم خطاهاي تصادفي در پايايي کم پرداخته اند. عقايد آنها درباره اينکه آيا بايد خطاهاي منظم را نيز به عنوان منبع ناپايايي اندازه گيري در نظر گرفت با يکديگر اختلاف دارد، و از اين رو، ماحصل اين اختلاف عقيده در شاخص عددي پايايي انعکاس يافته است. تعدادي از شاخصهاي متداول پايايي نشان دهنده خطاي تصادفي هستند؛ و تعدادي نيز بعضي از منابع خطاي منظم و نه تمام آنها را نشان مي دهند. در نسخه تجديدنظرشده جديدتر معيارهاي سنجش تربيتي و روان شناختي (1985) با تصديق اين موضوع که روشهاي مختلف محاسبه پايايي، شامل منابع مختلف خطا هستند، توصيه شده است که پژوهشگران بايد دقيقاً روشن کنند، چه روشهايي را در به دست آوردن شاخص پايايي خاص مورد نظر به کار برده اند.
اکنون به روشهاي متداول محاسبه پايايي توجه کنيد. شاخص سنتي پايايي، ضريب پايايي است که مي توان آن را هم به عنوان همبستگي بين نمره هاي واقعي آزمون و نمره هاي “واقعي” فرضي و هم به عنوان متوسط همبستگي بين نمره هاي واقعي آزمون و ساير آزمونهاي احتمالي که همان خصوصيت را اندازه مي گيرند، در نظر گرفت. رويکردهاي عملي زير که براي محاسبه پايايي به کار مي روند، با اين تعريف شباهت دارند.
همان طوري که قبلاً اشاره کرديم، آن نوع پايايي که صرفاً با خطاي تصادفي رابطه دارد (خطاهاي ناشي از اين واقعيت که محتواي آزمون صرفاً نمونه اي از کل محتواست که ويژگي مورد نظر را در بر مي گيرد)، ثبات يا ثبات دروني آزمون ناديده مي شود. ثبات را مي توان به شيوه هاي مختلف ارزيابي کرد. يک روش، تقسيم آزمون به دو نيمه قابل مقايسه است که با يکديگر همبسته هستند. بدين ترتيب، همبستگي حاصل با استفاده از فرمولي که فرمول پيشگويي اسپيرمن – براون ناميده مي شود، با توجه به ارزش مورد انتظار براي کل آزمون “تصحيح” مي شود. چنين برآوردي از ثبات که با مقايسه ماده هاي زوج و فرد آزمون به دست مي آيد، ثبات پايايي از طريق دو نيمه کردن ناميده مي شود. روش ديگر، تعيين ثبات از طريق کاربرد نسخه هاي مشابه يا جانشين (يا موازي) آزمون است. همبستگي بين اين نسخه ها اساساً با همبستگي تصحيح شده بين دو نيمه آزمون مطابقت مي کند. هنگامي که نسخه هاي جانشين در دسترس نباشند، راه حل رايج، استفاده از روش بازآزمايي است. همبستگي بين اين دو مجموعه از نمره ها ضريب پايايي بازآزمايي ناميده مي شود.
يکي ديگر از روشهاي محاسبه پايايي که از لحاظ آماري تا اندازه اي پيچيده تر است، با استفاده از فرمول پايايي کودر- ريچاردسون صورت مي گيرد (کودر و ريچاردسون، 1937). مهمترين اجزاي اين فرمول شامل درصد ماده هاي نمره گذاري شده به شيوه اي خاص، همبستگيهاي بين ماده ها و نمره کل و انحراف معيار آزمون است. اين داده ها در فرمولي قرار مي گيرند که برآورد خوبي از ثبات را به دست مي دهد، به شرطي که آزمون مورد نظر تنها يک عامل آماري را اندازه گيري کند. متداولترين ضريب پايايي از اين دست که ضريب آلفا (کرونباخ، 1951) ناميده مي شود، “ميانگين تمام ضرايب دو نيمه سازي حاصل از نيمه هاي مختلف آزمون است (آناستازي، 1988)، قطع نظر از اينکه اين ماده ها دوارزشي يا چندارزشي هستند”. دشواريهاي اين روش فراتر از دامنه اين کتاب هستند، ولي با اين حال، اين روشها در بسياري از کتابهاي درسي روان سنجي مورد بحث قرار گرفته اند.
همبستگيهاي بازآزمايي و نسخه هاي جانشين اطلاعاتي را فراتر از ثبات آزمون به دست مي دهند. چنانچه آزمودنيها در هنگام اجراي آزمون مجدد، پاسخ بعضي از ماده ها را به ياد آورند، امکان دارد که همان پاسخها را صرفاً بر اساس حافظه بدهند؛ يعني، يک اثر منظم که ممکن است به افزايش ساختگي اين همبستگي بينجامد. يا همان طوري که قبلاً بدان توجه شد، شرايط اجراي يک جلسه آزمون از يک نوبت به نوبت بعدي ممکن است تغيير کند و اين امر به منابع ناشناخته خطاي منظم مي انجامد. يا آزمودنيها ممکن است خصوصيتي را که اندازه گيري مي شود تغيير دهند، در چنين شرايطي از ميزان ضريب پايايي کاسته مي شود.
در عمل از کدام روش محاسبه ضريب پايايي بايد استفاده کرد؟ يک پاسخ ساده اين است که ضريب پايايي بايد انواع مختلف خطاهايي را که استفاده کننده آزمون به آنها علاقه مند است، انعکاس دهد. بنابراين، هرگاه ما در اندازه گيري يک مفهوم به پايايي آزمون علاقه مند باشيم، شاخص ثبات (آلفاي کرونباخ يا دو نيمه سازي) مناسب خواهد بود. چنانچه در اجراهاي مکرر و تحت شرايط مختلف به ثبات آزمون توجه نشان دهيم، آن گاه پايايي بازآزمايي يا نسخه هاي جانشين از مناسبت بيشتر برخوردار خواهند بود. در شرايط آرماني، سازنده آزمون هر دو مجموعه از داده ها را فراهم خواهد ساخت.
حدود قابل قبول ضرايب پايايي کدام اند؟ براي پاسخ به اين سؤال، ما بايد به شيوه اي توجه کنيم که بر اساس آنها، اين ضرايب را مي توان در عمل به کار برد. معمولاً، کليد اصلي به خطاي معيار اندازه گيري مربوط مي شود؛ کميتي که مستقيماً از روي ضريب پايايي و انحراف معيار نمره هاي حاصل به دست مي آيد. اگر ضريب پايايي را با r و انحراف معيار را با s نشان دهيم، خطاي معيار اندازه گيري را مي توان با توجه به فرمول sراديکال r-1 محاسبه کرد. براي نشان دادن معنا و کاربرد خطاي معيار اندازه گيري، مقياس Sc مربوط به MMPI را در نظر بگيريد. برآوردهاي ثبات دروني (ضرايب همبستگي دو نيمه آزمون) اين مقياس در حدود 0/91 گزارش شده است (دالستروم(810)، ولش(811) و دالستروم، 1975، ص 260). انحراف معيار تمام مقياسهاي MMPI براي نمره هاي مقياس بندي شده برابر با 10 است. حال خطاي معيار اندازه گيري را مي توان از فرمول ياد شده محاسبه کرد که برابر است با 10 راديکال 0/9-1 يا 3؛ يعني، مي توان گفت که هرگاه امکان اجراي اين آزمون به دفعات بسيار زياد وجود داشته باشد، متوسط نمره هاي Sc حاصل برابر با نمره هاي “واقعي” مي شود، ولي اين نمره ها با انحراف معيار 3 پيرامون اين ميانگين توزيع مي يافتند.
اگر توزيع نمره ها کاملاً نامتقارن نباشد، تقريباً دوسوم نمره ها در داخل يک انحراف معيار نسبت به ميانگين قرار مي گيرند. بنابراين، احتمال اينکه نمره حاصل از هر اجراي آزمون معين در سه واحد نسبت به نمره “واقعي” قرار گيرد، حدود دوسوم است. به عبارت ديگر، اگر يک پاسخ دهنده در مقياس Sc نمره 55 را کسب کند؛ احتمال اينکه نمره “واقعي” در سه واحد نمره 55، يعني، 52 و 58 قرار گيرد، دوسوم است. با همين استدلال، از آنجايي که حدود 95 درصد نمره هاي يکتوزيع کاملاً متقارن در دو انحراف معيار نسبت به ميانگين قرار مي گيرند، 95 درصد يا 19 مورد از 20 مورد احتمال وجود دارد که نمره واقعي پاسخ دهنده در فواصل 6 واحدي نمره 55، يعني بين 49 و 61 قرار گيرد.
همان طوري که تا اندازه اي در مورد مقياس D آزمون MMPI صادق است، فرض کنيد که مقدار اين ضريب پايايي (دو نيمه سازي) به جاي 0/91 برابر با 0/75 باشد (دالستروم، ولش و دالستروم، 1975، ص 260). با توجه به انحراف معيار 10، اين فرمول مقدار خطاي معيار اندازه گيري را برابر با 10 راديکال 0/75-1 يا 5 نشان مي دهد. اين موضوع در عمل به معناي آن است که هرگاه پاسخ دهنده اي در مقياس D نمره 60 را به دست آورده باشد، و ما بخواهيم دامنه اي را چنان تعيين کنيم که با احتمال 95 درصد نمره “واقعي” را در برگيرد، اين دامنه بايد بين 50 تا 70 باشد. هر چقدر ضريب پايايي کمتر باشد، ميزان اعتمادي را که مي توان نسبت به نمره به عنوان برآوردي از ميزان “واقعي” خصوصيتي داشت که پاسخ دهنده آن را داراست، کمتر است.

نظريه تعميم پذيري

در سال 1964، ريموند بي.کتل(812) سه روش عمده را مطرح کرد که بر اساس آنها “اثبات آزمون” را مي توان اندازه گيري کرد (البته وي اين اصطلاح کلي را بيشتر از اصطلاحهاي ديگر ترجيح مي داد). اولين روش، ثبات و توافق نمره ها در دفعات متوالي اجراست؛ يعني، تغييراتي که در يک آزمون و روي يک گروه از افراد در زمانهاي مختلف صورت مي گيرد. کتل اين ثبات را “پايايي” ناميد. دومين نوع ثبات به آزمونهاي مختلف ( يا بخشهاي يک آزمون که معمولاً ماده هاي انفرادي هستند) بر مي گردد و شامل توافق مربوط به يک بار اجراست که با استفاده از چند آزمون (يا بخشهاي آزمون) روي يک گروه از افراد صورت مي گيرد. اين ثبات “همگني” ناميده مي شود. نوع سوم ثبات به افراد مختلف بر مي گردد و شامل توافقي است که در مورد معناي نمره هاي يک آزمون که در يک زمان معين روي مجموعه هاي مختلفي از افراد اجرا شده است. اين نوع ثبات “انتقال پذيري” ( يا سرسختي) ناميده مي شود.
در يک رويکرد مشابه، کرونباخ، گليزر(813)، ناندا(814) و راجارتنام(815) (1972) فرض کردند که اساسي ترين موضوع در پايايي، سؤال مربوط به تعميم دادن مشاهده ها يا اندازه گيريها به طبقه ديگري از مشاهده هاست. بنابراين، به نظر آنها پايايي بايد به بررسي ميزاني مربوط شود که بر اساس آن، نمره هاي حاصل، معرف نمره هاي به دست آمده از شرايط ديگر يا “مجموعه هاي مرجع” مختلف است. مثالها مطالعه نمره هاي حاصل از نمره گذاران مختلف، ماده هاي آزمون، روشها، مشاهده کننده ها يا دفعات مختلف را در بر مي گيرند. همان طوري که در يک بحث دقيق درباره اين روش توسط ويگينز(1973) مورد تأکيد قرار گرفت، يکي از مزيتهاي اصلي اين روش در آن است که پژوهشگران را وا مي دارد که در خصوص مجموعه مرجع خاصي که مايل اند مشاهده هاي خودشان را بدان تعميم دهند، صريح و روشن باشند. اين امر تا اندازه اي از تمايز سنتي بين پايايي و اعتبار مي کاهد. جونز(816)، ريد(817) و پترسون(1975) در نظام کدگذاري رفتاري خودشان، مثال خوبي را در زمينه مطالعه کمّي تعميم پذيري گزارش کردند. در اين مطالعه، آزمودنيها، مشاهده کنندگان و دفعات مختلف، مجموعه هاي مرجع تعميم بودند.

پايايي و فنون فرافکن

نمره هاي کمّي حاصل از آزمونهاي فرافکن چنانچه با روشهايي که توصيف شدند ارزيابي شوند، اغلب پايايي اندکي دارند. از آنجايي که پايايي يک اندازه يا شاخص، حد بالايي را بر سودمندي بالقوه يا اعتبار آن تحميل مي کند، پاياييهاي کم اغلب در بررسيهاي پژوهشي روي اين آزمونها مسئول اعتبارهاي پايين قلمداد مي شوند. از طرف ديگر، همچنين استدلال شده است که روشهاي معمول براي ارزيابي پايايي را نمي توان براي ابزارهاي فرافکن به کار برد. براي مثال، گفته مي شود که روش دونيمه سازي براي آزمون رورشاخ نامناسب است، زيرا غيرممکن است که بتوان اين ده کارت را به گونه اي تقسيم کرد که دو نيمه قابل مقايسه را به دست دهد. پايايي بازآزمايي را نيز نمي توان به کار برد، زيرا آزمون مجدد، در واقع، يک تجربه روان شناختي متفاوت از آزمون اوليه است و چون گفته مي شود که فنون فرافکن نسبت به تغييرات جزيي در آزمودني حساس هستند، در واقع، به نظر مي رسد که در برخي از آزمونهاي فرافکن فرض مي شود که اين ابزارها کاملاً پايا هستند و اينکه تغييرات مشاهده شده در پاسخهاي آزمون با گذشت زمان مؤيد تغييرات واقعي در فرد هستند. بسياري از ويژگيهايي که اين آزمونها با آنها سرو کار دارند، مانند خُلق يا سطح انرژي با گذشت زمان تغيير مي کنند و بدين وسيله استدلال محکمي را دال بر اين مفروضه به دست مي دهند. با وجود اين، هر گونه شناخت واقعي از مشکلات پايايي اندازه گيري بايد به اين نتيجه منجر شود که بسياري از اين تغييرات، اگرچه نه همه آنها، تابعي از پايايي فرعي اين ابزارهاست.
مشکلات اندازه گيري در ناپايايي هر آزمون تأثير دارد، ولي بعضي از مشکلات به ويژه در خصوص ابزارهاي فرافکن ايجاد مي شود. به طور کلي، مواد محرک مورد استفاده در آزمونهاي فرافکن با توجه به اينکه طبقه هاي نمره گذاري مختلف به طور مناسبي بر اساس محرکها تنظيم شوند، انتخاب نمي شوند. براي مثال، متوسط تعداد پاسخهاي حرکت (M) براي افرا غيربيمار در آزمون رورشاخ با توجه به انحراف معيارحدود 2، برابر 4 و متوسط جزئيات نادر (Dd) تنها برابر يک است (اکسنر، 1990). در عمل حداکثر پايايي اين اندازه گيريها همان طوري که نشان دادن اعتبارهاي معنادار امري تقريباً غيرممکن است، پايين است.
غالباً همان طور که در مورد آزمون TAT صادق است، نظامهاي نمره گذاري تا چند سال بعد از اينکه مواد محرک انتخاب شده باشند، تنظيم نخواهند شد. در آزمون TAT، آزمايندگان حتي در اين مورد اختيار دارند که کدام محرک را سرانجام به کار ببرند. اين رشد اتفاقي طبقه هاي نمره گذاري در ميزان پاياييهاي کم، تأثير دارد. نمره هاي نسبي (و تفاوت آنها) همان گونه که در آزمون رورشاخ به کار مي روند، به ويژه نسبت به پاياييهاي کم، حساس هستند. هولتزمن(818) در تهيه HIT، به انتخاب کارتهايي توجه کرد که در کميتهاي نمره گذاري تأثير خاصي داشتند؛ در نتيجه، پاياييهاي اکثر طبقه هاي HIT مناسبتر هستند.
مشکل ديگر شامل استاندارد بودن دستورالعملهاست. راهنماييهاي مربوط به اجراي اکثر زبانهاي فرافکن استاندارد نشده اند، به طوري که به آزماينده امکان دهند تا به طور معناداري بر پاسخهاي آزمودني اثر گذارند. حتي اگرچه در نظام کنوني اکسنر(1986)، آزمون رورشاخ بر کاربرد ابزارهاي استاندارد شده تأکيد مي کند، آزماينده مي تواند هنوز تفاوت قايل شود. براي مثال، گراس(819) (1959) آزمون رورشاخ را روي 30 بيمار اجرا کرد، و در خصوص 20 نفر از آنها با گفتن “بسيارخوب” يا تکان دادن سر پس از هر پاسخ محتواي انسان تقويت اجتماعي را براي آنها فراهم کرد. بيماراني که بدين ترتيب تقويت شدند، در مقايسه با 10 نفر ديگر به طور معناداري پاسخهاي محتواي انسان بيشتري را ارايه دادند. اهميت اين تفاوتهاي ظريف آزماينده که ممکن است او به آنها واقف نباشد، بايد براي خواننده روشن باشد.
حتي مشکل غامضتر اين است که به آزمودنيها اغلب اجازه داده مي شود که پاسخهاي مختلف چندي بدهند که طولهاي نابرابري دارند. احتمالاً اثر محتواي روان شناختي يک پاسخ يا مجموعه پاسخهاي طولاني در مقايسه با يک پاسخ کوتاه متفاوت است. پاسخهاي کوتاه در آزمون رورشاخ يا TAT، عمدتاً مواد رايج يا پيش پا افتاده را شامل مي شوند. پراکندگي در طول پاسخ همچنين انجام مقايسه هاي آماري را بي اندازه مشکل مي کند.
مشکل ديگر در نمره گذاري تجلي مي کند. در بعضي آزمونها مانند MMPI، نمره گذاري جنبه مکانيکي دارد؛ يعني، هيچ گونه قضاوت ذهني در خصوص طبقه يک پاسخ صورت نمي گيرد يا قضاوت ذهني اندکي مورد استفاده قرار مي گيرد. همين موضوع در مورد بعضي از طبقه هاي نمره گذاري آزمونهايي مانند رورشاخ صادق است. براي مثال، هنگامي که داده ها جمع آوري مي شوند، تعيين تعداد کل پاسخهاي ارايه شده شامل هيچ قضاوتي نيست و يا قضاوت ناچيزي را در بر مي گيرد. به همين ترتيب، اندازه گيري بلندي يک شکل نقاشي يا مساحت کل آن، يک روش نسبتاً مکانيکي است. ولي با اين حال، تعيين اکثر نمره هاي حاصل از آزمونهاي فرافکن شامل چندين قضاوت ذهني است، براي مثال، آيا اين پاسخ رورشاخ شامل رنگ يا حرکت انسان است؟ آيا اين داستان TAT نياز به پيشرفت يا مهرورزي را نشان داده و يا اينکه هر دو را نشان مي دهد؟ در خصوص آن دسته از آزمونهاي فرافکن که چند روش نمره گذاري مختلف ولي مشابه را در بر مي گيرند، مشکل حتي شديدتر است.
اگرچه سؤال مربوط به پايايي نمره گذار به طور ساده يک توافق بين داوران و درون داوران است، ولي بايد به خاطر داشت که ناپايايي نمره گذاري در ناپايايي آزمون تأثير مي گذارد. مورستاين(820) (1963، ص 146-144) جدول خلاصه اي از پاياييهاي نمره گذاران را در خصوص ويژگيهاي نمره گذاري شده از آزمون TAT ارايه کرده است. از 45 مطالعه اي که پايايي تحت لواي همبستگي در آنها گزارش شده بود، ميانه پايايي نمره گذاران 0/74 به دست آمد. با پاياييهايي از اين دست، مشکلات دستيابي به سطوح قابل قبول پايايي آزمون در واقع زياد هستند. با وجود اين، مي توان در اين زمينه به پاياييهاي بالاتري نيز دست يافت. در اين خصوص، هولت(821) (1978) داده هاي TAT حاصل از چند منبع را گزارش کرد که حاکي از پايايي بالاي نمره گذاران تا سقف 0/90 بودند. دستيابي به ضرايب پايايي بالا معمولاً شامل راهنماهاي مبسوطي است که طبقه ها را با دقت تعريف کند و مثالهاي نمره گذاري را ارايه دهد. از آنجايي که کاربرد چنين راهنماهايي نيازمند توجه زياد و تلاش وافر در تعميم دادن يک نمره واحد است، آنها بيشتر به جاي قاعده يا حکم، موارد استثنايي را نشان مي دهند.

پايايي تفسير کلي

توجه بيش از حد به رويکردهاي مختلف در تعيين پايايي ممکن است از لحاظ علمي خطر از دست دادن موضوع اصلي در پايايي را به همراه داشته باشد. آزمونها فنون جمع آوري اطلاعات مربوط به شخصيت هستند و معمولاً در خصوص ارايه پيش بيني هايي درباره رفتار آتي بر مبناي عملکرد شخصيت استوارند. به همين دليل، توجه غايي ما به پايايي بايد معطوف اين باشد که کدام آزمون مطرح است؛ يعني، هرگاه آزمون رورشاخ براي به دست آوردن توصيف جامعي از عملکرد کلي شخصيت به کار رود، آن گاه موضوع اصلي، پايايي اين توصيفهاي کلي است و نه پايايي طبقه هاي نمره گذاري فردي.
در ارزيابي پاياييهاي کلي چه چيزي مورد توجه قرار دارد؟ اين روشها به روشهايي شباهت دارند که قبلاً توصيف شدند. براي مثال، پايايي حاصل از روش دو نيمه سازي را مي توان با مقايسه تفسيرهاي حاصل از بررسي نيمه هاي قابل مقايسه آزمون ارزيابي کرد؛ پايايي حاصل از روش بازآزمايي شامل مقايسه تفسيرهاي حاصل از دو اجراي مختلف آزمون است؛ و پايايي بين داوران را مي توان با مقايسه تفسيرهاي حاصل از اجراي يک آزمون که توسط داوران مختلف صورت گرفته است، تعيين کرد. پايايي بين آزمايندگان را نيز مي توان به روش مشابهي ارزيابي کرد.
براي ارايه توصيفهاي کلي شخصيت که به طور آماري مي توان به همين شيوه آنها را با يکديگر مقايسه کرد، چهارچوبهاي توصيفي چندي در خصوص شخصيت مورد نياز است. يک روش موسوم کاربرد مجموعه اي از مقياسها يا ابعاد درجه بندي است که با آزمون و نوع اطلاعات توصيفي مورد نياز متناسب هستند. بدين ترتيب، تفسير به دنبال بررسي طرح کلي آزمون، با اختصاص دادن نمره ها يا جايگاهها به آزمودنيها بر اساس اين مقياسها صورت مي گيرد. يا آزمايندگان مي توانند به تعدادي از سؤالهاي صحيح – غلط يا چندگزينه اي در خصوص موضوع پاسخ دهند. روش مرسوم ديگر، استفاده از فن دسته بندي پرسش است. يک دسته بندي پرسش معمولي شامل 100 کارت است که هر کدام يک توصيف شخصيت را در بر مي گيرد. از آزماينده خواسته مي شود که طرح کلي آزمون را مطالعه کند و بعد، عبارتهاي توصيفي را در 9 دسته طبقه بندي کند که از حداقل وصف حال تا حداکثر وصف حال آزمودني را در بر مي گيرد. تعداد کارتهايي که در هر دسته قرار مي گيرند از قبل تعيين مي شوند. به طوري که هر داور توزيع يکساني از کارتها را به دست مي دهد. در تمام اين فنون، همبستگي رتبه اي يا درصد توافق روشها را مي توان براي تعيين يک شاخص عددي پايايي به کار برد (هرگاه قصد داشته باشيم که پاياييهاي مربوط به يک آزماينده واحد را تعيين کنيم، تعداد طرحهاي آزمونهاي مورد داوري بايد به اندازه کافي زياد باشد که آزماينده نتواند به ياد آورد يا حدس بزند که کدام مورد به کدام آزمودني تعلق داشته است).
پايايي به دست آمده از هر روش ارزيابي بايد با کاربرد همان روش متناسب باشد. هرگاه پيش بيني هاي مربوط به رويدادهاي به خصوصي ارايه شود، پايايي اين پيش بيني ها بايد مورد بررسي قرار گيرد. هرگاه توصيفهاي کلي شخصيت مورد توجه باشد، اين پاياييهاي آنهاست که مورد توجه قرار مي گيرند. گرچه اغلب منابع اساسي ديگري نيز در زمينه پايايي وجود دارد (مانند پايايي نمره گذار) که پاياييهاي نهايي به آنها بستگي دارند، پايايي روش مورد استفاده، سؤال مربوط به علاقه نهايي است.

پي نوشت:

807- Ghiselli
808- Nunnally
809- Bernstein
810- Dahlstrom
811- Welsh
812- Raymond B. Cattell
813- Gleser
814- Nanda
815- Rajaratnam
816- Jones
817- Reid
818- Holtzman
819- Gross
820- Murstein
821- Holt

منبع:تالیف:آی . لانیون،ریچارد و دی فلئونارد ، ترجمه:نقشبندی،سیامک و …. «ارزيابي شخصيت» ، نشر روان ،1385