مدیریت آموزشی

اعتبار سنجي؛ ابزار کنترل کيفيت آموزش

چکيده: اعتبار سنجي (Accreditation) به عنوان شناخته شده ترين الگوي ارزيابي کيفيت، مبناي موثري براي سنجش ميزان توجه مراکز آموزش، به رعايت استانداردهاي لازم را ايجاد کرده و با شفاف سازي امور، اين اطمينان را به سازمان خواهد داد که برنامه ها منطبق با معيارهاي از پيش تعيين شده پيش مي روند. در اين مقاله موضوع اعتبار سنجي، در ارتباط با ويژگي هاي کلي نظام آموزش سازمان بررسي شده و مطالب در چهار بخش ارائه مي شود: در نخستين بخش، مقوله کيفيت و اعتبار سنجي و ارتباط آن با عناصر برنامه هاي آموزشي مفهوم سازي مي شود.در بخش دوم، اعتبار سنجي از حيث کارکردها و رويکردها، بررسي خواهد شد. در بخش سوم، با تشريح مؤلفه ها و شاخص هاي اعتبار سنجي، فرايند اجرايي آن به بحث گذاشته خواهد شد. و در بخش نهايي مقاله، ضمن نتيجه گيري از مباحث ارائه شده، برخي فرصتها و تهديد هاي موجود، مورد توجه قرار مي گيرند.

مقدمه:
اغلب سازمانها براي توسعه کارکنان، دوره‌هاي متعددي را در مراکز آموزشي خود برگزار مي‌کنند.از آن جا که اجراي اين دوره ها متضمن سرمايه‌گذاري هنگفت و صرف زمان خدمتي نيروي انساني فعال است، آگاهي از کيفيت آموزشهاي اجرا شده و بازدهي حاصل از ميزان اثربخش بودن آنها، از مهمترين انتظاراتي به شمار مي‌آيند که سازمان،از نظام آموزش متصور است. پاسخگويي به انتظارات ايجاد شده، مستلزم شناسايي عوامل تاثير گذار در برنامه ريزي و اجراي دوره ها، نظير استراتژي، اهداف و ساختار سازماني مرکزآموزش، سازماندهي و مديريت آن، استانداردهاي آموزشي، کادر آموزشي، امکانات وتجهيزات در اختيار، فرايند ياد دهي- يادگيري و ارزيابي ميزان تاثير هر يک از آنها در کمک به ايفاي نقش آموزش در بهبودکيفيت محصول ياخدمات توليد شده سازمان است. (Ivancevich,2001)
اعتبار سنجي (Accreditation) به عنوان شناخته شده ترين الگوي ارزيابي کيفيت، مبناي موثري براي سنجش ميزان توجه مراکز آموزش، به رعايت استانداردهاي لازم را ايجاد کرده و با شفاف سازي امور، اين اطمينان را به سازمان خواهد داد که برنامه ها منطبق با معيارهاي از پيش تعيين شده پيش مي روند. در اين مقاله موضوع اعتبار سنجي، در ارتباط با ويژگي هاي کلي نظام آموزش سازمان بررسي شده و مطالب در چهار بخش ارائه مي شود: در نخستين بخش، مقوله کيفيت و اعتبار سنجي و ارتباط آن با عناصر برنامه هاي آموزشي مفهوم سازي مي شود.در بخش دوم، اعتبار سنجي از حيث کارکردها و رويکردها، بررسي خواهد شد. در بخش سوم، با تشريح مؤلفه ها و شاخص هاي اعتبار سنجي، فرايند اجرايي آن به بحث گذاشته خواهد شد. و در بخش نهايي مقاله، ضمن نتيجه گيري از مباحث ارائه شده، برخي فرصتها و تهديد هاي موجود، مورد توجه قرار مي گيرند.
کيفيت و آموزش
مفهوم کيفيت در آموزش، به راحتي قابل تعريف نيست. پيچيدگي فرايند آموزش و مشخص نبودن اينکه کيفيت در اين فرايند چگونه شکل مي گيرد، تعريف آن را مشکل کرده است. شماري از صاحبنظران بر اين باورند که مفهوم کيفيت، بدون شکل بوده و بنابراين غيرقابل اندازه‌گيري است.
ايوانسويچ معتقد است آنچه در تعريف کيفيت، مرکزيت دارد نظرات مخاطبان است. بر اين اساس کيفيت تابع نظر مشاهده‌گر است بنابراين ارائه نيمرخي از کيفيت، هميشه با عينيت همراه نيست و با ذهنيت حرکت مي‌کند. (Ivancevich,2001)
چاپمن، کيفيت را معادل استانداردهاي آموزش، همچون سطح پيشرفت فراگيران مي‌داند. اين تعريف از کيفيت، همخواني کاملي با تمرکز به وجود آمده روي يادگيري فراگيران دارد. (Chapman,1999)
بيکر، کيفيت را مجموع برآيندهاي يک دوره آموزشي تعريف مي کند. به گمان وي، زماني مي توان يک دوره را با کيفيت قلمداد کرد که خروجي هايي مانند: ايجاد سطح خاصي از توانايي در حداکثر زمان ممکن، ارضاي نيازهاي مهارتي و برآورده کردن نيازهاي توسعه مسير شغلي را، حاصل کرده باشد. (Baker,1999)
عمادزاده نيز، کيفيت آموزش را منوط به کيفيت عواملي مي داند که در ارائه خدمات آموزشي مشارکت مي کنند: (عمادزاده، 1372)
فراگير: شامل توانايي‌ها و استعدادهاي ذاتي، شرايط محيطي،شرايط اقتصادي و اجتماعي،
مدرس: شامل ميزان تجربه وتحصيلات، مسئوليت و تعهد پذيري، حقوق و دستمزد دريافتي،
امکانات و تجهيزات آموزشي: شامل کتابهاي درسي، وسائل آموزشي، تجهيزات زيربنايي و پشتيباني نظام اداري.
آلکين،کيفيت آموزش را بر گرفته ازکيفيت عملکرد فراگير، تدريس مدرسان و تخصيص منابع مي‌داند.(ابيلي، 1383) از ديدگاه ساليس منابع کيفيت در آموزش، شامل ارزشهاي قوي و هدفمند سازماني ، مدرسان برجسته، مرکز آموزشي مناسب ، شناسايي توانمندي هاي فراگيران، تدارک دوره آموزشي مناسب و يا ترکيبي از اين موارد بر مي شمرد.(ساليس، 1372)
مؤلف نيز براين باور است که آنچه در نظر ما کيفيت معنا مي‌دهد، به ارزشها و اهداف بنيادي سازمان بستگي دارد. ما نمي‌توانيم ازکيفيت سخن بگوييم بدون آنکه محک و معياري موافق با نظر سازمان درباره رسالت نهايي آموزش داشته باشيم. از سوي ديگر استنباط ما از آموزش، راهنمايي براي ادراک ماهيت کيفيت، چگونگي دستيابي به آن، ارزشيابي و ارتقاي سطح آن خواهد بود.
اعتبار سنجي وکيفيت
به گمان وانزير و کنت ، از آنجا که جهان در حال تغييراست و روز به روز بر حالت عدم قطعيت آن افزوده مي‌شود، بنابراين موقعيت مراکز آموزش در قبال کيفيت بسيار پيچيده است و تمامي آنها زيرفشارند تا پاسخهاي مطلوبي در قبال نيازهاي سازمان ارائه کنند. تجربه ثابت نکرده است که اين مراکزدر صورتي مي‌توانند به حداکثر بهره‌وري برسند که دائم دغدغه بهبودکيفيت خدمات آموزشي خود را داشته باشند.(Wanzare & Kenneth,2000) ادوارد ساليس متعقد است که مراکز آموزشي مي بايستي چهار الزام: حرفه‌اي، اخلاقي، رقابتي و مسئوليت‌پذيري را در سرلوحه اقدامات اجرايي خود قرار دهند.(ساليس، 1372) لارنس. ال. ماراز، پنج ضرورت تعالي سازماني را: برنامه‌ريزي استراتژيک، اعتبارسنجي براي تعالي، رهبري همکارانه، مشارکت دادن کارکنان و الزام به رعايت استانداردها معرفي نموده و تحقق آنها را منوط به ارزيابي مستمر کيفيت فرايندها ارزيابي مي کند. (Catton,1999) از اين منظر مي توان اعتبار سنجي را اعطاي مجوز يا تاييد صلاحيت يک مرکز آموزشي، که براساس قضاوت خبرگان حوزه مربوطه، ضوابط از پيش تعيين شده را رعايت کرده باشد، تعريف کرد. (Worthen,et.al,1997) در اين چارچوب، اعتبارسنجي به عنوان يک سيستم ارزيابي، داراي عناصر اصلي زيراست:
1. سازوکاري که متولي ارزيابي‌هاي ادواري است؛
2. استانداردها و احتمالاً ابزارهاي مدون و نوشتاري که براي ارزيابي به کار مي‌روند؛
3. برنامه زماني از پيش تعيين شده(مثلاً هر دو سال يکبار) براي ارزيابي؛
4. استفاده ازنظرات خبرگان به منظور قضاوت در مورد کيفيت عملکرد مرکز مورد ارزيابي؛
5. تاثير بر وضعيت مرکز مورد ارزيابي، براساس نتايج حاصل از ارزيابي انجام شده (Worthen,et.al,1997).
عناصر ياد شده به آشکار کردن جنبه‌هاي مختلف کيفيت مرکز آموزش (درونداد، فرايند، برونداد و پيامد)، ياري دادن مرکز به خود تنظيمي، مشارکت دادن عوامل درگير در شفاف‌سازي امور و توانمند سازي آنان در پاسخگو بودن به نيازهاي سازمان کمک مي کنند. همچنين توجه به اين عوامل، مبناي موثري در ارزيابي اوليه مرکز آموزش فراهم مي آورد:
– جايگاه سازماني/ سازماندهي و مديريت،
– دوره‌هاي آموزشي اجرا شده،
– فرايند تدريس – يادگيري،
– دانش آموختگان.
گنجاندن اين عوامل، براي نمايش کيفيت ضروري است. اعتبار سنجي مرکزآموزش، نشان خواهد داد که اين ارزيابي مي‌تواند براي اين منظورهاي به عمل آيد:
– تاييد صلاحيت مرکز آموزش،
– تشخيص اعتبارات،
– پاسخگويي به مراجع مربوطه در قبال اعتبارات دريافتي،
– عيان ساختن ميزان دستيابي به اهداف از بيش تعيين شده،
– عرضه اطلاعات براي آگاهي فراگيران و ساير افراد مرتبط (ذي ربط و ذي‌نفع) در باره عملکرد نظام آموزش،
– و از همه مهمتر، بهبود مستمر کيفيت آموزش.
چگونه مي‌توان کيفيت آموزشهاي اجرا شده به وسيله مرکزآموزش را سنجيد؟ چگونه يادگيري مورد انتظار در فراگيران رخ مي دهد؟ چگونه مي‌توان اطلاع حاصل کردکه فراگيران در آينده از آموزش هاي اثر بخش بهره‌مند خواهند شد؟ سازمان چگونه مي‌تواند از کيفيت آموزشهاي ارائه شده، اطلاع حاصل کند؟اينها پرسشهاي مهمي هستند که با مفهوم سازي کارکردها و رويکردهاي اعتبار سنجي، مي توان به آنها پرداخت.
کارکردها
ويتنس، بهبود کيفيت آموزش و فراهم کردن زمينه پاسخگويي را دوکارکرد مهم اعتبار سنجي بر مي شمرد. (رحيمي، 1382) ون دام، نيز از بهبود کيفيت آموزش، پاسخگويي، ارائه اطلاعات شفاف و هدايت نظام آموزش در بهره گيري مناسب از منابع در اختيار، به عنوان کارکردهاي چهار گانه اعتبار سنجي نام مي برد.(بازرگان، 1384) با توجه به آنچه گفته شد مي‌توان بهبودکيفيت، پاسخگويي و سازماندهي مجدد را به عنوان کارکردهاي اصلي اعتبار سنجي برشمرد. برآيند حاصله، به سازمان اين اطمينان را خواهد داد که برنامه هاي آموزشي، کاملاً در چارچوب استانداردها و ضوابط از پيش تعيين شده قرار داشته، منطبق با اصول کيفيت اجرا مي‌شوند. در زير به برخي ديگر از کارکردها اشاره مي شد:
– اطمينان به مديريت و تامين کنندگان منابع مالي از اينکه اعتبارات تخصيص داده شده، به صورت مناسب هزينه مي شوند.
– پاسخگويي به کارکنان زير پوشش در جهت فراهم کردن تجربه مناسب آموزشي و اجراي دوره ها مطابق با برنامه پيش بيني شده.
– پاسخگويي به عموم سازمان از اينکه فرايند هاي درون نظام آموزش مناسب هستند و آينده علمي سازمان را تضمين مي کنند. (ساليس، 1372)
رويکردها
رويکردهاي اعتبار سنجي با ارتباط بين ماموريت سازمان، اهداف و نيازهاي توسعه منابع انساني طرح مي شوند. نيازهاي آموزشي نيروي کار حال وآينده از يک درک مشترک از آنچه سازمان نياز دارد و چگونگي تحقق آن نشئت مي گيرد. اين رويکرد با ارزيابي کيفي دانش، مهارت و شايستگي هاي اصلي نيروي کار فعلي، ادامه مي يابد. سازمان بايد اطمينان حاصل کند که دانش و مهارت مورد نياز کارکنان توسط برنامه هاي آموزشي افزايش يافته و به کار بسته مي شوند. پس لازم است فرايند اعتبار سنجي به گونه اي طراحي شود تا اين شايستگي ها را که توسط آموزش هدف قرار گرفته اند، به درستي ارزيابي کند. (هداوند،1384) شناخت رويکردهاي اعتبار سنجي کمک خواهد کرد تا درک درستي از ماهيت و شيوه به کارگيري آن صورت پذيرد: (قورچيان، 1373)
1. رويکرد توليد مدار
قضاوت درمورد کيفيت، براساس ميزان خروجي مرکز، مثلاً تعداد دانش آموختگان يا محتواهاي توليد شده صورت مي‌پذيرد.
2. رويکرد مصرف مدار
ارزيابي براساس نظر فراگيران در مورد محيط، امکانات و تجهيزات، مدرسان و خدماتي که دريافت داشته‌اند، انجام مي‌شود.
3. رويکرد استانداردمدار
ميزان تبعيت از استانداردهاي رايج، معيار ارزيابي تلقي مي‌شود. هرگونه انحراف از استانداردها،کاهش کيفيت محسوب مي شود.
در مجموع، توجه به ابعاد مختلف اعتبار سنجي، فرهنگ آموزشي و برنامه راهبردي سازمان مي‌تواند ضامن کيفيت و توسعه موزون آموزش شود که بايد توسط مرکز ارائه دهنده خدمات آموزشي، مورد توجه قرار گيرد.
مؤلفه هاي ارزيابي
سانگ هيوم لي و پرشينگ، اهداف برنامه، محتواي برنامه، فناوري به کار گرفته شده، مدرس و تسهيل گر، فعاليت هاي آموزشي، مدت زمان برنامه، محيط آموزشي، انتظارات رفتاري، مديريت و پشتيباني و ارزيابي را به عنوان مؤلفه‌هاي مهم اعتبار سنجي توصيف کرده‌اند. (Heum & pershing,1999) فيليپس، اين مؤلفه‌ها را شامل روشهاي تدريس، محيط يادگيري، محتواي برنامه، اهداف آموزشي، تسهيلات، تقويم مدون آموزش و مدرس مي‌داند. (ابيلي،1383) با جمع بندي نظرات ياد شده مؤلفه هاي هاي اصلي اعتبار سنجي را در هفت محور: رسالت و اهداف، ساختار سازماني و مديريت،کادر آموزشي، فراگيران، فرايند ياد دهي- يادگيري، دوره‌هاي آموزشي و امکانات و تجهيزات فهرست کرد. (يارمحمديان، 1385) (جدول شماره 1)
فرايند
نخستين گام در اعتبارسنجي، تعريف استانداردهاي مربوط به اجزاي مجموعه‌اي است که به عنوان مرکز آموزش تعيين¬ شده است. استانداردهاي ياد شده که پيشتر به آنها اشاره شد، مي‌توانند بر اساس توافق جمعي آموزش‌¬دهندگان، آموزش گيرندگان، نهادهاي حرفه¬اي و ساير عوامل مرتبط تعريف ¬شوند. (بازرگان، 1384) از آنجا که هدف اصلي، تربيت دانش آموختگان توانمند در حيطه کاري خود است، بنابراين منطقي است تا با به کارگيري فرايندي منسجم به تعيين اعتبار مرکز آموزش پرداخت. اگرچه ساختارهاي اعتبارسنجي در جزئيات فعاليت خود داراي تفاوت‌هايي هستند، اما از نظر روش کار، داراي فرايند مشترکي به شرح زير هستند:
1. آشنايي با اهداف، وظايف و حوزه هاي تخصصي مرکز آموزش؛
2. ارزيابي مقدماتي از راه گردآوري اطلاعات پايه و تخصصي مورد نياز( با استفاده از پرسشنامه، بازديد، مصاحبه و…)؛
3. تعريف مولفه هاي ارزيابي و تدوين شاخص هاي متناسب با اهداف ارزيابي؛
4. مشخص ساختن داده‌هاي مورد نياز براي قضاوت درمورد يک از شاخص هاي تدوين شده؛
5. تشکيل کميته ارزيابي با بهره گيري از متخصصان و خبرگان حوزه تخصصي مربوطه؛
6. ارزيابي از مرکز آموزش و مشاهده فضا، امکانات و تجهيزات در اختيار؛
7. ارزيابي دروني توسط کميته ارزيابي(با استفاده از شاخص هاي تعريف شده)؛
8. انتشار گزارش مقدماتي و ارائه پيشنهاد درباره اصلاح نواقص و ضعف هاي مشاهده شده؛
9. انتشار گزارش نهايي بر مبناي نتايج اقدامات انجام شده در باره گزارش مقدماتي؛
10. تصميم¬‌گيري در مورد صدور گواهينامه کيفيت يا توصيه جهت اصلاح ساختار و روش ها.
در شکل (شماره 1) شماي کلي فرايند اعتبار سنجي آورده شده است.
فرصت ها و تهديد ها
براي درک اهميت اعتبارسنجي، ابتدا به نقاط قوت آن اشاره مي شود و در ادامه، نقاط ضعف آن آورده خواهد شد:
1. اطمينان بخشي به سازمان، مديريت ارشد و آموزش گيرندگان در موردکيفيت آموزش هاي ارائه شده؛
2. بهبود کيفيت آموزش از راه تدوين شاخصها و دستورکارهاي لازم براي ارزيابي؛
3.تشويق مرکز آموزش براي بهبود دائمي از راه ارزيابي‌هاي مداوم؛
4. حمايت از مرکز آموزش در برابر فشارهايي که ممکن است کارايي آن رامورد تهديد قرار دهد؛
5. جامعيت فرايند ارزيابي که مانع از ساده انگاري در زمينه درک پيچيدگي فرايند‌هاي آموزشي مي‌شود؛
6. فراهم کردن امکان جمع‌آوري سيستماتيک اطلاعات در مورد مراکز مورد ارزيابي؛
7. کاهش هزينه هاي آموزش از راه اصلاح ساختار و فرايند ها. (Worthen,1997)
ارزش اعتبارسنجي به ابعاد بازرسي و نظارتي آن منحصر نمي‌شود. ارزيابان حرفه‌اي بر اين باورند که اگر چه اعتبار سنجي
مي تواند منجر به راه‌اندازي و تقويت فرايند ارزيابي دروني در مراکز آموزش شود و ارتقاي کيفيت را حاصل کند ولي مانند هر روش ارزيابي ديگر، داراي نقاط ضعف قابل ملاحظه‌اي نيز مي باشد که لازم است هنگام استقرار چنين ساختارهايي به دقت مورد توجه قرار گيرند. به اين منظور به چندمورد از مهمترين ايرادهاي ياد شده اشاره مي‌شود:
1. ترديد در مورد پايايي نتايج حاصل شده و احتمال بروز خطاي هاله‌اي (به دليل مبتني بودن نتيجه ارزيابي برقضاوت خبرگان)؛
2. ترديد در اينکه متخصصان يک رشته تاچه اندازه به طور جدي برعملکرد افراد هم رشته خود نظارت مي‌کنند؛
3. مشخص نبودن دقيق وزن و اهميت مجموعه ضوابط تعيين شده که موارد جزئي تا بسيار مهم را شامل مي‌شود؛
4. توجه صرف به اهداف در نظر گرفته شده و عدم توجه به مسائل ديگر در زمان ارزيابي؛
5. جلوگيري از طرح ديدگاه کساني که در مرکز آموزش حضور داشته، بيشترين اعتراضها را درمورد کيفيت آن مرکز دارند؛
6. خطر يکنواخت کردن برنامه‌هاي آموزشي.

نتيجه گيري
مراکز آموزش سازمانها با چالشهاي متعددي روبه رو هستند.اين چالشها را مي‌توان در دو طرف يک پيوستار قرار داد.از يک طرف مديريت خواهان پاسخگويي، مسئوليت‌پذيري و شفافيت در قبال بودجه و سرمايه‌گذاري صورت پذيرفته است و از طرف ديگر گسترش کمي، بدون توجه به توسعه کيفي، پيامدهايي، چون از دست دادن حس اعتماد و ضعف در تامين دانش مورد نياز سازمان را به همراه خواهد داشت. آنها به اين مسئله پي برده‌اند که براي تداوم فعاليت خود در چنين فضايي بايد بيشتر بر مزيتهاي خود تکيه کنند، اعتبارات تخصيص يافته را در جاي مناسب هزينه کنند و تعامل موثر با ساير واحدهاي سازمان را داشته باشند. تاکيد مقاله حاضر بر اين مسئله بودکه اعتبار سنجي مي تواند با اصلاح ساختارها و فرايندهاي جاري آموزش، به بهبود کيفي عملکردهاي سازماني کمک کرده و زمينه را براي پاسخگويي به نيازهاي طرح شده، فراهم آورد.
منابع

1.Ivancevich.John.M, (2001),Human Resource Management,Eight Edition, Mcgrawhill companies.
2.Chapman. R & Wilson .p,(1999), Total Quality Training and Human Resource Development, Dogan page.
3. Baker. Mery, (1999), Training Effectiveness Assessment, Naval Air Warfare center Training System Devision.
4. عمادزاده، مصطفي: عوامل موثر در بهبود کيفيت تدريس، فصلنامه دانش مديريت، شماره 29، 1372
5. ابيلي. خدايار، هداوندي. محمدرضا، ارزشيابي کيفيت دوره‌هاي آموزش موسسات ارائه دهنده خدمات آموزش به شرکت ايران خودرو، مجله روانشناسي و علوم تربيتي ، سال سي و چهارم، شماره 1، 1383
6. ساليس، ادوارد، مديريت کيفيت فراگير در آموزش، ترجمه سيد علي حديقي، تهران : نشر هواي تازه، 1372
7.Wanzare.Zahariah&Ward.Kenneth.L, (2000),Rethinking Staff Development In Kenya:Agenda for the Twenty first Century,The International Journal of Education management,Bradford.
8.Catton PA, etal: 1999,A guide to Internal Program evaluation for Program directors,Annals RCPSC
9.Worthen BR,Sanders JR, Fitzpatrick JL:,(1997), Program Evaluation: Alternative Approach and practical Guidelines, Longman.
10. يارمحمديان، محمدحسين،کلباسي. افسانه، ارزيابي دروني گروه‌هاي آموزشي دانشکده مديريت و اطلاع‌رساني پزشکي دانشگاه علوم پزشکي اصفهان، مجله آموزش در علوم پزشکي،1385
11. بازرگان، عباس، فتح آبادي. جليل، عين الهي. بهرام ، رويکرد مناسب ارزيابي دروني براي ارتقاي مستمر کيفيت گروه‌هاي آموزشي در دانشگاه‌هاي علوم پزشکي،1384
12. رحيمي، حسين، تضمين کيفيت در آموزش عالي: مفاهيم،اصول تجربيات، مجموعه مقالات پنجاه و يکمين نشست روساي دانشگاه‌ها و مراکز علمي و تحقيقاتي،1382
13. بازرگان، عباس،ارزيابي دروني و کاربرد آن در بهبود مستمر کيفيت آموزش، فصلنامه پژوهش و برنامه‌‌ريزي آموزش عالي ، سال دوم، شماره 3و 4، 1374
14. هداوند، سعيد، رويکردي استراتژيک به فرايند برنامه ريزي آموزش، نشريه تدبير، سال شانزدهم، شماره162، 1384
15.قورچيان، نادر قلي، تحليلي بر مکعب کيفيت در نظام آموزش عالي، فصلنامه پژوهش و برنامه‌ريزي در آموزش عالي، شماره 7 و 8، 1373
16.Heum lee sung & Pershing J.A ,(1999),Effective Reaction Evaluation in Evaluating Training programs:Propose Performance Improvement, International society for Performance,1999
منبع: ماهنامه تدبير-سال نوزدهم-شماره 204