Ege Üniversitesi Tıp Fakültesi Öğrenci ve Öğretim Üyesi Değerlendirme Formları ile Yapılan Ölçümlere İlişkin Geçerlilik - Güvenilirlik

GirişTıp eğitiminde program değerlendirme programların geliştirilmesi sürecinde rehberlik edecek verileri sağlar. Kullanılan değerlendirme araçlarının geçerli, güvenilir, düşük maliyetli olması ve öğrenci, eğitici, mezun vb gruplardan görüş almak için kullanılabilmesi beklenir.Program değerlendirme etkinlikleri, Ege Üniversitesi Tıp Fakültesi’nde 2001 yılında başlayan program geliştirme çalışmalarının önemli bir bileşeni olmuştur. Gereç ve YöntemGüncel öğrenci ve öğretim üyesi değerlendirme formlarıyla elde edilen sonuçların güvenirlik ve geçerliği, metodolojik tasarım tipinde bir çalışmayla değerlendirilmiştir. İç tutarlılık güvenirliğinin belirlenmesinde Cronbach alpha katsayısı hesaplanmıştır. Kapsam geçerliğini belirlemek için bir uzman panelinde madde kapsam geçerlilik oranları hesaplanmıştır. Yapı geçerliğinin belirlenmesi için açımlayıcı faktör analizi uygulanmıştır.Puanlayıcılar arası uyum (interrater agreement) ve puanlayıcılar arası güvenilirlik (interrater reliability) araştırılmıştır. Puanlayıcılar arası güvenilirliğe ilişkin sınıf içi korelasyon katsayısı (intraclass correlation coefficient) için iki yönlü karma etki modeli kullanılarak % 95 güven aralığında tutarlık araştırılmıştır. SonuçCronbach alpha değerlerinin İkinci ve Üçüncü Sınıf Blok Değerlendirme formunun iki faktörü dışında 0,7 üzerinde bulunması, güncellenen öğrenci ve öğretim üyesi değerlendirme formlarının sonuçlarıyla ilgili iç tutarlık güvenirliğini desteklemektedir. Yapı geçerliği analizinde öğrenci formları, İkinci ve Üçüncü Sınıf Blok Değerlendirme Formu dışında tek boyutlu, Öğretim Üyesi Değerlendirme Formu ise üç faktörlü yapıya sahip bulunmuştur.İkinci ve Üçüncü Sınıf Blok Değerlendirme formunda Faktör II, Öğretim Üyesi Blok ve Staj Değerlendirme Formunda ise Faktör III için puanlayıcılar arası uyum ve güvenilirlik katsayılarının kabul edilebilir düzeylerin altında olması bu boyutlar için yapılan ölçüme ilişkin güvenilirliği desteklememektedir.Bu çalışmanın sonuçları, EÜTF program değerlendirme sisteminde kullanılan güncel değerlendirme formlarıyla yapılan ölçümlerin geçerlik ve güvenirliğini destekleyen kanıtların yanı sıra, sonuçların yorum ve kullanımında dikkatli olunması gereken noktaları da ortaya koymuştur.
Introduction Program evaluation in medical education provides data that guide the program development process. It is expected that evaluation instruments are valid, reliable and low-cost, and useful for obtaining opinions of different groups such as student, teacher or graduate. Program evaluation has been a crucial component of program development in Ege University School of Medicine since 2001. Materials and Methods In this methodological design type study, reliability and validity of the results, obtained by updated students’ and teachers’ evaluation forms, were assessed. Cronbach alpha coefficient was calculated for assessing internal consistency reliability. Item content validity ratios were calculated in an expert panel. Exploratory factor analysis was implemented for determining construct validity. Interrater agreement and interrater reliability related to interpretation and use of the judgments of different observers were analyzed. Consistency was examined by a two-way mixed-effect model at 95% confidence interval, for calculating the intraclass correlation coefficient (ICC) related to interrater reliability. ResultsCronbach alpha coefficients that were over 0,7, except for Second and Third Year Student Block Evaluation Form, corroborated the internal consistency reliability for updated student and teacher evaluation forms. In construct analysis, student forms, except the Second and Third Year Block Evaluation Form were found to have a one-dimension construct, while teacher forms were determined to have a three-dimensions construct.Reliability of measurement of Factor II of Second and Third Year Block Student Forms and Factor III of Teachers’ Evaluation Forms was not corroborated as the interrater agreement and reliability coefficients were below acceptable levels. Results of this study revealed the evidences that support the validity and reliability of measurements done by the current evaluation forms used in the program evaluation system of Ege University School of Medicine, and also detected the points to be paid attention while interpreting and using the results of the measurements.