Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems: A Case Study

Buçalışmanın amacı, problem çözme öğretimi için tasarlanmış bir uyarlanabilirzeki öğretim sistemi olan ArtiBos’un kullanılabilirlik değerlendirmesi süreciniincelemek ve benzer sistemlerin kullanılabilirlik değerlendirmesi süreçlerineyönelik öneriler sunmaktır. Çalışmaya, 3 farklı ortaöğretim kurumundan seçilen90 öğrenci ile Bilgisayar ve Öğretim Teknolojileri Eğitimi-Matematik Eğitimialanlarından 30 uzman katılmıştır. ArtiBos’un kullanılabilirliği, UluslararasıStandartlar Enstitüsü (International Standards Organization – ISO) tarafındanyapılan kullanılabilirlik tanımında yer alan etkililik, verimlilik vememnuniyet kriterlerine göre değerlendirilmiştir. Çalışmada veri çeşitlemesisağlanarak nicel ve nitel veriler birlikte kullanılmıştır. KullanıcılarınArtiBos’da istenen görevleri gerçekleştirme süreçlerindeki ekran görüntüleri,sesli düşünme tekniği (think aloud) sırasında alınan ses kayıtları,öğrencilerle yapılan görüşmeler ve uzmanların görüşleriyle veriler eldeedilmiştir. Çalışmada, ArtiBos’un kullanılabilirlik testleri süreci detaylı birşekilde açıklanmış ve kullanılabilirlik değerlendirme süreçlerine yöneliköneriler sunulmuştur. Elde edilensonuçların benzer sistemlerin kullanılabilirlik çalışmasını yapmayı planlayanaraştırmacılar için yol gösterici olması hedeflenmektedir.
Thisstudy aims at examining the usability evaluation process of ArtiBos, anadaptive intelligent tutoring system specifically designed for teaching ofproblem solving, and proposing usability evaluation recommendationsaccordingly. The study group consists of 90 students selected from 3 different secondaryeducation institutions and 30 experts from the fields of Computer Education andInstructional Technology and Mathematics Teaching. The usability of ArtiBos isevaluated according to the criteria of effectiveness, efficiency, andsatisfaction included in the definition of usability by the InternationalStandards Organization (ISO). In this study, quantitative and qualitative datawere used for triangulation. Study data included users’ screenshots duringperformance of the instructed tasks in ArtiBos, sound recordings taken from thethink aloud technique, interviews with students, and opinions of experts. Thestudy elaborates the procedure of usability tests of ArtiBos and makessuggestions for usability evaluation processes of similar systems. The resultsare expected to guide researchers planning to carry out similar systems’usability studies