Search

In today's era of digital transformation, organizations are not able to achieve the efficiency and competitiveness they need without electronic records management systems. Electronic records management, which is the lifeblood of modern business world, contributes to the management of information and records in institutions through the processes of creating records according to standards, signing and distributing records in accordance with the workflow, protecting the confidentiality of the records with the authorization mechanism, providing access independent from time and location, maintaining the corporate memory, providing an organized work environment with paperless office, eliminating postal costs by digitally transmitting records, archiving according to business rules, and destroying expired records. While dozens of electronic records management systems (ERMS) around the world are introduced to the market with many new functions and features, usability feature of ERMS directly affects the efficient and effective use of all other functions and features. Because when the users cannot perform their current work with less effort by using the system, the systems remain idle and work efficiency decreases. Electronic Records Management Systems should be tested periodically to uncover improvement points on adaptation to changing user profile, business rules and technology in software development process, in the certification process, before the software purchase decision is made and after the use of the software. However, the usability factor is under-represented in the selection and certification processes of ERMS and user-oriented software development and usability tests are still ignored. The reason for this negligence is that while the functional criteria can be easily formulated, ERMS stakeholders do not have the necessary competence and enough awareness about usability tests. In this thesis, 4 different usability assessment methods (Heuristic Evaluation, Server Log Analysis, Path Analysis Through Server Logs and User Test) were applied on Hacettepe University ERMS and application techniques, strengths and weaknesses of methods, recommendations for making methods more efficient, kinds of information that can be reached with each test method, the extent to which these information can be improved, the factors affecting the usability of the ERMS and the benefits of usability tests for different roles were revealed. In the Heuristic Evaluation method, a list of usability criteria was developed via literature review and 30 pages which are important for ERMS were tested in 2 iterations in the light of these criteria. Statistical log information was obtained because of log analysis on 16 days log records and 8064 error log record which were stored on the ERMS server with server log analysis method. In Path Analysis Through Server Logs method, the path/route frequencies were determined in all sessions by following the steps of clearing the data, coding the page addresses, identifying the user sessions, determining the routes (URL sequences) in all sessions and revealing all sub-routes. Within the scope of the User Test method, user tests were carried out with 5 experienced, 5 inexperienced 10 subjects for problematic processes and pages that were pointed out by Server Log Analysis and Heuristic Evaluation methods. Through the tasks performed during the test, various quantitative information has been obtained regarding efficiency and efficiency measurement showing the user interface performance and qualitative data obtained by video recording and think-aloud technique. At the end of the research, when all the findings are brought together, the fact that record creation screens are far from simplicity and lack of router, record search is not effective, access to information needed to perform operations difficult to access, feeling lost due to lack of navigation capabilities, non-router and non-instructional error messages and software design that allows non-standard record processing has been the most challenging factors that affect users most. In addition, a model has been developed for the usability assessment of the ERMS, and it has been explained how, in the model, the test methods can be used to benefit in three different categories, namely, ERMS usability assessment, the acquisition of decision support information on the ERMS, and the monitoring of the user trends in the ERMS. İÇİNDEKİLER KABUL VE ONAY ......................................................................................................... i YAYIMLAMA VE FİKRİ MÜLKİYET HAKLARI BEYANI .............................................. ii ETİK BEYAN ............................................................................................................... iii TEŞEKKÜR .................................................................................................................. v ÖZET ........................................................................................................................... vi ABSTRACT ............................................................................................................... viii İÇİNDEKİLER ............................................................................................................... x KISALTMALAR DİZİNİ ............................................................................................... xv TABLOLAR DİZİNİ .................................................................................................... xvi ŞEKİLLER DİZİNİ .................................................................................................... xviii GİRİŞ ............................................................................................................................ 1 1. BÖLÜM: METODOLOJİK ÇERÇEVE ...................................................................... 2 1.1. KONUNUN ÖNEMİ......................................................................................... 2 1.2. ARAŞTIRMANIN AMACI ve HİPOTEZ .......................................................... 7 1.3. ARAŞTIRMANIN ALANI, KAPSAMI VE VERİ TOPLAMA TEKNİKLERİ ...... 9 1.4. ARAŞTIRMA DÜZENİ .................................................................................. 13 1.5. KAYNAKLAR ............................................................................................... 14 2. BÖLÜM: ELEKTRONİK BELGE YÖNETİM SİSTEMLERİ .................................... 16 2.1. ELEKTRONİK BELGE YÖNETİM SİSTEMLERİ .......................................... 16 2.2. EBYS’LER HAKKINDA STANDARTLAR, REHBERLER, KANUNİ VE İDARİ DÜZENLEMELER ................................................................................................... 18 2.2.1. Uluslararası Standartlar .............................................................................. 19 2.2.2. Ülkelerin Geliştirdiği Ulusal Standartlar ....................................................... 20 2.2.3. Uluslararası Projeler ................................................................................... 22 2.2.4. Türkiye'de Mevzuat Çalışmaları ve Standartlaşma ...................................... 23 2.2.5. Elektronik İmza Kanunu .............................................................................. 24 2.2.6. TS 13298 Elektronik Belge Yönetimi Standardı ........................................... 25 2.2.7. Resmi Yazışma Usul ve Esasları ................................................................ 29 2.3. BELGE ÖZELLİKLERİ ve BÖLÜMLERİ ...................................................... 30 xi 2.4. BELGENİN ÇOĞALTILMASI, GÖNDERİLMESİ, ALINMASI VE İADE EDİLMESİ ............................................................................................................... 30 2.4.1. Belgenin Çoğaltılması ................................................................................. 30 2.4.2. Belgenin Elektronik Ortamda Gönderilmesi ve Alınması ............................... 2 2.5. DOSYALAMA İŞLEMLERİ............................................................................. 2 2.6. HACETTEPE ÜNİVERSİTESİ ELEKTRONİK BELGE YÖNETİM SİSTEMİ ... 4 3. BÖLÜM: KULLANILABİLİRLİK DEĞERLENDİRME YÖNTEMLERi ...................... 7 3.1. GİRİŞ ............................................................................................................. 7 3.2. KULLANILABİLİRLİK DEĞERLENDİRMESİ ............................................... 14 3.2.1. Biçimlendirici Testler ................................................................................... 15 3.2.2. İnceleme Yöntemleri ................................................................................... 15 3.2.3. Sorgulama Yöntemleri ................................................................................ 16 3.2.4. Göz İzleme Yöntemler ................................................................................ 17 3.2.5. Log Analizi İle (Uzaktan) Kullanılabilirlik Değerlendirmesi ........................... 19 3.2.6. İstemci Taraflı Loglama ............................................................................... 20 3.2.7. Sunucu Taraflı Loglama .............................................................................. 25 4. BÖLÜM: HACETTEPE ÜNİVERSİTESİ EBYS UYGULAMASI ÜZERİNDE KULLANILABİLİRLİK DEĞERLENDİRME YÖNTEMLERİNİN GELİŞTİRİLMESİ ..... 29 4.1. GİRİŞ ........................................................................................................... 29 4.2. SEZGİSEL DEĞERLENDİRME .................................................................... 29 4.2.1. Test Süreci ve Yapılan Çalışmalar .............................................................. 29 4.2.1.1. Literatür Taraması ve Değerlendirme Kriterlerinin Belirlenmesi .......... 30 4.2.1.2. H.Ü. EBYS İncelemesi ve Değerlendirmeye Tabi Tutulacak Ekranların / İşlemlerin Belirlenmesi ..................................................................................... 33 4.2.1.3. Sezgisel Değerlendirmenin Uygulanması ve Raporlanması ............... 35 4.3. SUNUCU LOG ANALİZİ .............................................................................. 35 4.3.1. Test Süreci ve Yapılan Çalışmalar .............................................................. 36 4.3.1.1. Log Dosyası Analizi ........................................................................... 36 4.3.1.2. Veri Tabanı Tablolarının Tasarımı ..................................................... 37 4.3.1.3. Veri Aktarım Yazılımının Geliştirilmesi ve Veri Aktarımı ..................... 37 4.3.1.4. Analiz Sorgularının Geliştirilmesi ....................................................... 39 4.3.1.5. Sorguların Test Edilmesi ve En İyileştirilmesi ..................................... 42 4.3.1.6. Bulguların İncelenmesi, Raporlanması ............................................... 42 4.4. SUNUCU LOGLARI ÜZERİNDE ROTA ANALİZİ ........................................ 42 4.4.1. Test Süreci ve Yapılan Çalışmalar .............................................................. 43 4.4.1.1. Veri Temizleme .................................................................................. 44 4.4.1.2. Sayfa Adreslerinin Kodlanması .......................................................... 44 xii 4.4.1.3. Oturum Tespiti ................................................................................... 45 4.4.1.4. Tüm URL Dizilimlerinin Belirlenmesi .................................................. 46 4.4.1.5. Tüm Alt URL Dizilimlerinin Belirlenmesi ............................................. 47 4.4.1.6. Alt URL Dizilimlerinin Oturumlarda Görülme Sıklığını Belirleme ......... 47 4.4.1.7. URL Dizilerini Görülme Sıklıklarına Göre Sıralama ve Yorumlama .... 47 4.5. KULLANICI TESTİ ....................................................................................... 47 4.5.1. Test Süreci ve Yapılan Çalışmalar .............................................................. 48 4.5.1.1. Kullanılabilirlik Testinde Görevlerinin Belirlenmesi ............................. 49 4.5.1.2. Deneklerin Belirlenmesi ..................................................................... 49 4.5.1.3. Test Ortamının Belirlenmesi .............................................................. 50 4.5.1.4. Test Verilerinin Hazırlanması ............................................................. 51 4.5.1.5. Kullanılabilirlik Testi Görevlerinin Hazırlanması ................................. 51 4.5.1.6. Test Provası ...................................................................................... 51 4.5.1.7. Kullanıcı Testinin Uygulanması .......................................................... 52 5. BÖLÜM: BULGULAR ve DEĞERLENDİRME ....................................................... 55 5.1. SEZGİSEL DEĞERLENDİRME YÖNTEMİ ................................................... 55 5.1.1. Bulgular ...................................................................................................... 55 5.1.1.1. Kısa Yollar ve İpuçları İçerme ............................................................ 56 5.1.1.2. Kullanıcı Kontrolü ve Özgürlük ........................................................... 57 5.1.1.3. Hata Mesajları ................................................................................... 58 5.1.1.4. Genel Kullanıma Aykırı Tasarım ........................................................ 59 5.1.1.5. Hataları Önleme................................................................................. 59 5.1.1.6. Estetik ve Sade Tasarım .................................................................... 60 5.1.1.7. Farklı Durumlar İçin Ayırıcı Sinyaller Vererek Karışıklığın Önlenmesi 60 5.1.1.8. Sistem Durumunun Görünürlüğü ....................................................... 61 5.1.1.9. Tutarlılık ............................................................................................. 61 5.1.1.10. Ekrandaki Öğelerin Okunaklılığı ......................................................... 61 5.1.1.11. Kullanılan Resim ve İkonların Temsil Ettikleri Nesneye Benzemesi ... 62 5.1.1.12. Kullanıcıya Fazla Seçenek ve Bilgi Sunulmaması .............................. 62 5.1.1.13. Tıklanması Beklenen Öğelerinin Geniş ve Bir Arada Olması ............. 63 5.1.1.14. Esneklik ve Kullanım Verimliliği .......................................................... 63 5.1.1.15. Yardım ve Dokümantasyon ................................................................ 63 5.1.1.16. İşlemleri Geri Almaya İzin Verme ....................................................... 63 5.1.1.17. Bilgiye Ulaşma Maliyetinin Minimize Edilmesi .................................... 64 5.1.1.18. Formlar Arasında Uyum Olması ve Kullanıcının Hızlı Öğrenmesi ...... 64 5.1.2. Çıkarımlar ................................................................................................... 64 5.1.3. Yöntem İle İlgili Öneriler .............................................................................. 65 xiii 5.2. SUNUCU LOG ANALİZİ YÖNTEMİ ............................................................. 66 5.2.1. Bulgular ...................................................................................................... 66 5.2.1.1. Mobil ve Sabit Sayfa Erişim Sayıları .................................................. 66 5.2.1.2. İstemci Tarayıcı Türleri ...................................................................... 66 5.2.1.3. Saat Aralıklarına Göre Kullanıcı Yoğunluğu ....................................... 67 5.2.1.4. Sayfa Görüntüleme İstatistikleri ......................................................... 68 5.2.1.5. Yardım Sayfası Görüntüleme İstatistikleri .......................................... 69 5.2.1.6. Kullanıcı Bazlı Kullanım Frekansı ...................................................... 69 5.2.1.7. Sayfada Geçirilen Ortalama Süre ...................................................... 70 5.2.1.8. Hata Mesajları ................................................................................... 71 5.2.2. Çıkarımlar ................................................................................................... 73 5.2.3. Yöntem İle İlgili Öneriler .............................................................................. 74 5.3. SUNUCU LOGLARI İLE ROTA ANALİZİ YÖNTEMİ .................................... 74 5.3.1. Bulgular ...................................................................................................... 74 5.3.1.1. 15 Dakikalık Oturumlarda En Çok Kullanılan Rotalar ......................... 74 5.3.1.2. 10 Dakikalık Oturum Süresinde En Çok Kullanılan Rotalar ................ 76 5.3.2. Çıkarımlar ................................................................................................... 78 5.3.3. Yöntem İle İlgili Öneriler .............................................................................. 79 5.3.4. KULLANICI TESTİ YÖNTEMİ ..................................................................... 80 5.3.5. Bulgular ...................................................................................................... 80 5.3.5.1. Görev Tamamlama İstatistikleri .......................................................... 80 5.3.5.2. Son Anket Verileri .............................................................................. 81 5.3.5.3. Kullanıcı Sesli Düşünme Verileri ........................................................ 82 5.3.6. Çıkarımlar ................................................................................................... 83 5.3.7. Yöntem İle İlgili Öneriler .............................................................................. 84 5.4. EBYS KULLANILABİLİRLİĞİNİ DEĞERLENDİRMEK İÇİN BİR MODEL ... 85 6. BÖLÜM: SONUÇ VE ÖNERİLER .......................................................................... 90 6.1. EBYS KULLANILABİLİRLİĞİNİ ETKİLEYEN FAKTÖRLER ....................... 90 Belge Yaratma ..................................................................................................... 91 Belge Arama ........................................................................................................ 92 Gerekli / İlgili Bilgiye Erişim Maliyeti ..................................................................... 93 Hızlı Veri Girişine Engel Tasarım ......................................................................... 93 Kaybolma Hissi .................................................................................................... 93 Yönlendirici Olmayan Hata Mesajları ................................................................... 94 EBYS Standardına Aykırı Tasarım ....................................................................... 94 6.2. KULLANILABİLİRLİK TEST YÖNTEMLERİNİN KARŞILAŞTIRILMASI ..... 94 6.3. PAYDAŞLAR AÇISINDAN KULLANILABİLİRLİK DEĞERLENDİRME ..... 100 xiv Yazılım Geliştiriciler ........................................................................................... 101 Kurumlar ............................................................................................................ 103 Otoriteler ............................................................................................................ 104 6.4. SINIRLILIKLAR VE GELECEK ÇALIŞMALAR .......................................... 107 KAYNAKÇA ............................................................................................................. 108 EK 1. Orijinallik Raporu .......................................................................................... 121 EK 2. Etik Kurul/Komisyon İzni .............................................................................. 122 EK 3. SEZGİSEL DEĞERLENDİRME KRİTERLERİ LİSTESİ .................................. 124 EK 4. KULLANICI TESTİ - GÖNÜLLÜ KATILIM FORMU ....................................... 125 EK 5. KULLANICI TESTİ ÖN ANKET ...................................................................... 126 EK 6. KULLANICI TESTİ GÖREVLERİ .................................................................... 127 EK 7. KULLANICI TESTİ SON ANKET .................................................................... 128 Bugünün dijital dönüşüm çağında kuruluşların ihtiyaç duyduğu verimlilik ve rekabet gücüne erişmeleri, kurumsal bilginin organizasyonunu sağlayan elektronik belge yönetim sistemleri olmadan mümkün değildir. Modern iş dünyasının can damarı olan elektronik belge yönetimi, standartlara uygun belge oluşturma, düzenleme, dosyalama, iş akışına uygun olarak imzaya ve dağıtıma çıkarma, yetkilendirme mekanizması ile belge gizliliğini koruma, zaman ve konumdan bağımsız olarak belgelere erişim sağlama, iş kurallarına göre arşivleme ve yaşam süresi dolan belgeleri imha etme süreçleriyle, kurumlardaki bilgi ve belge yönetimine sürat, güvenlik, maliyet, verimlilik bakımından önemli katkılar sağlar. Dünya genelinde onlarca elektronik belge yönetim sistemi, birçok yeni işlev ve özellik ile piyasaya sürülürken EBYS’lerde kullanılabilirlik özelliği, diğer tüm işlev ve özelliklerin verimli ve etkili kullanılabilmesini doğrudan etkilemektedir. Zira kullanıcı sistemi kullanarak mevcut işlerini daha az çaba ile gerçekleştiremediğinde sistemler atıl kalmakta ve iş verimliliği düşmektedir. Elektronik Belge Yönetim Sistemleri, yazılım geliştirme sürecinde, sertifikasyon sürecinde, yazılım satın alma kararı verilmeden önce ve yazılım kullanılmaya başlandıktan sonra belirli aralıklarla kullanılabilirlik bakımından test edilerek, kullanıcı profili, teknoloji ve iş kurallarına uygun olmayan özellikleri tespit edilmelidir. Oysa günümüzde halen EBYS seçim ve sertifikalandırma süreçlerinde kullanılabilirlik faktörü yetersiz temsil edilmekte, kullanıcı odaklı yazılım geliştirme ve kullanılabilirlik testleri yazılım geliştirme yaşam döngüsünde ihmal edilmektedir. Bu ihmalin sebebi, işlevsel kriterler kolayca formüle edilebilir iken, kullanılabilirlik hakkında gerekli yetkinliğe ve yeterli farkındalığa sahip olunmamasıdır. Bu tez çalışmasında 4 ayrı kullanılabilirlik değerlendirme yönteminin (Sezgisel Değerlendirme, Sunucu Log Analizi, Sunucu Logları ile Rota Analizi ve Kullanıcı Testi) EBYS üzerinde uygulanma teknikleri, yöntemlerin güçlü ve zayıf yönleri, yöntemleri daha verimli kılmak için öneriler, hangi test yöntemleri ile ne tür bilgilere ulaşılabileceği, bu bilgiler ile EBYS’lerin hangi açılardan iyileştirilebileceği, EBYS kullanılabilirliğini etkileyen faktörler ve farklı roller açısından kullanılabilirlik testlerinin getirdiği faydalar, Hacettepe Üniversitesi EBYS örneği üzerinden ortaya çıkarılmıştır. Sezgisel Değerlendirme yönteminde literatür taraması ile bir kullanılabilirlik kriter listesi geliştirilmiş, EBYS açısından önem arz eden 30 ekran bu kriterler ışığında 2 iterasyonda test edilmiştir. Sunucu Log Analizi yöntemi ile EBYS sunucusunda depolanan 29 günlük, 16 milyon erişim log kaydı ve 8064 hata log kaydı üzerinde gerçekleştirilen log analizleri sonucunda, istatistiksel kullanım bilgileri elde edilmiştir. Sunucu Logları ile Rota Analizi yönteminde, verinin temizlenmesi, sayfa adreslerinin kodlanması, kullanıcı oturumlarının tespiti, tüm oturumlardaki rotaların (URL dizilimlerinin) belirlenmesi ve tüm alt rotaların ortaya çıkarılması adımları izlenerek rotaların tüm oturumlarda görülme sıklığı belirlenmiştir. Kullanıcı Testi çalışması kapsamında, Sunucu Log Analizlerinin ve Sezgisel Değerlendirme çalışmasının işaret ettiği problemli işlem ve sayfalar için 5 deneyimli, 5 deneyimsiz 10 denek ile kullanıcı testleri gerçekleştirilmiştir. Test sırasında uygulanan görevler aracılığı ile kullanıcıların ara yüz kullanım performanslarını gösteren etkinlik ve verimlilik ölçümüne ilişkin çeşitli nicel bilgiler, video kaydı ve sesli düşünme tekniği ile nitel veriler elde edilmiştir. Araştırma sonucunda tüm bulgular bir araya getirildiğinde, belge yaratma ekranlarının sadelikten uzak olması ve yönlendirici olmaması, belge arama işleminin etkili olmaması, işlemleri gerçekleştirmek için gerekli bilgilere erişimin zor olması, dolaşım yeteneklerinin yetersizliği nedeniyle sistemde kaybolma hissi yaşanması, yönlendirici ve öğretici olmayan hata mesajları ve standart dışı işlem yapmaya müsaade eden yazılım tasarımı, EBYS kullanılabilirliğini en çok etkileyen, kullanıcıları en çok zorlayan faktörler olarak ortaya çıkarılmıştır. Ayrıca EBYS kullanılabilirlik değerlendirmesi için bir model geliştirilmiş, bu model ile, EBYS kullanılabilirlik değerlendirmesi, EBYS hakkında karar destek bilgilerinin elde edilmesi ve EBYS kullanıcı eğilimlerinin izlenmesi olmak üzere 3 farklı kategoride test yöntemlerinden nasıl faydalanılabileceği açıklanmıştır.