Search

Televizyon gibi yoğun yazılım içeren gömülü sistemlerin kara kutu testleri, grafik kullanıcı arayüzleri (GKA) aracılığıyla gerçekleştirilmektedir. Bu testlerin otomasyonu kapsamında bir dizi kullanıcı işlemi dışarıdan tetiklenmektedir. Bu sırada, doğru ve yanlış sistem davranışı arasında ayrım yapan ve böylece testlerin geçip geçmediğine karar veren otomatik bir test kâhinine ihtiyaç duyulmaktadır. Bu amaçla yaygın olarak görüntü karşılaştırma araçları kullanılmaktadır. Bu araçlar, gözlenen GKA ile daha önceden kaydedilmiş bir referans GKA ekran görüntüsünü karşılaştırmaktadır. Bu çalışmada, 9 farklı görüntü karşılaştırma aracı bir endüstriyel vaka çalışması ile değerlendirildi. Bir televizyon sisteminin gerçek test çalışmalarından 1000 çift referans ve anlık GKA görüntüsü toplandı ve bu görüntüler başarılı/başarısız test olarak etiketlendirildi. Ayrıca, toplanan veri kümesi görüntülerde meydana gelen piksel kayması, renk tonu/doygunluk farklılığı ve resim gövdesinde esneme (büyüme, küçülme, genişleme, daralma) gibi çeşitli etkilere göre sınıflandırıldı. Ardından, bu veri kümesi ile karşılaştırılan araçlar, doğruluk ve performans açısından değerlendirildi. Araçların parametre değerlerine ve karşılaştırılan görüntülerin tâbi oldukları etkilere göre farklı sonuçlar verdiği görülmüştür. Hazırlanan veri kümesi için en iyi sonuçları veren araç ve bu aracın parametre değerleri tespit edilmiştir. Black box testing of software intensive embedded systems such as TVs is performed via their graphical user interfaces (GUI). A series of user events are triggered for automating these tests. In the meantime, there is a need for a test oracle, which decides if tests pass or fail by differentiating between correct and incorrect system behavior. Image comparison tools are commonly used for this purpose. These tools compare the observed GUI screen during tests with respect to a previously recorded snapshot of a reference GUI screen. In this work, we evaluated 9 image comparison tools with an industrial case study. We collected 1000 pairs of reference and runtime GUI images during test activities performed on a real TV system and we labeled these image pairs as passed and failed tests. In addition, we categorized the data set according to various effects observed on images such as pixel shifting, color saturation and scaling. Then, this data set is used for comparing tools in terms of accuracy and performance. We observed that results are dependent on tool parameters and various image effects that take place. We identified the best tool and its parameter set for the collected data set. Publisher version

Model bazlı test teknikleri, sistem kullanım modelinden test senaryolarının otomatik olarak oluşturulmasını sağlayarak verimliliği artırmaktadır. Prensip olarak sonsuz sayıda test senaryosu oluşturmak mümkündür; ancak bu senaryoları sınamak için kaynaklar kısıtlıdır. Dolayısıyla, kullanılan modelin içeriği ve test senaryosu oluşturma teknikleri, etkin bir şekilde hataların tespit edilmesini sağlamalıdır. Bu çalışmamızda, model bazlı test için kullanılan model içeriği ve model parametrelerinin iyileştirilmesine yönelik özgün bir yaklaşım öneriyoruz. Yaklaşımımızda kullandığımız Markov zincirleri, istatistiksel verileri baz alarak, model parametrelerini, hata riski yüksek olan senaryolara ağırlık verecek şekilde güncellememize olanak vermektedir. Statik kod analiz teknikleri ve kullanım profili analizlerini değerlendirerek sık kullanılan ve hata ile karşılaşılma olasılığı yüksek olan işlevleri belirliyoruz. Model içeriğini bu işlevleri test etmek üzere oluşturuyoruz. Dinamik analiz sonuçlarına göre hata oluşumuna yatkın olan işlevlerin, oluşturulan test senaryolarına dâhil edilme olasılıklarını artıracak şekilde model parametrelerini güncelliyoruz. Bu yöntem ile gerçek bir Akıllı TV sistemi yazılımı için oluşturulan test senaryolarını kullandığımızda, hata tespit etkinliğinin arttığını gözlemledik. publisher version

Yazılım sistemlerinin boyutları ve karmaşıklıkları arttıkça, bu sistemlerin test edilmesi daha maliyetli olmaktadır. Maliyeti düşürmek ve verimliliği artırmak için model bazlı test teknikleri geliştirilmiştir. Bu teknikler ile sistem kullanım modelinden otomatik olarak test senaryoları oluşturulabilmektedir. Fakat sistem modelinin manuel bir şekilde oluşturulması gerekmektedir. Ayrıca, model ile oluşturulan test senaryolarının sistem üzerinde otomatik çalıştırılmalarını sağlamak için betikler veya özel programlar geliştirilmesi gerekmektedir. Bu çalışmada, Web uygulamaları için model bazlı test sürecini otomasyon desteği ile iyileştirmekteyiz. Farklı araçları birleştirerek, sistem modelinin yarı-otomatik bir yöntem ile oluşturulmasını ve bu model ile oluşturulan test senaryolarının, ayrı bir program geliştirilmesine gerek olmaksızın, sistem üzerinde otomatik çalıştırılmalarını sağlamaktayız.

Büyük ölçekli yazılım sistemlerinin regresyon testleri masraflıdır. Kaynak kısıtları sebebiyle genellikle tüm test durumlarını değerlendirmek mümkün olmamaktadır. Dolayısıyla, hataları mümkün olan en kısa sürede tespit edecek şekilde test durumlarını önceliklendirmek gerekmektedir. Bu çalışmada, test durumlarını önceliklendirmek için geçmişte tespit edilen hata miktarlarının analizine dayanan bir yöntem öneriyoruz. Bu analizin ne derecede yakın geçmişe veya uzak geçmişe odaklanacağı, yöntemin bir parametresi olarak uyarlanabilmektedir. Bir dijital TV yazılımı için regresyon testlerini çeşitli parametre değerleri ile önceliklendirerek, elde edilen sıralamaların etkinliklerini karşılaştırdık. Yöntemimizin mevcut sıralamaya göre hata tespit oranı açısından daha etkili sıralamalar elde etmemizi sağladığını gördük.

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Testing practice has a critical place during the design, implementation and integration of software, hardware and complex systems composed of these. Cost of failures caused by bugs that could not be detected and fixed early in the process increase in a multiplicative way and adversely affect the overall projects costs. However, trying to do comprehensive tests generating correct outputs is also costly both time-wise and money-wise. Combinatorial Testing Techniques (CTT) have been a preferred method in software testing due to their quantifiable case coverage guarantees and appropriateness for automation. We observed that, Complex Event Processing (CEP) engines - commonly used today for real-time analysis over critical, high-volume signal processing applications (e.g. mobile communication, sensors, radar) - are NOT being systematically tested with approaches such as CTT. In this paper, we uniquely show applicability of CTT to CEP for fast creation of continuous query test suites and obtain promising results. TÜBİTAK ; European Commission

55