Search

Il test del software è un’attività chiave del ciclo di vita del software che richiede tempo e risorse per essere efficace. Uno degli aspetti fondamentali che influenza il costo delle attività di test e conseguentemente la loro efficacia nel rivelare i possibili difetti è la testabilità del software. La testabilità esprime quanto sia facile o difficile testare un artefatto software. La disponibilità delle stime sulla testabilità di un software e dei suoi artefatti può aiutare gli analisti nell’anticipare i costi dell’attività di test. Molti studi a riguardo sono stati svolti dal 1990 in poi. I primi studi si sono focalizzati principalmente nel fornire una definizione appropriata di testabilità del software, mentre i successivi hanno prestato maggiore attenzione ad individuare modi per rendere il software più testabile e per misurare la testabilità in maniera affidabile. Il nostro lavoro di ricerca si focalizza principalmente su quest’ultimo aspetto. L’attività di ricerca sui metodi per misurare la testabilità del software ha l’obiettivo principale di valutare la testabilità dei componenti del software al fine di migliorarne la testabilità e valutare l’impegno necessario durante l’attività di test. Gli approcci proposti allo stato dell’arte per misurare la testabilità possono essere categorizzati in: stima della testabilità ottenuta analizzando la sensibilità ai difetti e stima della testabilità ottenuta dall’analisi della struttura del codice. L’analisi della sensibilità ai difetti è stata molto popolare negli anni ’90, ma la ricerca in merito è progressivamente scemata a favore degli approcci che utilizzano le metriche statiche del software (che rappresentano le caratteristiche di design) per effettuare una stima della testabilità. Questi approcci hanno alcune limitazioni intrinseche, menzionate negli studi stessi, come l’essere costosi, oppure derivare le stime di testabilità in modo indiretto focalizzandosi sulle caratteristiche di desig, Software testing is a key activity of the software life-cycle that requires time and resources to be effective. One of the key aspects that influences the cost of the testing activities and ultimately the effectiveness of those activities for revealing the possible faults is software testability. Software testability expresses how difficult or easy it is to test a software artifact. The availability of estimates on the testability of the software under test and the components therein can support test analysts in anticipating the cost of testing, tuning the test plans, or pinpointing components that should undergo refactoring before testing. Several studies have been performed since the 1990 on the topic; the first ones focused more on giving an appropriate definition for software testability, while later ones focused on making software more testable and finding ways to measure software testability reliably. It is on this last aspect that we focused for this research work. Research on measuring software testability has the main objective of evaluating the testability of software components with the final goal of improving their testability, and better estimate the effort need in the testing phase. The current approaches proposed for estimating testability can mostly be categorized in: estimating testability by analyzing the fault-sensitivity of a software and estimating testability by analyzing the structure of the code of a software. Analyzing fault-sensitivity was really popular in the 90s, but the research on it has progressively dwindled in favor of the approach of using static software metrics, as representatives to the design characteristic of a software, to estimate the testability of the software. These approaches have some intrinsic limitations, admittedly highlighted in the studies, such as being costly or focusing on design characteristics that estimate testability only indirectly. In this research work we introduce a new technique for estimating software

I sistemi software per l'automazione di attività safety-critical in domini applicativi (ad esempio avionica, ferrovie, automotive, industria 4.0 e assistenza sanitaria) devono essere altamente affidabili. In questa tesi, ci concentriamo sul software safety-critical scritto in Scade, un linguaggio di programmazione model-based ampiamente adottato nell'industria, da noi utilizzato per lo sviluppo di programmi Scade safety-critical per il dominio ferroviario. La generazione automatica di test (stato dell'arte) basata sull'esecuzione simbolica e sul bounded model checking può essere utile per testare sistematicamente il software safety-critical al fine di facilitare gli ingegneri nel rispettare i severi requisiti di test imposti dagli standard di certificazione, controllando al contempo il costo del processo di testing. Allo stesso tempo, lo sviluppo di software safety-critical è spesso vincolato da linguaggi di programmazione o convenzioni di codifica che vietano caratteristiche del codice che si ritiene riducano la sicurezza dei programmi, ad esempio, non consentono l'allocazione dinamica della memoria e array di lunghezza variabile, limitano il modo in cui vengono utilizzati i cicli, proibiscono la ricorsione e limitano la complessità delle condizioni di controllo. Abbiamo sfruttato generatori di test allo stato dell’arte basati sull’esecuzione simbolica e il bounded model checking al fine di definire una toolchain originale per la generazione di casi test per programmi Scade. Abbiamo valutato l’efficacia della nostra toolchain nel generare i casi di test automaticamente con un benchmark di 37 programmi Scade sviluppati come parte di un sistema di segnalazione di bordo per sistemi ferroviari ad alta velocità sviluppato in collaborazione con un partner industriale., Software systems for automating safety-critical tasks in application domains like, avionics, railways, automotive, industry 4.0, and healthcare must be highly reliable. In this thesis, we focus on safety-critical software written in Scade, a model-based programming language largely adopted in industry, that we used for developing safety-critical Scade programs for the railway domain. Automated test generation (state-of-the-art) based on symbolic execution and bounded model checking can be beneficial for systematically testing safety-critical software to facilitate test engineers in pursuing the strict testing requirements mandated by the certification standards while controlling the cost of the testing process. At the same time, the development of safety-critical software is often constrained by programming languages or coding conventions that ban linguistic features believed to downgrade the safety of programs, e.g., they do not allow dynamic memory allocation and variable-length arrays, limit the way in which loops are used, forbid recursion, and limit the complexity of control conditions. We leverage state-of-the-art test generators based on symbolic execution and bounded model checking in order to define an original toolchain for generating test cases for Scade programs. We evaluate the effectiveness of our toolchain for automatic test generation with a benchmark of 37 Scade programs developed as part of an onboard signalling unit for high-speed railway systems developed in collaboration with an industrial partner.