Search

The relevance of Requirements Engineering (RE) research to practitioners is a prerequisite for problem-driven research in the area and key for a long-term dissemination of research results to everyday practice. To better understand how industry practitioners perceive the practical relevance of RE research, we have initiated the RE-Pract project, an international collaboration conducting an empirical study. This project opts for a replication of previous work done in two different domains and relies on survey research. To this end, we have designed a survey to be sent to several hundred industry practitioners at various companies around the world and ask them to rate their perceived practical relevance of the research described in a sample of 418 RE papers published between 2010 and 2015 at the RE, ICSE, FSE, ESEC/FSE, ESEM and REFSQ conferences. In this paper, we summarise our research protocol and present the current status of our study and the planned future steps., Accepted for the 25th International Requirements Engineering Conference, 2017

CONTEXT: Simulation-based studies have been used in different research areas in order to conduct computerized experiments with distinct purposes. However, it seems that Software Engineering simulation studies have been performed in a non-systematic way, using ad-hoc experimental design and analysis procedures, i.e., without defining a research protocol and missing information when reporting results. OBJECTIVE: To characterize simulation-based studies and identify the common simulation strategies in Software Engineering. METHOD: To undertake a quasi-Systematic Review. Three online digital libraries (Scopus, Ei Compendex, and Web of Science) are used as sources of information. Information extraction from the primary studies should be captured using a predefined form. Plotted charts and tables should be used together with quantitative/qualitative approaches when possible to support data analysis. RESULTS: From 946 papers, 108 have been included, from which it is possible to identify 19 simulation approaches, 17 domains, 28 simulation models characteristics, 22 output analysis instruments, and 9 procedures for the verification and validation of simulation models in the Software Engineering context. Most dominant approach is System Dynamics in the Software Project Management domain. Replication is not a common behaviour. CONCLUSION: The lack of information regarding most of the simulation-based studies and their models restricts replication, making the results usually specifics and generalization hard. Apart from that, it compromises validity confidence. More research and discussions should be made by the community to increase the reliability and use of simulation-based studies in Software Engineering. CONTEXTO: Estudos Baseados em Simulação vêm sendo utilizados em diferentes áreas de pesquisa para realização de experimentos computadorizados com diferentes propósitos. Entretanto, os estudos baseados em simulação executados em Engenharia de Software vêm, aparentemente, sendo realizados de forma não sistemática, utilizando projetos experimentais e procedimentos ad-hoc de análise, isto é, sem a definição de um protocolo de pesquisa e com relatos de resultados incompletos. OBJETIVO: Caracterizar estudos baseados em simulação e identificar estratégias para simulação comumente utilizadas em Engenharia de Software. MÉTODO: Executar uma quasi-revisão Sistemática. Três bibliotecas digitais (Scopus, Ei Compendex, e Web of Science) são utilizadas como fonte de informação. A extração da informação a partir dos estudos primários utiliza um formulário previamente definido. Gráficos estatísticos e tabelas devem ser utilizados em conjunto com abordagens quantitativas/qualitativas quando possível para apoiar a análise de dados. RESULTADOS: De 946 artigos, 108 foram incluídos, dos quais é possível identificar 19 abordagens para simulação, 17 domínios, 28 características de modelos de simulação, 22 instrumentos para análise de resultados, e 9 procedimentos para verificação e validação de modelos de simulação no contexto da Engenharia de Software. A abordagem mais utilizada é a Dinâmica de Sistemas no domínio de Gerência de Projetos de Software. A reaplicação de estudos é dificilmente encontrada. CONCLUSÃO: A falta de informação no que diz respeito à maioria dos estudos baseados em simulação e seus modelos impõe restrições à reaplicação de estudos, tornando os resultados normalmente específicos e de difícil generalização. Além disso, isto compromete a confiança na validade desses estudos. É necessário que sejam realizadas mais pesquisas e discussões pela comunidade a fim de aumentar a confiabilidade e utilização de estudos baseados em simulação em Engenharia de Software.