Joint-e: a framework to evaluate performance and scalability of ontology persistence apis

The Semantic Web (WS) is be coming an important research topic in Computer Science. One of reasons is the possibility of representing information in semantic way using ontologies, assisting in the building of applications which are able to use data, be coming more scalable and intelligent. As a result, many new applications have been developed using the Semantic Web technologies such as RDF, SPARQL and ontologies themselves. Although software development using these technologies is complicated and costly, the community of WS has been producing tools and APIs (application programming interface) to support programmers in the development of semantic applications. Among the most important APIs developed by the community are those that provide mechanisms for handling ontologies. Currently, there are two main approaches used by manipulation APIs: i) RDF triples and objet-oriented programming (OOP). On the one hand, using the RDF triples, the developers have to manipulate the ontologies using only triples, making the development process more complicated. On the other hand, the OOP APIs promote ontologies manipulation using object, which facilitates the development. Although several APIs are been developed in order to manipulate ontologies at object level, most of them are not being evaluated, especially when related to the quality of attributes, such as performance and scalability. Moreover, the high quantity and variability of APIs require a more generic approach in order to deal with these issues, be cause building an evaluation system for each API is a costly task and does not allow the reuse of the solution, neither of its modules. Therefore, this work presents an architecture-entered framework, named JOINT-Evaluator (JOINT-E), where the developers will be able to evaluate the APIs based on a set of pre-defined performance and scalability metrics. It is important to note that the framework also enables the analysis and comparison of the data with statistical support, in creasing the credibility and reliability of the results. To validate the work three scenarios were created on experiment. The main APIs (Alibaba and Jastor) used by developers were tested and evaluated. Furthermore, a qualitative analysis is presented, showing the statistical results and highlighting the advantages and disadvantages of each API. The results have showed that Jastor surpass Alibaba in many issues. Finally, a survey was applied to developers in order to validate the framework. This suvery have presented that this work attend a developers demand. Coordenação de Aperfeiçoamento de Pessoal de Ní­vel Superior A Web Semântica (WS) vem se tornando um importante tópico de pesquisa na Ciência da Computação. Uma das razões é a possibilidade de representar a informação de maneira semântica por meio de ontologias. Como consequência, inúmeras aplicações têm sido desenvolvidas utilizando as tecnologias da Web semântica, tais como, RDF, SPARQL e as próprias ontologias. Embora o desenvolvimento de software utilizando estas tecnologias seja complicado e custoso, a comunidade da WS vem produzindo ferramentas e APIs (application programming interface) para apoiar programadores no desenvolvimento de aplicações semânticas. Nesse cenário, existem atualmente duas principais abordagens utilizadas por essas APIs para manipulação de ontologias: triplas RDF e Programação Orientada a Objetos (POO). Por um lado, o uso de APIs para manipular triplas RDF permite que o desenvolvedor crie aplicações mapeando as propriedades das classes presentes nas triplas RDF em código utilizando uma linguagem de programação (e.g. Java). Por outro lado, existem as APIs para manipular ontologias utilizando o paradigma de orientação a objetivo. Isso permite que desenvolvedores continuem utilizando um paradigma já conhecido e largamente utilizado. Embora várias APIs tenham sido desenvolvidas para manipular ontologias no ní­vel de objeto, a maioria não foi adequadamente avaliada, principalmente no que se refere aos atributos de qualidade de desempenho e escalabilidade. Além disso, a alta quantidade e a variabilidade das APIs faz com que seja necessário construir uma abordagem genérica que lide com essas questões, uma vez que construir um sistema de avaliação para cada API isoladamente é inviável. Dessa forma, este trabalho apresenta um framework centrado na arquitetura, chamado JOINT-E (Java Ontology Integration Toolkit-Evaluator), que permite a desenvolvedores avaliar as APIs para manipulação de ontologias. Para realizar esta avaliação foi objetivo deste trabalho definir um conjunto de métricas de desempenho e escalabilidade. Frisa-se que o framework e as métricas definidas possibilitam a análise e comparação das APIs com apoio estatí­stico, aumentando a credibilidade e confiabilidade dos resultados. Para validar os resultados obtidos foi proposto um experimento com três cenários usando as principais APIs (Alibaba e Jastor) utilizadas pela comunidade de desenvolvimento de aplicativos semântico. De acordo com este experimento a Jastor apresentou melhor performance em relação ao Alibaba levando em consideração as métricas propostas. Por fim, realizou-se também uma pesquisa de opinião com desenvolvedores para verificar se o framework JOINT-E oferece informações importantes para tomada de decisão referente a escolha de uma API. Os resultados desta pesquisa constaram que o framework oferece meios mais precisos para avaliação das APIs e atende a demanda dos desenvolvedores.