Development and validation of indicators for the evaluation of the National School Feeding Program

Introdução - O Programa Nacional de Alimentação Escolar é a política pública mais abrangente e duradoura entre os programas na área de alimentação escolar do mundo, sendo estratégia de alcance de Segurança Alimentar e Nutricional. A operacionalização desta política constitui um processo complexo, para além do fornecimento de alimentação ao escolar ressaltando a importância da manutenção do programa também durante o período de calamidade pública. Um dos elementos para melhoria da excelência de programas é medir a qualidade do serviço prestado, e os indicadores podem ser usados nesta avaliação. Objetivo - Este trabalho tem como objetivo desenvolver uma ferramenta para avaliar a gestão do Programa Nacional de Alimentação Escolar com base em indicadores de desempenho. Métodos - Trata-se de um estudo psicométrico de construção e validação de indicadores de desempenho. Uma busca abrangente da literatura foi conduzida nas bases de dados eletrônicas de referência para identificar estudos relevantes sobre desenvolvimento de indicadores para avaliação do Programa Nacional de Alimentação Escolar, publicados entre janeiro de 2009 e janeiro de 2019. Os instrumentos apresentados pelos estudos foram avaliados em relação à qualidade dos indicadores. A seguir, foi desenvolvido um instrumento de indicadores desempenho. Foram estabelecidos 12 indicadores, posteriormente, avaliados em painel de especialistas em relação a sete atributos. Para obter consenso foi utilizada a técnica Delphi e a validade de conteúdo foi analisada com a Razão de Validade de Conteúdo. Para a validade de constructo e confiabilidade, nutricionistas que trabalham na execução do PNAE avaliaram a relevância dos indicadores respondendo um questionário online. As informações foram organizadas e compiladas em um banco de dados do programa Microsoft Excel®. Foi utilizado o programa R® para determinação da análise fatorial e consistência interna do instrumento. Resultados A busca bibliográfica identificou 1355 registros, dos quais 10 estudos completaram os critérios de inclusão. A maioria dos estudos incluídos utilizou uma revisão de literatura com técnicas de consenso para o desenvolvimento do instrumento e formato de matriz para avaliar a gestão do Programa. Nenhum destes estudos apresentou instrumentos com evidências de validade. Dessa forma, se desenvolveu e validou um instrumento para avaliação do desempenho do PNAE. A taxa de resposta dos especialistas na primeira rodada da técnica Delphi foi de 43,3% (13/30) e de 69,2% (9/13) na segunda rodada. Um novo indicador foi desenvolvido após a avaliação do painel de especialistas. Um total de 281 nutricionistas participaram do estudo da relevância dos indicadores. A validade de conteúdo e constructo foi alcançada para os 13 indicadores. Conclusão A ferramenta desenvolvida com 13 indicadores se apresentou relevante, com evidência de validade alcançada e com potencial para promover a avaliação do desempenho da gestão do PNAE. Espera-se que corrobore para a implementação de um sistema nacional de monitoramento e avalição do PNAE para o apoio da gestão na proposição de ações corretivas e qualificação das ações, mantendo a qualidade do serviço prestado também durante momentos de calamidade pública. Introduction The National School Feeding Program is the most comprehensive and lasting public policy program in the area of school meals in the world, and a strategy for achieving Food and Nutritional Security. The implementation of this policy is a complex process. In addition to the supply of food to the school, it is important to maintain the program during periods of public calamity. One of the elements to improve the quality of the programs is to measure the quality of the service provided, and the indicators can be used in this evaluation. Objective: This study aims to develop a tool to assess the management of the National School Feeding Program based on performance indicators. Methods A psychometric study was carried out for the development and validation of performance indicators. A comprehensive literature search was conducted using electronic reference databases to identify relevant studies that develop indicators to evaluate the National School Feeding Program published between January 2009 and January 2019. The quality indicators of the instruments presented by the studies were evaluated. Afterward, a validity instrument of performance indicators was developed. Twelve indicators were subsequently established, evaluated by an expert panel in relation to seven attributes. For consensus of the expert panel, the Delphi technique was used, and the content validity of the indicators was analyzed with the Content Validity Ratio. In order to construct validity and reliability, nutritionists working on the execution of the PNAE assessed the relevance of the indicators by answering an online questionnaire. Information about the instrument was organized and copied into a Microsoft Excel® program database. The R® software was used to determine the factor analysis and internal consistency of the instrument. Results: The search identified 1355 studies, of which 10 met the inclusion criteria. The majority of the studies included in this review used a literature review with consensus techniques in the development of the instrument and a framework format to evaluate the management of the PNAE. None of the studies presented evidence of instrument validity. A PNAE performance assessment instrument was developed and validated. Thirteen (43.3%, 13/30) experts participated in the Delphi round 1, and nine (69.2%, 9/13) experts completed the Delphi round 2. A new indicator was developed after expert suggestions. In addition, 281 nutritionists participated in the study by assessing the relevance of the indicators. Overall, content and construct validity were achieved for 13 indicators. Conclusions: The tool developed with 13 indicators proved to be relevant, with evidence of validity achieved and with the potential to promote the evaluation of the performance management of the PNAE. It is expected to support the implementation of a national monitoring and evaluation system of the PNAE to support management in proposing corrective actions and qualification of actions, maintaining the quality of the service also provided during times of public calamity.