Abstract(resumo):

A teoria dos Caminhos de Impacto do Programa (CIPs) representa a arquitetura e mecanismos causais pelos quais um programa alcança os resultados pretendidos. Buscou-se identificar as principais aplicações dos CIPs no campo da nutrição em saúde pública. A revisão de escopo selecionou 24 estudos em março de 2024. Foram identificados quatro objetivos da aplicação dos CIPs: Conhecer os processos e identificar mediadores. Identificar pontos críticos de controle da qualidade. Guiar a coleta de dados e definir indicadores de avaliação dos programas. Analisar os processos, adaptações e a fidelidade da implementação. As análises utilizam cinco etapas metodológicas: I) elaborar o diagrama inicial dos CIPs; II) confirmar/revisar o diagrama dos CIPs; III) identificar indicadores de avaliação; IV) comparar o processo de implementação com o diagrama dos CIPs; e V) avaliar desfechos ou impacto tendo como base análises dos CIPs. Em conclusão, a análise dos CIPs tem amplas possibilidades de aplicações e a metodologia de análise interativa apoia os gestores dos programas no processo de implementação.

Keywords(palavra-chave):

Nutrição em Saúde Pública, Ciência de Implementação, Caminhos de Impacto do Programa

Content(conteúdo):

INTRODUÇÃO

A pesquisa de disseminação e implementação utiliza teorias e frameworks para orientar a análise e avaliação de programas e políticas públicas 1,2, contribuindo para aprimorar o ciclo dessas políticas, desde a concepção até a adoção e avaliação 3. São descritas na literatura mais de 60 teorias, modelos e frameworks para orientar os estudos, instrumentos que diferem em suas suposições, objetivos e outras características. Embora não exista unanimidade sobre como selecionar uma abordagem, ou como combina-las, Per Nilsen propôs três objetivos abrangentes para essas abordagens: (1) descrever e/ou orientar o processo de traduzir a pesquisa em prática (ex. modelos processuais), (2) compreender e/ou explicar o que influencia os resultados da implementação (ex., framework de determinantes, teorias clássicas, ou de implementação), e (3) avaliar a implementação (ex. frameworks de avaliação) 1. Dentre as teorias processuais, encontra-se a teoria do "Program Impact Pathway” (PIP), foco deste estudo. O objetivo deste estudo foi identificar os objetivos da aplicação da teoria PIP, em tradução livre para o português: “Caminhos de Impacto do Programa” (CIPs) 4.
A teoria dos CIPs foi inicialmente aplicada em 2011 na análise de programas de promoção da nutrição e desenvolvimento de crianças no Peru. Foram desenvolvidos diagramas dos CIPs com a intenção de ir além dos modelos estáticos de entrada e saída, representando a arquitetura do programa, com foco nos mecanismos causais 4,5. Assim, o diagrama descreve o caminho de uma intervenção (de um programa ou política), desde as atividades iniciais, denominadas entradas (inputs), percorrendo a entrega programada, a utilização em comunidades, domicílios ou no nível individual, até os impactos desejados 4.
Em 2014, especialistas no tema sintetizaram as etapas necessárias para aplicar os CIPs em programas públicos de saúde e nutrição 5. As orientações focavam na realização de entrevistas e oficinas interativas para desenvolvimento dos diagramas. Essas interações incluíam pesquisadores especialistas em pesquisa de implementação e as principais partes interessadas dos programas, como gestores políticos, gerentes dos programas, trabalhadores da linha de frente e pessoas beneficiárias dos programas. Tal processo tinha objetivo de identificar influências ao longo dos caminhos e contextos de implementação, bem como definir indicadores de avaliação dos programas 5.
Alguns estudos publicados entre 2013 e 2019 apontam que o desenvolvimento da teoria dos CIPs foi um avanço para analisar programas de nutrição e saúde materno-infantil, ao ajudar a entender o que seria necessário para melhorar práticas de aconselhamento comunitário e reduzir a mortalidade infantil em países de baixa e média renda 5-10. Apesar dos resultados positivos, os diagramas elaborados nos estudos e métodos de análise apresentam notáveis diferenças e adaptações. Isso pode ser porque até o ano de 2022 não havia sido publicada uma atualização das recomendações que descrevesse uma padronização na metodologia. Além disso, não foram identificadas até o momento publicações na língua portuguesa que orientem o uso dessa teoria, o que pode limitar sua aplicação em países da América Latina, região que carece significativamente de melhorias no estado de segurança alimentar e nutricional da população 11.
Diante desses fatos, considerou-se relevante sintetizar evidências mais recentes das aplicações da teoria dos CIPs para apoiar futuros estudos de implementação no campo da nutrição em saúde pública, e, consequentemente, a implementação efetiva de intervenções baseadas em evidências 3,5,12. Para identificar e analisar as principais aplicações dos CIPs, os seguintes objetivos específicos foram investigados: (1) identificar os objetivos do uso dos CIPs na área da nutrição em saúde pública, (2) agrupar as principais etapas metodológicas adotadas para a análise dos CIPs, e (3) mapear as utilidades e limitações do uso do CIPs.

MÉTODOS

Foi conduzida uma revisão de escopo seguindo o referencial metodológico do Joanna Briggs Institute - JBI 13. Foi desenvolvido um protocolo de estudo definindo os objetivos, métodos e proposta de apresentação dos resultados. Esse estudo foi parte de uma pesquisa de doutorado, portanto o protocolo não foi publicado em virtude do cronograma do projeto. O checklist Preferred Reporting Items for Systematic Reviews and Meta-Analyses extension for Scoping Reviews (PRISMA-ScR) foi utilizado para organizar e relatar o manuscrito (Anexo A) 14.

Pergunta de pesquisa

O acrônimo PCC (população, conceito e contexto) foi utilizado para orientar a pergunta da pesquisa e critérios de inclusão.
Pergunta de pesquisa: “Como a teoria dos Caminhos de Impacto do Programa foi aplicada em estudos de implementação que analisaram programas de saúde e nutrição?”.
População: beneficiários dos programas e partes interessadas (profissionais da linha de frente, implementadores, gestores das secretarias de saúde, entre outros envolvidos na implementação).
Conceito: estudos que analisaram programas (que incluem intervenções, ações, projetos, estratégias, políticas) para a promoção e proteção da saúde e nutrição, nos seus diferentes determinantes, utilizando a teoria dos CIPs na pesquisa de implementação.
Contexto: estudos conduzidos em qualquer país, com programas analisados em diversos cenários (comunidades, serviços de saúde, serviços da educação, entre outros).

Critérios de elegibilidade

Foram incluídos estudos publicados em qualquer ano, nas línguas português e inglês, por serem as línguas de domínio das autoras. Foram excluídos estudos de revisão, protocolos de estudos e estudos que abordaram temas não relacionados ao uso dos CIPs na nutrição em saúde pública. Foram incluídos estudos com abordagens qualitativas da pesquisa de implementação. Estudos primários de diferentes desenhos, como, por exemplo, estudos de caso, transversais e longitudinais, bem como dissertações e relatórios técnicos da literatura cinzenta que descreveram as análises de implementação realizadas foram considerados elegíveis.

Fonte dos dados

Foram realizadas buscas nas seguintes bases de dados MEDLINE/Pubmed, Biblioteca Virtual em Saúde (BVS) e Embase. A busca nas bases de dados foi realizada em janeiro de 2022 e atualizada em março de 2024, usando as palavras-chave “program impact pathway” ou “program impact pathways” e “implementation” e “health”. Os termos utilizados nos três bancos de dados e o número de referências recuperadas são apresentados no material suplementar 1. Dentre as publicações selecionadas para leitura completa, foi feita busca manual na lista de referências, visando identificar estudos adicionais.

Processo de seleção e extração das evidências

Na etapa de identificação das referências recuperadas, uma autora (D.S.M.) utilizou a ferramenta web gratuita Rayyan para excluir referências duplicadas. Em seguida, a autora fez uma triagem para selecionar por títulos e resumos. Em uma segunda etapa de triagem, as referências selecionadas foram avaliadas para elegibilidade por meio da leitura completa dos textos. Dentre as publicações selecionadas, foi feita busca manual na lista de referências bibliográficas, visando identificar publicações adicionais. Para as referências adicionais localizadas, uma autora (D.S.M.) fez leitura dos resumos e do texto completo para avaliar a elegibilidade. Os resultados da seleção foram discutidos com uma segunda pesquisadora (S.I.V.) experiente na condução de estudos de revisão sistemática. Não houve a necessidade de contactar autores de estudos primários para mais informações.
Uma autora (D.S.M.) seguiu etapas planejadas no protocolo para extrair informações dos estudos incluídos (Figura 1). Foi utilizada uma planilha que pré-determinava os itens relevantes para a extração dos dados. A planilha foi aperfeiçoada durante a extração dos primeiros três artigos. Os dados extraídos foram organizados em: características gerais dos estudos selecionados (Periódico, País do estudo, Renda do país, Conflito de interesses, Financiamento), características dos programas/ intervenções (Nome da intervenção/ programa, Nível da implementação, Área da implementação, População beneficiária), descrição dos objetivos e métodos dos estudos, e descrição das discussões e conclusões sobre os CIPs. Adicionalmente, foram salvas as figuras dos diagramas CIPs dos estudos para identificar similaridades entre elas e propor um modelo para sintetizar os principais elementos estruturais de um diagrama CIPs.
[inserir Figura 1 aqui]
Síntese dos dados

Os dados descritivos extraídos sobre os objetivos e métodos dos estudos, e discussões e conclusões sobre os CIPs foram organizados por uma autora (D.S.M.) para agrupar similaridades por meio de uma análise qualitativa 15. Primeiro, foi feita abertura de códigos para definir os objetivos da aplicação da teoria dos CIPs nos estudos e identificar as etapas para a análise de implementação utilizando a teoria dos CIPs. Após a abertura dos códigos foi feita uma nova leitura dos dados por três autoras (D.S.M., S.I.V., e G.B.) autoras para confirmar as categorias definidas. Segundo, foi feita uma síntese narrativa dos dados extraídos da discussão e conclusão dos estudos para apontar as utilidades e limitações da teoria dos CIPs para a análise de implementação. Essa síntese foi feita tomando o cuidado de não fechar conclusões prematuras. Para isso, três autoras (D.S.M., S.I.V., e G.B.), conferiram os dados extraídos e revisaram as generalizações estabelecidas. Ao final, a síntese foi organizada conforme os objetivos de aplicação dos CIPs. De acordo com o PRISMA-ScR, a avaliação da qualidade metodológica dos estudos primários reunidos por instrumento padronizado não é uma exigência nas revisões de escopo 14. Portanto, por se tratar de um estudo cujo foco foi mapear as aplicações dos CIPs, não foi realizada avaliação da qualidade metodológica dos estudos incluídos. Por fim, foram elaborados quadros para apresentar os resultados descritivos e figuras para sintetizar as categorias identificadas nas análises.

RESULTADOS

Seleção dos estudos

Foram recuperadas 720 referências nas bases de dados, destas, foram excluídas 24 duplicadas, e as restantes foram triadas por título e resumo. Após triagem, foram excluídas 664 referências que não atendiam aos critérios de inclusão. Foram avaliadas para elegibilidade 32 publicações, das quais 15 foram selecionadas. Foi conferida a lista de referência das 32 publicações, sendo recuperadas 34 novas referências. Após triagem por resumos e leitura rápida dos textos, 13 foram avaliadas para elegibilidade, das quais 9 foram selecionadas. A lista das 21 publicações avaliadas para elegibilidade, mas excluídas, e as justificativas de exclusão, são descritas no material suplementar 2. Por fim, foram incluídas na síntese dos resultados as informações extraídas de 24 publicações (21 artigos, dois relatórios técnicos e uma dissertação de mestrado) (Figura 2).

[inserir Figura 2 aqui]

Características dos estudos

O Quadro 1 mostra algumas características e objetivos dos estudos selecionados 4-8,10,16-33. Em suma, os estudos foram publicados entre 2011 e 2022 em periódicos relacionados à área da saúde, com maior frequência no “Food and Nutrition Bulletin” (n=6; 25,0%). A maior parte dos estudos foi realizada em países de média-baixa renda (n=8; 33,3%) e de baixa renda (n=6; 25,0%), segundo dados do World Bank para o ano de 2022 34. A ausência de conflitos de interesses foi citada pela maioria das publicações (n=22; 91,6%), bem como o recebimento de financiamento para execução da pesquisa (20; n= 83,3%). Entre os programas ou intervenções analisados, a maioria era implementada em abrangência distrital (n=8; 33,3%) ou nacional (n=7; 29,2%). As comunidades urbanas, rurais ou semi-urbanas, foram, na maioria dos estudos, o local focal da implementação da intervenção ou programa (n=13; 54,2%). Em geral, a população beneficiária dos programas eram crianças menores de cinco anos e seus familiares (n=20; 83,3%), gestantes (n=11; 45,8%) ou crianças e adolescentes frequentando escolas (n=3, 12,5%).

[inserir Quadro 1 aqui]

Síntese dos resultados

1. Objetivos da aplicação da teoria dos CIPs: foram identificadas quatro categorias de objetivos dos estudos: 1) Conhecer os processos e identificar mediadores (n=11; 45,8%). 2) Identificar pontos críticos de controle da qualidade (n=6; 25,0%). 3) Guiar a coleta de dados e definir os indicadores de avaliação dos programas (n=16; 66,6%). 4) Analisar os processos, adaptações e a fidelidade da implementação (n=6; 25,0%). Diversos estudos aplicaram mais de um dos objetivos.

2. Etapas para a análise de implementação: foram sintetizadas cinco principais etapas metodológicas para conduzir a análise de implementação dos programas ou intervenções utilizando os CIPs (Figura 3): I) elaborar o diagrama inicial dos CIPs; II) confirmar/revisar o diagrama dos CIPs; III) identificar indicadores de avaliação e IV) comparar o processo de implementação com o diagrama dos CIPs; V) avaliar desfechos ou impacto tendo como base análises dos CIPs. As cinco etapas aconteceram em um processo interativo com a participação de diversos atores-chave da implementação. Para isso, os autores utilizaram múltiplos instrumentos de produção de dados, descritos a seguir:
[inserir Figura 3 aqui]

2.1 Elaborar o diagrama inicial dos CIPs. A maioria dos estudos fez análise documental de relatórios, diretrizes ou manuais dos programas para descrever os caminhos hipotéticos de impacto do programa 4,6,8,10,18,19,25-32. Muitos pesquisadores utilizaram entrevistas e/ou conversas em oficinas, grupos e reuniões com as partes interessadas na implementação para compreender como os programas funcionavam 4-6,8,10,16,17,19-21,25-29. Em dois estudos foi feita a observação direta das ações nas comunidades 4,8. Em cinco estudos foi construída uma narrativa dos Modelos Lógicos dos programas, a qual orientou posteriormente o desenvolvimento da teoria dos CIPs 5,20,21,25,33. Os principais participantes foram atores políticos (representantes do governo e de secretarias de saúde), equipe de implementação (gestores nacionais, regionais, locais e trabalhadores da linha de frente), autores do estudo e especialistas em ciência da implementação 4-6,8,10,16,17,19-21,25-29. As informações coletadas pelo contato com atores-chave permitiu desenvolver o diagrama dos CIPs com mais detalhes sobre a implementação em diferentes níveis, como, por exemplo, nacional, regional e local.
2.2. Confirmar/revisar o diagrama dos CIPs. Essa foi uma etapa realizada a partir do diálogo entre os pesquisadores e atores-chave da implementação, além de contar com o apoio de especialistas em alguns casos. Por meio de entrevistas, oficinas e reuniões, os autores identificaram as impressões dos participantes e aprimoraram o diagrama para representar com maior fidedignidade o cenário real de implementação dos programas 5,8,10,16,21,24,25,27,29-33. A participação de especialistas da área de saúde, nutrição e da ciência da implementação em uma oficina para refinamento do diagrama foi citada em sete estudos 5,18,20,21,24,25,29. Observação de campo 20 e análise documental 10,18,25 também foram utilizadas. Em um estudo o diagrama dos CIPs foi revisado após realizarem avaliação do impacto do programa para representar uma versão do programa com comprovada efetividade para a implementação em larga escala 7. A revisão iterativa dos CIPs permitiu identificar pontos críticos de controle de qualidade dos programas, gargalos na implementação e aspectos mediadores ou facilitadores.
Como resultado das etapas I e II os autores produziram figuras do diagrama dos CIPs dos programas. A Figura 4 sintetiza um modelo dos elementos estruturais dos diagramas identificados. Os diagramas da maioria dos estudos publicados entre 2011 e 2019 (n=17; 70,8%) descreviam atividades detalhadas dos programas, conectadas por setas. Caixas em diferentes formas de destaque apresentavam os mediadores da implementação, as atividades e o escopo de avaliação do estudo em questão 8,16,29. Os diagramas de seis publicações mais recentes (2019 a 2022) incluem colunas que organizam a estrutura em: Entradas (Inputs), Processo (Process), Saídas (Outputs), Desfechos (Outcomes) e Impactos (Impacts). Esses elementos deixam mais clara a relação das atividades do programa com os estágios de implementação 10,27,29,31-33. Outros detalhes foram apresentados para melhor descrever os caminhos ou obstáculos para o impacto do programa, como, por exemplo, o nível de governança e fases da implementação 27,31,33. Os principais mediadores da implementação descritos nos diagramas foram “barreiras”, “facilitadores”, “fatores contextuais”, “premissas” e “pontos críticos de controle” 4,9,18,20,21,31,33. Um estudo incluiu no diagrama indicadores de avaliação da fidelidade da implementação do programa 23. Detalhes das definições desses elementos são descritos na Figura 4.
[inserir Figura 4 aqui]

2.3. Identificar indicadores de avaliação do programa. O diagrama dos CIPs foi a base para identificar indicadores de avaliação em quinze estudos 5,6,8,10,16,17,20,21,23,24,27,28,31. Uma das formas mais usadas para se chegar à definição de indicadores foi a discussão entre os co-autores dos estudos com profissionais envolvidos na implementação dos programas (gestores nacionais, regionais, locais e trabalhadores da linha de frente). Quatro estudos utilizaram a abordagem do acrônimo SMART (Specific, Measurable, Achievable, Achievable, Relevant, Timely) e apoio de especialistas em uma oficina para identificar de três a cinco indicadores que estavam sendo usados no programa e avaliar seu impacto. Esta decisão foi informada pela análise dos CIPs e ao final propôs um projeto de avaliação dos programas 5,20,21,25. Essa abordagem foi útil para selecionar indicadores de impacto, como, por exemplo, indicadores de hábitos de vida saudáveis (percentual de participantes da intervenção que aumentou o consumo de vegetais e frutas) e indicadores de resultados qualitativos (percentual de participantes que engajaram e se sentiram satisfeitos com a intervenção de educação em nutrição) 5,19.
2.4. Comparar o processo de implementação com o diagrama dos CIPs. Os principais instrumentos de produção de dados utilizados nessa etapa foram entrevistas com trabalhadores da linha de frente e beneficiários e observações em campo, reportados em sete estudos 6,8,10,16,19,22,23,26,27. Também foram realizadas reuniões e/ou entrevistas com as partes interessadas no nível da gestão em três estudos 7,8,31. Um estudo realizou um grupo focal para obter informações mais profundas sobre os pontos de vista das partes interessadas 16. Em síntese, os pesquisadores buscaram identificar: 1) as impressões de gestores (nacionais, regionais e locais) e trabalhadores da linha de frente (profissionais da saúde, consultores comunitários, voluntários) sobre a entrega do programa, bem como as barreiras e facilitadores para sua execução; 2) as impressões dos beneficiários (mães, famílias, membros da comunidade) sobre a utilidade do programa; 3) os fatores que influenciam a utilização das práticas promovidas pelo programa; e 4) a fidelidade da entrega do programa em relação ao postulado nos documentos orientadores.
2.5. Avaliar desfechos e impacto tendo como base a análise dos CIPs. Em diversos estudos a análise dos CIPs foi incorporada a estudos de avaliação/eficácia mais amplos, os quais incluíram coletar informações de monitoramento e conduzir avaliação do impacto dos programas. Os principais instrumentos para produção de dados foram entrevistas, pesquisas domiciliares com beneficiários e observação de campo 4,6-8,17,19,22,24,25,27,28,31. Alguns estudos conduziram a análise de relatórios dos trabalhadores da linha de frente 7,24 e relatório de dados dos sistemas de vigilância 17. Cinco estudos realizaram ensaio de eficácia randomizado 19,24,27,28,31. Em geral, os estudos utilizaram métodos mistos de pesquisa para avançar na avaliação dos programas.

3. Utilidades e limitações da teoria dos CIPs para a análise de implementação: a seguir é apresentada uma síntese das discussões e conclusões dos autores dos estudos sobre as utilidades e limitações dos CIPs, organizadas nos quatro objetivos de aplicação dos CIPs:
3.1 Conhecer os processos e identificar mediadores. O diagrama foi útil como uma estrutura teórica para explicitar os caminhos para se chegar aos resultados 16,29,25. A participação dos implementadores do programa e outras partes interessadas importantes assegurou que os componentes-chave do programa fossem identificados, bem como os processos e as premissas que precisam estar em vigor 16,30-32. A análise serviu para avaliar as ligações críticas entre a implementação e a utilização do programa 6,8,33. Para exemplificar, em um estudo conduzido no Peru, o diagrama dos CIPs trouxe uma visão mais profunda dos mecanismos pelos quais três programas não-governamentais promoviam a nutrição, segurança alimentar e desenvolvimento infantil. Entretanto, foi esclarecido pelos autores que a análise dos CIPs é um trabalho extenso que requer um processo de avaliação específico 4. Outros autores afirmaram que, os caminhos da implementação dos programas podem diferir dependendo dos fatores contextuais e fenômenos mediadores que acontecem durante a implementação em larga escala. Portanto, concluem que componentes do diagrama dos CIPs podem precisar de adaptações dependendo do contexto e das premissas da implementação em diferentes países, regiões, municípios ou comunidades onde o programa é implementado 10,32.
3.2 Identificar pontos críticos de controle da qualidade. Os pesquisadores concluíram que as análises dos CIPs foram fundamentais para identificar sistematicamente os pontos fortes e fracos do programa de cada país, o que ajudou a apontar os pontos críticos que precisam ser monitorados 5,21,30,32. Para exemplificar, em um estudo conduzido no Brasil, a análise dos CIPs identificou seis pontos críticos de monitoramento de uma estratégia nacional para promoção da amamentação e alimentação complementar de crianças menores de dois anos 32. Similarmente, Buccini et al., (2019) 10 identificaram por meio da análise dos CIPs oito pontos críticos que podem atenuar ou promover o impacto de programas promotores da amamentação no México e em Gana. Segundo os autores, as percepções dos participantes entrevistados foram fundamentais para trazer à evidência e confirmar os pontos críticos para a implementação, replicação e ampliação dos programas 10,18,30,32. Entretanto, os autores discutem que a análise dos CIPs é limitada em sua generalização ao analisar um programa em larga escala. Por isso, recomendam a continuidade das pesquisas com implementadores de diferentes regiões e níveis de implementação para entender até que ponto os componentes e pontos críticos estão empiricamente associados ao sucesso do programa ou intervenção 10,30,32.
3.3 Guiar a coleta de dados e definir os indicadores de avaliação do programa. Diversos estudos concluíram que o uso da teoria dos CIPs foi bem-sucedido para direcionar as questões de pesquisa e métodos, bem como apoiou a análise e interpretação de dados 6,18,20,23,31. Alguns estudos, por exemplo, usaram os CIPs para desenvolver o roteiro de entrevistas com informantes-chave do programa 10,32,33 e para identificar indicadores quantitativos e qualitativos 7,16,20,21,27-29,31. Para exemplificar, um estudo analisou o programa Saúde em Ação em escolas brasileiras e fez uma proposta para otimizar os indicadores de avaliação 21. O programa tem quatro objetivos principais para promover educação sobre estilos de vida saudáveis e aumentar o acesso dos estudantes a alimentos saudáveis. Os autores concluíram que, embora o programa estivesse anteriormente medindo vários indicadores importantes de seu impacto, a análise dos CIPs forneceu uma visão de como melhorar a medição desses indicadores e quais indicadores de impacto poderiam ser adicionados. Assim, foi introduzido ao modelo do programa indicadores de mudanças na atividade física diária dos alunos, considerado um componente crítico para atingir o objetivo global do programa de melhorar a saúde e o estado nutricional das crianças 21.
3.4 Analisar os processos, adaptações e a fidelidade da implementação. Alguns autores discutiram que, apesar da análise dos CIPs não apontar uma inferência causal, ela ajuda a identificar e testar suposições sobre a fidelidade e utilização do programa 33. Portanto, concluíram que a análise dos CIPs é útil para observar lacunas na adequação do programa em relação ao planejado e sinalizar a necessidade de adaptações ao fator contextual específico, o qual tem influência na aceitação e no uso do programa 26. Para exemplificar, pesquisadores encontraram por meio da análise dos CIPs evidência de forte fidelidade no treinamento e na entrega de uma intervenção comunitária de aconselhamento para alimentação infantil na Etiópia 22. Dois estudos apontaram que o diagrama dos CIPs poderia apoiar os gestores no rastreamento e avaliação contínuos das ações 17,22. Contudo, outros pesquisadores salientaram a necessidade de atualizar o diagrama ao longo do programa para cumprir o objetivo de avaliação contínua, exigindo investimento em recursos humanos para as avaliações 31.

DISCUSSÃO

A revisão de escopo mapeou as aplicações da teoria dos CIPs em análises de processos de implementação de programas em nutrição em saúde pública. Essa é uma abordagem compreensiva que destacou-se por poder ser utilizada com diferentes objetivos, incluindo identificar mediadores, pontos críticos de controle, indicadores, ou adaptações, e avaliar a fidelidade do programa. A análise sistematizou cinco etapas metodológicas que podem guiar a utilização, rigor e replicabilidade da teoria CIPs na avaliação de implementação de programas e políticas. O diagrama modelo e a síntese das utilidades e limitações produzidos nesse estudo podem beneficiar a utilização da teoria CIPs em futuros estudos de implementação em países de língua portuguesa.
A teoria CIP foi identificada como uma metodologia participativa que favorece o engajamento dos implementadores. Diversos estudos destacaram que a natureza interativa e avaliativa dos CIPs auxiliou a identificação de processos e mediadores do processo de implementação, bem como favoreceu o consenso entre as partes interessadas em relação a como diferentes atividades do programa funcionam na prática 4-6,8,10,16,17,19-21,25-29. O processo participativo durante avaliação em saúde, incluindo o campo da nutrição em saúde pública, beneficia a proposição de estratégias de implementação para aprimoramento da qualidade da implementação e entrega de programas, além de colaborar para a efetividade e sustentabilidade 39,40.
Dentre os objetivos de aplicações identificados, vale destacar a utilização dos CIPs para identificar pontos críticos e determinar indicadores de avaliação. Assim, à medida que os gestores compreendem os processos do programa, é possível avançar para a avaliação da efetividade tendo como base análise dos CIPs 5,20. A combinação com outros modelos e frameworks de implementação pode trazer maior especificidade para essa etapa. Por exemplo, estudos recentes mostraram que a análise da teoria do programa combinada ao framework RE-AIM (Reach, Effectiveness, Adoption, Implementation, Maintenance) pode ser adequada para orientar dimensões de desfechos da implementação dos programas 41 e determinar indicadores de monitoramento e avaliação 42. A combinação com a taxonomia ERIC (Expert Recommendations for Implementation Change) pode ser adequada para proposição de estratégias de implementação para melhoria de qualidade dos programas 43. A combinação dos CIPs com a abordagem SMART (Specific, Measurable, Achievable, Achievable, Relevant, Timely) mostrou-se vantajosa para esclarecer os objetivos do programa e definir metas para avaliação e monitoramento 5,18,21,41. Estudos futuros poderiam demonstrar se a análise e avaliação dos programas a partir da teoria dos CIPs pode ser beneficiada ao combinar outras abordagens da pesquisa de implementação 12.
Menor número de estudos demonstraram aplicações dos CIPs para a avaliação da fidelidade dos programas. O diagrama CIP do programa é apontado como um modelo para aumentar o potencial de impacto dos programas 7,22. De fato, a teoria dos CIPs, tem o potencial de ajudar pesquisadores e gestores a identificar as funções centrais (também chamadas de elementos centrais ou componentes centrais) dos programas, ou seja, aquelas que não podem ser alteradas para manter a fidelidade do programa 44. Ao mesmo tempo, os CIPs podem guiar a identificação de adaptações que estão ocorrendo, quais componentes do programa estão sendo adaptados, ou ainda, se são necessárias adaptações devido a fatores contextuais 36,38,44. A documentação de adaptações na implementação, por sua vez, é essencial para o alcance da fidelidade e efetividade de programas 45.
O mapeamento das etapas metodológicas dos CIPs destacou que o diagrama não é um simples fluxograma do programa. Existe uma vantagem no uso dos CIPs para descrever um programa quando comparado aos modelos lógicos tradicionais, que geralmente se limitam ao caminho linear de causas-efeitos do programa e não incluem percepções dos implementadores no desenho. Apesar da abordagem CIPs ser descrita por alguns autores como um trabalho extenso, as cinco etapas metodológicas sintetizadas nessa revisão colaboram para a sua sistematização e disseminação 5,20,21,25,33.
A síntese das utilidades e limitações produzida nessa revisão demonstrou o importante papel dos CIPs em explicitar como os programas são implementados no mundo real, destacando quais atividades que funcionam bem e quais precisam de melhorias 8,10,16-21,24,25,27,29-33. A disseminação de estudos utilizando os CIPs pode ajudar outros pesquisadores e implementadores a escolherem, replicarem e adaptarem as intervenções 37. Apesar de os resultados identificados neste estudo se limitarem às aplicações dos CIPs em programas de nutrição em saúde pública, entende-se que os resultados podem ser úteis para estudos que busquem analisar intervenções baseadas em comunidades em outros setores, como, por exemplo, educação e assistência social 37.
Em relação às características dos estudos, salienta-se a utilização dos CIPs em 19 países e o suporte financeiro recebido. Segundo a literatura, a maioria das abordagens de pesquisa da implementação carecem de validação em países de baixa e média renda, o que limita sua confiabilidade e utilidade 35. Em contraste, a crescente utilização dos CIPs respalda a recomendação de seu uso. O investimento no desenvolvimento e uso de abordagens inovadoras nas pesquisas de implementação promove cooperação entre academia e líderes de programas para replicação de intervenções efetivas 36,45. Portanto, os achados da presente revisão corroboram para expandir a análise de implementação de programas de nutrição em saúde pública em países de baixa e média renda, onde a segurança alimentar e nutricional de famílias com crianças pequenas é uma prioridade para a sobrevivência e desenvolvimento da população 11.
Embora essa revisão de escopo tenha inovado e avançado na sistematização de importantes conceitos no campo da ciência da implementação, os resultados devem ser interpretados considerando algumas limitações metodológicas. Primeiro, foi utilizada uma estratégia de busca específica, em português e em inglês, em três bases de dados, o que pode ter restringido o número de estudos identificados. Por outro lado, a seleção manual nas listas de referências bibliográficas das publicações incluídas facilitou a inclusão de estudos que não foram identificados na busca original das bases de dados. Dessa forma, os objetivos do uso dos CIPs e etapas metodológicas sistematizadas neste estudo estão limitados ao escopo de evidências identificadas pela nossa busca. Segundo, a seleção e extração dos dados dos estudos foi conduzida por apenas uma pesquisadora. Nós reconhecemos que isso pode ter adicionado viés ou limitado a extração de dados; entretanto, para minimizar esse viés, duas autoras experientes, realizaram uma análise crítica dos dados sintetizados, prestaram suporte na organização das categorias e validaram a versão final dos resultados apresentados nos quadros e figuras. Terceiro, a não publicação a priori do protocolo de revisão de escopo como indicado pelas normas para condução desse tipo de estudo. No entanto, a equipe de pesquisa detalhou o processo rigoroso para delineamento da pergunta de pesquisa, busca das evidências e processo de seleção, o que visou garantir que os métodos sejam transparentes e reproduzíveis. Quarto, a pergunta de pesquisa e busca se restringiu ao campo da nutrição em saúde pública. Apesar da limitação de escopo, entende-se que estudos futuros podem contribuir com a identificação da aplicabilidade da análise dos CIPs em outros campos e setores.
Em conclusão, esse estudo mapeou quatro objetivos para utilização do CIP e cinco etapas metodológicas para condução da análise. Os CIPs são utilizados na identificação de mediadores e de pontos críticos, na determinação de metas e indicadores, e na análise de adaptações e fidelidade do programa. Dentre as etapas metodológicas, a criação de um modelo de diagrama deve se dar de forma participativa e é uma etapa crítica para posteriores análises. A análise da teoria dos CIPs tem como limitação ser um trabalho extenso, entretanto, ela ajuda a interação entre os gestores dos programas e é adaptável ao contexto, apoiando a aplicação de estratégias para superar barreiras do processo de implementação e otimizar os resultados. Finalmente, estudos futuros podem apontar outras vantagens das aplicações dos CIPs na análise de programas multifacetados e multiníveis, bem como aprofundar a discussão sobre sua utilização na análise da fidelidade e outras formas de combinação com modelos e frameworks que ampliem seu potencial de análise.

REFERÊNCIAS

1. Nilsen P. Making sense of implementation theories, models and frameworks. Implementation Sci, 2015; 10(53).
2. Peters DH, Tran NT, Adam T. Implementation research in health: a practical guide. Alliance for Health Policy and Systems Research, World Health Organization; 2013.
3. Baptista WF, Rezende MA. A ideia de ciclo na análise de políticas públicas. In Mattos RA, Baptista TWF. Caminhos para análise das políticas de saúde. FAPERJ; 2011. P.138-172.
4. Kim SS, Habicht JP, Menon P, Stoltzfus RJ. How do programs work to improve child nutrition? Program impact pathways of three nongovernmental organization intervention projects in the Peruvian highlands. International Food Policy Research Institute Discussion Paper. Washington, DC: IFPRI; 2011.
5. Pérez?Escamilla R, Segura?Pérez S, Damio G. Applying the Program Impact Pathways (PIP) evaluation framework to school?based healthy lifestyles programs: Workshop evaluation manual. Food and Nutrition Bulletin 2014; 35(S97–S10).
6. Avula R, Menon P, Saha KK, Bhuiyan MI, Chowdhury AS, Siraj S, Haque R, Jalal CS, Afsana K, Frongillo EA. A program impact pathway analysis identifies critical steps in the implementation and utilization of a behavior change communication intervention promoting infant and child feeding practices in Bangladesh. J Nutr 2013 Dec;143(12):2029-37.
7. Perez-Escamilla R, Sascha L, Chris I, Susan A, Christine K, and Florence Oni. 2016. Evaluation of Nigeria’s Community Infant and Young Child Feeding Counselling Package; Report of a Mid-Process Assessment. Arlington, VA, USA: SPRING project, Nigeria Federal Ministry of Health, and UNICEF; 2016.
8. Buccini G, Pérez-Escamilla R, Kavle JA, Picolo M, Barros I, Dillaway CH. Addressing Barriers to Exclusive Breastfeeding in Nampula, Mozambique: Opportunities to Strengthen Counseling and Use of Job Aids. Washington, DC: USAID’s Maternal and Child Survival Program (MCSP); 2019.
9. Kavle JA, Picolo M, Buccini G, Barros I, Dillaway CH, Pérez-Escamillha R. Strengthening counseling on barriers to exclusive breastfeeding through use of job aids in Nampula, Mozambique. PLOS ONE 2019; 4(12): e0224939.
10. Buccini G, Harding KL, Hromi?Fiedler A, Pérez?Escamilla R. How does “Becoming BreastfeedingFriendly” work? A Programme Impact Pathways Analysis. Matern Child Nutr. 2019;15:e12766.
11. FAO, IFAD, PAHO, UNICEF and WFP. Regional Overview of Food Security and Nutrition – Latin America and the Caribbean 2022: towards improving affordability of healthy diets. Santiago; 2023.
12. Hull L, Goulding L, Khadjesari Z, Davis R, Healey A, Bakolis I, Sevdalis N. Designing high-quality implementation research: development, application, feasibility and preliminary evaluation of the implementation science research development (ImpRes) tool and guide. Implement Sci. 2019 Aug 14;14(1):80
13. Peters MDJ, Godfrey CM, McInerney, Khalil H, Parker D, Baldini Soares C. Guidance for conducting systematic scoping reviews. Int J Evid Based Health 2015; 13(3):141-146.
14. Tricco AC, Lillie E, Zarin W, O'Brien KK, Colquhoun H, Levac D, Moher D, Peters MDJ, Horsley T, Weeks L, Hempel S, Akl EA, Chang C, McGowan J, Stewart L, Hartling L, Aldcroft A, Wilson MG, Garritty C, Lewin S, Godfrey CM, Macdonald MT, Langlois EV, Soares-Weiser K, Moriarty J, Clifford T, Tunçalp Ö, Straus SE. PRISMA Extension for Scoping Reviews (PRISMAScR): Checklist and Explanation. Ann Intern Med. 2018;169:467–473.
15. Whittemore R. Combining Evidence in Nursing Research. Methods and Implications. Methods. Nursing Research 2005 Jan/Feb; 54(1):56-62.
16. Olney DK, Vicheka S, Kro M, Chakriya C, Kroeun H, Hoing LS, Talukder A, Quinn V, Iannotti L, Becker E, Roopnaraine T. Using program impact pathways to understand and improve program delivery, utilization, and potential for impact of Helen Keller International's homestead food production program in Cambodia. Food Nutr Bull 2013 Jun; 34(2):169-84.
17. Rawat R, Nguyen PH, Ali D, Saha K, Alayon S, Kim SS, Ruel M, Menon P. Learning how programs achieve their impact: embedding theory-driven process evaluation and other program learning mechanisms in alive & thrive. Food Nutr Bull 2013 Sep; 34(3 Suppl):S212-25.
18. Mukhina M, Novikova I. BeHealthy Charities Aid Foundation Program, Russia: a Program Impact Pathways (PIP) analysis. Food Nutr Bull 2014 Sep; 35(3 Suppl):S139-44.
19. Nguyen PH, Menon P, Keithly SC, Kim SS, Hajeebhoy N, Tran LM, Ruel MT, Rawat R. Program impact pathway analysis of a social franchise model shows potential to improve infant and young child feeding practices in Vietnam. J Nutr 2014 Oct;144(10):1627-36.
20. Roura E, Pareja SL, Milá R, Cinca N. "Cooking and Active Leisure" TAS Program, Spain: a Program Impact Pathways (PIP) analysis. Food Nutr Bull 2014 Sep; 35(3 Suppl):S145-53.
21. Slater E, Lasco ML, Capelli J, Pen G. Health in Action Program, Brazil: a Program Impact Pathways (PIP) analysis. Food Nutr Bull 2014; 35(3Suppl):S108–16
22. Kim SS, Ali D, Kennedy A, Tesfaye R, Tadesse AW, Abrha TH, Rawat R, Menon P. Assessing implementation fidelity of a community-based infant and young child feeding intervention in Ethiopia identifies delivery challenges that limit reach to communities: a mixed-method process evaluation study. BMC Public Health 2015 Apr 1;15:316.
23. Mbuya MN, Jones AD, Ntozini R, Humphrey JH, Moulton LH, Stoltzfus RJ, Maluccio JA. Theory-Driven Process Evaluation of the SHINE Trial Using a Program Impact Pathway Approach. Clin Infect Dis 2015 Dec 15 ;61(Suppl 7):S752-8.
24. Kang Y, Cha S, Yeo S, Christian P. Implementation, utilization and influence of a community-based participatory nutrition promotion programme in rural Ethiopia: programme impact pathway analysis. Public Health Nutr 2017 Aug; 20(11):2004-2015.
25. Omotayo MO, Dickin KL, Pelletier DL, Martin SL, Kung'u JK, Stoltzfus RJ. Feasibility of integrating calcium and iron-folate supplementation to prevent preeclampsia and anemia in pregnancy in primary healthcare facilities in Kenya. Matern Child Nutr 2018 Feb; 14 Suppl 1(Suppl 1):e12437.
26. García-Guerra A, Neufeld LM, Bonvecchio Arenas A, Fernández-Gaxiola AC, Mejía-Rodríguez F, García-Feregrino R, Rivera-Dommarco JA. Closing the Nutrition Impact Gap Using Program Impact Pathway Analyses to Inform the Need for Program Modifications in Mexico's Conditional Cash Transfer Program. J Nutr 2019 Dec 1;149(Suppl 1):2281S-2289S.
27. Le Port A, Zongrone A, Savy M, Fortin S, Kameli Y, Sessou E, Diatta AD, Koulidiati JL, Kodjo NE, Kamayera F, Mahamadou T, Martin-Prevel Y, Ruel MT. Program Impact Pathway Analysis Reveals Implementation Challenges that Limited the Incentive Value of Conditional Cash Transfers Aimed at Improving Maternal and Child Health Care Use in Mali. Curr Dev Nutr 2019 Jul 25; 3(9):nzz084
28. Mehta R, Martorell R, Chaudhuri I, Girard AW, Ramakrishnan U, Verma P, Kekre P, Srikantiah S, Young MF. Use of monitoring data to improve implementation of a home fortification program in Bihar, India. Matern Child Nutr 2019 Jul; 15(3):e12753.
29. Relvas GRB, Buccini GS, Venancio SI. Avaliação do uso de um manual de apoio à implementação da “Estratégia amamenta e alimenta Brasil”. Demetra 2019 nov; 14(Supl.1):e43322.
30. Melo DS. Processo de implementação da Estratégia Amamenta e Alimenta Brasil : Uma análise do caminho de impacto do programa [dissertação]. São Paulo: Faculdade de Saúde Pública da Universidade de São Paulo; 2020.
31. Savy M, Briaux J, Seye M, Douti MP, Perrotin G, Martin-Prevel Y. Tailoring Process and Impact Evaluation of a "Cash-Plus" Program: The Value of Using a Participatory Program Impact Pathway Analysis. Curr Dev Nutr 2020 May 28; 4(7):nzaa099.
32. Melo D, Venancio S, Buccini G. Brazilian Strategy for Breastfeeding and Complementary Feeding Promotion: A Program Impact Pathway Analysis. Int J Environ Res Public Health 2022 Aug 10;19(16):9839.
33. Baik D, Reinsma K, Chhorvann C, Oy S, Heang H, Young MF. Program Impact Pathway of the Positive Deviance/Hearth Interactive Voice Calling Program in a Peri-Urban Context of Cambodia. Curr Dev Nutr 2022 Mar 28;6(5):nzac045.
34. The World Bank. The World by income and Region. The World Bank Group; 2024
35. Fernandes Q, Augusto O, Sherr K. Drivers of success: improving implementation research tools for better health outcomes. BMC Pediatr. 2024 Feb 28;23(Suppl 1):648. doi: 10.1186/s12887-023-04471-7. PMID: 38413928; PMCID: PMC10900546.
36. Peters DH, Tran NT, Adam T. Implementation research in health: a practical guide. Alliance for Health Policy and Systems Research, World Health Organization; 2013.
37. Cordova-Pozo K. The Need for Implementation Research for Community-based Interventions: Scientific Evidence Is Needed. Int J Community Based Nurs Midwifery. 2022 Jul;10(3):246-247.
38. Vilar Compte, M, Villar Uribe M. Implementation toolbox to document and analyze primary health care innovations. Washington, DC: World Bank Publications, The World Bank Group; 2023
39. Powell BJ, Waltz TJ, Chinman MJ, Damschroder LJ, Smith JL, Matthieu MM, Proctor EK, Kirchner JE. A refined compilation of implementation strategies: results from the Expert Recommendations for Implementing Change (ERIC) project. Implement Sci 2015 Feb 12;10:21.
40. Waltz TJ, Powell BJ, Matthieu MM, Damschroder LJ, Chinman MJ, Smith JL, Proctor EK, Kirchner JE. Use of concept mapping to characterize relationships among implementation strategies and assess their feasibility and importance: results from the Expert Recommendations for Implementing Change (ERIC) study. Implement Sci 2015 Aug 7;10:109.
41. Glasgow RE, Battaglia C, McCreight M, Ayele RA, Rabin BA. Making Implementation Science More Rapid: Use of the RE-AIM Framework for Mid-Course Adaptations Across Five Health Services Research Projects in the Veterans Health Administration. Frontiers in public health 2020; 8(194).
42. Melo DS, Venancio SI, Buccini G. Determining RE-AIM indicators for evaluating the Estratégia Amamenta e Alimenta Brasil (EAAB - Brazilian Breastfeeding and Complementary Feeding Strategy). Rev Saude Publica. 2024 Sep 23;58:43. doi: 10.11606/s1518-8787.2024058005875. PMID: 39319935; PMCID: PMC11548908.
43. Buccini, G., Cardoso, K., Godoi, L. et al. Blueprint for Enhancing Implementation Quality of Criança Feliz Program in Brazil: A Combined Program Impact Pathways-ERIC Approach. Glob Implement Res Appl 5, 66–81 (2025). https://doi.org/10.1007/s43477-024-00141-7
44. Jolles MP, Lengnick-Hall R, Mittman BS. Core Functions and Forms of Complex Health Interventions: a Patient-Centered Medical Home Illustration. J Gen Intern Med 2019 Jun;34(6):1032-1038.
45. von Thiele Schwarz, U., Aarons, G.A. & Hasson, H. The Value Equation: Three complementary propositions for reconciling fidelity and adaptation in evidence-based practice implementation. BMC Health Serv Res 19, 868 (2019). https://doi.org/10.1186/s12913-019-4668-y
46. Cardoso-Weinberg A, Alley C, Kupfer LE, Aslanyan G, Makanga M, Zicker F, Olesen OF. Funders' Perspectives on Supporting Implementation Research in Low- and Middle-Income Countries. Global Health: Science and Practice [serial on internet] Apr 2022; [cited 2024 Apr 25] 10 (2): e2100497; Available from: DOI: 10.9745/GHSP-D-21-00497s