Artigos

INTRODUÇÃO
A literatura tem identificado dificuldades na obtenção de resultados na implementação de políticas públicas, principalmente relacionada à discrepância entre o que se formula e o que se executa. A implementação de políticas públicas é resultado de competências organizacionais necessárias para engajar os diversos atores na coprodução de serviços e interações entre a burocracia e os atores sociais, podendo gerar interpretações e adaptações que redefinem os objetivos originais das políticas 1-3. A avaliação da implementação de políticas públicas é fundamental para documentar processos e impactos e para informar a sustentabilidade de ações governamentais.
Em 2021, a Coordenação-Geral de Alimentação e Nutrição (CGAN) do Ministério da Saúde (MS) do Brasil fez uma solicitação ao Instituto de Saúde da Secretaria de Estado da Saúde de São Paulo para a condução de um estudo sobre os 20 anos da implementação da Política Nacional de Alimentação e Nutrição (PNAN). Estabelecida em 1999, a PNAN é uma política pública unificada que dá materialidade e orienta as ações de alimentação e nutrição com foco no Sistema Único de Saúde (SUS) 4,5. O SUS estabelece a saúde como direito universal de responsabilidade do Estado, sendo constituído por três níveis de governança com diferentes atribuições. O nível federal define as políticas nacionais e é responsável por repassar recursos financeiros aos estados e municípios; o estadual coordena e apoia a execução das políticas nos municípios e gerencia unidades de saúde mais especializadas; e o municipal implementa as políticas e gerencia unidades de saúde locais. Assim, há uma estrutura hierárquica organizadora a partir do nível federal, mas que prevê autonomia com interdependência entre os entes federados 6, o que permite a implementação da política de forma descentralizada e municipalizada. A PNAN é implementada seguindo essa organização e tem a Atenção Primária à Saúde (APS) como ordenadora das ações integradas em redes de atenção 5.
Uma avaliação bem sucedida precisa capturar os elementos diferenciais das políticas descentralizadas, que no sistema federativo brasileiro são marcadas por heterogeneidades político-culturais, territoriais, socioeconômicas e demográficas 7, além de desigualdades nos contextos da implementação - caso do Brasil e de outros países de baixa e média renda. Ademais, é relevante considerar a complexidade dos sistemas de governança em uma avaliação, assumindo a ideia de que políticas públicas são marcadas pela diversidade, não linearidade, dinamicidade e interatividade de ações, atores e organizações interconectados, o que resulta em comportamentos e características não previstos na implementação 8.
Apesar do crescimento na produção de evidências sobre a implementação de políticas e programas de alimentação e nutrição no Brasil, não foram encontrados estudos que utilizaram o referencial da Ciência da Implementação (CI) para avaliar a implementação da PNAN de forma abrangente 4,9-11. A CI é um campo científico que pesquisa métodos para promover e avaliar de forma sistemática a incorporação de intervenções baseadas em evidências, para maior qualidade e efetividade 12-14 e utiliza estruturas (ou frameworks) para: (i) entender e/ou explicar o que influencia os resultados da implementação; e (ii) avaliar determinantes da implementação (barreiras e facilitadores) 13. Dentre as estruturas focadas nos resultados de implementação destaca-se o Implementation Outcomes Framework (IOF) que define desfechos de implementação como aceitabilidade, adoção, adequação, viabilidade, fidelidade, cobertura e sustentabilidade, distinguindo-os de desfechos de serviço e clínicos 15,16. Para as estruturas focadas nos determinantes da implementação, destaca-se o Consolidated Framework for Implementation Research (CFIR) que sistematiza os determinantes em cinco domínios que caracterizam (i) a inovação a ser avaliada, (ii) o cenário externo, (iii) cenário interno, (iv) indivíduos envolvidos na implementação, e (v) processos de implementação da inovação 17,18.
Consideramos que o potencial das estruturas da CI pode fortalecer a avaliação de políticas públicas no SUS, contudo, um desafio central é que elas foram desenvolvidas predominantemente em países do Norte Global, limitando sua aplicação em países do Sul Global, como o Brasil e outros países da América Latina 14,19-21. Parte desses desafios foram descritos na literatura e incluem aspectos linguísticos e de adaptação ao contexto sociocultural 14,22. Especificamente no Brasil, soma-se a demanda por modelos adaptados à descentralização política implementada em um cenário de heterogeneidade municipal. Apesar desses desafios, julgamos fundamental a utilização de uma estrutura da CI para garantir uma avaliação abrangente da implementação da PNAN, considerando o uso de constructos consensuados mundialmente, permitindo a replicabilidade da avaliação. A possibilidade de adaptação desses modelos a partir das complexidades culturais, sociais e econômicas do Sul Global pode contribuir para otimizar o uso de recursos, melhorar a qualidade dos cuidados à saúde e promover a equidade 21.
A análise de implementação de políticas públicas constitui hoje um campo consolidado internacionalmente, que passou por quatro gerações teóricas – do enfoque normativo e prescritivo da abordagem “top-down”, à valorização dos atores e contextos locais na perspectiva “bottom-up”, chegando aos modelos híbridos e às abordagens contemporâneas orientadas pela complexidade, governança e interações multiatores 2,23,24. No Brasil, os estudos sobre implementação ganharam corpo mais recentemente, buscando responder aos desafios da realidade brasileira, como a desigualdade social persistente, incentivo ao federalismo cooperativo, a fragmentação institucional e a baixa capacidade estatal 1,25,26. Entre os avanços da literatura nacional, destaca-se a compreensão da implementação como processo decisório contínuo e interativo, influenciado por fatores organizacionais, institucionais, culturais e individuais 23. Nessa perspectiva, sobressaem os estudos sobre burocratas de nível de rua (BNR) e a noção de discricionariedade, revelando como políticas públicas são moldadas nas interações cotidianas entre agentes públicos e usuários, sob condições de escassez e ambiguidade. Os estudos brasileiros vêm contribuindo para consolidar uma agenda de pesquisa sobre implementação, que considera os dilemas da ação pública nos territórios e propõe abordagens metodológicas sensíveis às especificidades do Sul Global. Entretanto, a integração entre essa literatura e a CI é inovadora.
Para superar esta lacuna em estudos desenvolvidos no Sul Global e considerando a relevância da integração de referenciais da CI aos do campo da análise de implementação de políticas públicas, é fundamental documentar estudos de caso que detalham o processo de adaptação e aplicação de modelos 20, pois trocas e reflexões contribuem para práticas de implementação futuras 14,27. A demanda pela produção de uma avaliação dos 20 anos de implementação da PNAN permitiu desenvolver e aplicar um modelo integrado que considerasse as especificidades do contexto brasileiro. Este artigo tem dois objetivos (i) descrever o processo metodológico para desenvolver o Modelo Integrado para análise de Implementação de Políticas de Saúde (MIPS), que integra duas estruturas da CI produzidas no Norte Global com referenciais teóricos da ciência política brasileira e (ii) ilustrar a aplicação do MIPS na avaliação da implementação da PNAN.

MÉTODOS
O processo metodológico para desenvolvimento do MIPS foi realizado em três fases: (i) seleção das estruturas para avaliação de políticas e de intervenções no campo da alimentação e nutrição, (ii) integração das estruturas para avaliação de políticas em sistemas de governança complexos e (iii) aplicação do MIPS ao estudo de caso da PNAN. Esse processo foi realizado pela equipe de pesquisa vinculada ao Instituto de Saúde, com o apoio de um grupo de especialistas. A descrição das equipes envolvidas e do processo de tomada de decisão encontra-se no material suplementar 1.

Fase 1 - Seleção das estruturas para avaliação de políticas
A fase 1 iniciou com a revisão de literatura por duas das pesquisadoras da equipe que têm vasta experiência com a aplicação de estruturas da CI na saúde pública brasileira. A seleção das duas estruturas 28,29 considerou: (i) os esforços da Sociedade para a Ciência da Implementação em Nutrição para a definição de uma abordagem para a CI neste campo e (ii) estruturas que considerassem a necessidade de integração de políticas públicas, CI e perspectivas de tradução de conhecimento. Tumilowicz et al. 28 propuseram uma estrutura específica para a CI em Nutrição que destaca a necessidade de alinhamento entre cinco domínios para garantir a implementação de qualidade: a intervenção, política ou inovação em execução; as organizações responsáveis pela implementação; o ambiente de suporte composto por políticas e partes interessadas; os indivíduos, famílias e comunidades-alvo; e as estratégias e processos decisórios empregados em cada etapa do processo de implementação. Bullock et al. 29 desenvolveram um quadro teórico integrado do processo de implementação sob a perspectiva política, destacando-a como um elemento multifacetado que pode servir como contexto, lente de foco, inovação, alavanca de influência, facilitador ou barreira e resultado. Os autores ressaltam que o sucesso pode ser medido por mudanças na política e identificam os atores políticos como líderes fundamentais. No estudo é proposto um quadro subdividido em componentes do processo de implementação e fatores determinantes da política.
A equipe de pesquisa iniciou a tradução e adaptação cultural das estruturas selecionadas 28,29, com o objetivo de compreender os conceitos que fundamentam cada constructo. A seguir, foi realizada a leitura dos referenciais desses artigos para compreender os conceitos e fundamentos dos constructos de modo aprofundado, especialmente aqueles sem correspondência linguística ou não pertencentes ao arranjo político-administrativo brasileiro. Essa etapa possibilitou estruturar o modelo capaz de avaliar a implementação de políticas sociais descentralizadas em um contexto complexo, inerente ao federalismo brasileiro.
Assim, para a adaptação cultural pormenorizada, cotejamos esse material com referências da ciência política e da administração pública brasileira sobre o incentivo ao federalismo cooperativo, municipalização, fragmentação institucional, baixa capacidade estatal e atuação dos BNR, em contexto de alta desigualdade e fragilidades institucionais 1,3,6,23,25,30,31. Um exemplo desse processo foi a tradução e adaptação das categorias de atores envolvidos na implementação, o que resultou na subdivisão, supressão e inclusão de categorias, com o esforço de indicar exemplos para analisar se suas funções correspondiam ou divergiam conceitualmente das originais, provenientes das estruturas 28,29.
Essa fase permitiu identificar, de forma acurada, as lacunas para a produção de um modelo adaptado, o que corroborou para a necessidade de incluir a literatura de administração pública como parte crucial da integração de estruturas para avaliação de políticas, detalhado a seguir.

Fase 2: Integração de estruturas para avaliação de políticas em sistemas de governança complexos
O processo de integração foi desenvolvido em duas etapas: 1) Integração de constructos; 2) Integração com a literatura de administração pública.

Etapa 1 - Integração de constructos: teve a finalidade de integrar os constructos das estruturas selecionadas 28,29, ampliando os objetos de estudo da implementação em cada dimensão, como segue: i) Contexto da Formulação: inclusão do constructo da formulação, que possibilitou abranger o escopo temporal de análise e de questões relacionadas à entrada de um problema na agenda política; ii) Contexto da Implementação: inclusão de uma categorização detalhada dos atores/stakeholders envolvidos na política ao constructo das organizações e equipes, o que permitiu identificar e selecionar os atores adequadamente. Especificamente nesse constructo, o papel dos BNR – considerando características como competências, discricionariedade e alinhamento com a política – é destacado como elemento fundamental para a segunda etapa de integração; iii) Avaliação: inclusão da etapa de “Ajustes” no ciclo de “Avaliação?Análise?Ação”, o que destaca um elemento fundamental para o estudo de implementação de políticas de longo prazo; iv) Determinantes da implementação: inclusão de elementos determinantes, que permitem aprofundar fatores e condições que influenciam o processo de formulação, implementação e avaliação de políticas públicas e favorecem a compreensão da implementação em diferentes contextos 29.

Etapa 2 - Integração com a literatura de administração pública: teve como objetivo a integração da literatura de administração pública ao modelo, a fim de incorporar conceitos específicos sobre os atores políticos, arranjos federativos e intersetoriais da literatura de administração pública 1,11,23,30,32,33. Incidindo sobre os constructos, estão os determinantes da implementação, que apoiam a análise dos constructos integrados. Nesse item incluímos os fatores determinantes: arranjos federativo, financeiro, intersetorial e transversal, apoio aos entes subnacionais e capacidade estatal 30,31,33-38.
A dimensão Contexto da Implementação é fundamental para a identificação e análise dos atores políticos 39,40. O conceito de atores refere-se a indivíduos, grupos ou organizações que desempenham funções significativas na arena política, com capacidade de influenciar direta ou indiretamente a política pública 34,41. Os atores burocratas são figuras fundamentais 41 e podem ser subdivididos em burocratas de alto e médio escalão e de nível de rua, também denominados trabalhadores da linha de frente 42. No caso de uma política municipalizada, como as da saúde no Brasil, a implementação ocorre no nível local. Neste cenário, os BNR tornam-se atores-chave essenciais para a análise de implementação 23, pois prestam diretamente os serviços e traduzem as normativas em práticas. A síntese da primeira e segunda etapas da integração é apresentada na Figura 1, onde estão explicitados, passo-a-passo, os elementos incorporados de cada referência utilizada no processo de elaboração do MIPS, apresentado na seção de Resultados.

Fase 3: Aplicação do MIPS ao estudo de caso da PNAN
Utilizamos o MIPS para guiar a coleta e análise de dados na avaliação de 20 anos da implementação da PNAN 5 (material suplementar 2), baseadas em métodos mistos: análise de dados secundários, revisão de escopo, análise documental, entrevistas e grupos focais com informantes-chave envolvidos na formulação, revisão e implementação da PNAN (material suplementar 3). Para cada método, foram criados grupos de trabalho com especialistas nas áreas, permitindo o desenvolvimento simultâneo das diferentes etapas da pesquisa.
Neste estudo de caso, apresentaremos: (i) como o MIPS guiou a definição dos aspectos avaliados, os métodos utilizados para a coleta de dados e as fontes dos dados coletados; (ii) exemplos de vantagens e desafios na aplicação do MIPS.

RESULTADOS
Modelo Integrado para análise de Implementação de Políticas de Saúde
O MIPS está organizado em 11 constructos e, incidindo sobre eles, foram definidos dez determinantes da implementação. A síntese do modelo é apresentada na Figura 2, a descrição de suas dimensões e constructos no Quadro 1 e os determinantes no Quadro 2. Os constructos são unidades estruturais analíticas que representam componentes chave do processo de implementação. Os determinantes da implementação são fatores ou pontos de atenção a serem considerados na análise e permeiam e influenciam diferentes constructos. Eles têm uma função analítica no modelo e não categorial (ou estrutural) como os constructos.

Estudo de caso da PNAN
Definição dos aspectos avaliados referentes ao caso da PNAN, os métodos utilizados para a coleta e as fontes dos dados coletados
Para cada constructo do MIPS foram descritos os aspectos avaliados referentes ao caso da PNAN, os benefícios na sua utilização, os métodos e as fontes dos dados coletados (Quadro 3).
Um exemplo de benefício na utilização do MIPS foi a diversidade dos atores-chave participantes das entrevistas e grupos focais, possibilitando um olhar abrangente de suas atribuições em cada aspecto do processo da política. Como desdobramento do estudo, foi possível elaborar um Guia de Apoio à Implementação da PNAN no contexto local para gestores municipais 43.
Um desafio indicado na aplicação do MIPS é a dimensão “desfechos”, pois em políticas complexas são incluídos desfechos de diferentes naturezas, como elaboração de leis, fornecimento de produtos e serviços, impacto nos indicadores de saúde, entre outros, o que pode tornar desafiadora a avaliação da política, considerando os resultados esperados.

Exemplos de aplicação do MIPS na avaliação da PNAN
A partir de cada dimensão do MIPS e de seus constructos, foram elaboradas perguntas de pesquisa que guiaram os métodos, instrumentos de coleta e fontes de dados. Como exemplo, a partir da dimensão do Contexto da formulação e seus constructos, foram elaboradas as seguintes perguntas: Como e por que determinadas demandas foram caracterizadas como problemas a serem priorizados pela atenção governamental? Como foram formuladas as alternativas para lidar com as demandas? A formulação/atualização foi mais radical ou incremental? Como as necessidades dos entes federados foram consideradas? Houve alinhamento com a política de saúde? Quais atores governamentais estiveram envolvidos? Que tipo de articulações foram feitas e qual foi o papel das coalizões? Foi um processo de cima para baixo ou descentralizado? Quais foram as dificuldades e facilidades nesses processos?
Considerando essas perguntas, realizamos entrevistas em profundidade e análise documental. A entrevista em profundidade permitiu explorar tópicos complexos, considerando que a fala revela condições estruturais, sistemas de valores, normas e símbolos, em condições históricas, socioeconômicas e culturais específicas 44. A análise documental possibilitou investigar, de forma estruturada e crítica, documentos para identificar, interpretar e compreender informações significativas, explorando seus sentidos, intenções e contextos 45.
Selecionamos para as entrevistas atores-chave que participaram da formulação, da revisão e da implementação da PNAN: representantes do governo federal, estadual e municipal, pesquisadores e sociedade civil. Para a análise documental foram incluídos: Relatórios de Gestão da CGAN; Documentos técnicos produzidos pela CGAN e pelo MS; e Portarias publicadas pelo MS que tratam do financiamento de ações e programas da PNAN. A análise foi realizada por meio da triangulação dos dados obtidos a partir das diferentes fontes de evidências, seguindo as recomendações para pesquisas de métodos mistos do tipo paralelo-convergente 46, o que permitiu produzir uma análise abrangente e ancorada no MIPS.

DISCUSSÃO
Neste artigo apresentamos o processo de integração de estruturas da CI a referenciais brasileiros sobre implementação de políticas públicas e administração pública, a partir de uma demanda para analisar os 20 anos de implementação da PNAN, tomada, assim, como estudo de caso. Este esforço metodológico é uma proposta para superar lacunas no campo da análise de implementação de políticas públicas no contexto de um país do Sul Global, cujas complexidades do arranjo político-administrativo e do sistema de saúde precisam ser consideradas para se produzir uma análise bem sucedida.
A inovação do trabalho consiste na integração de referenciais teóricos e estruturas que, até então, eram tratados de forma isolada no campo da análise de implementação de políticas públicas. A aplicação do MIPS proporcionou uma avaliação abrangente das dinâmicas de implementação, evidenciando a importância de uma abordagem multidimensional ao reconhecer as particularidades do contexto federativo, com diferenças regionais e institucionais.
Integramos cada referencial preservando seus objetivos centrais, o que, metodologicamente, permitiu assegurar a aplicabilidade das estruturas analíticas: a ênfase nos aspectos de governança e estrutura institucional 29 e o foco nas especificidades da implementação de ações no campo da alimentação e nutrição 28. Da literatura de administração pública e políticas públicas, incorporamos a dimensão do federalismo e da descentralização, que conformam o arranjo institucional do SUS e moldam os processos de implementação de políticas públicas de saúde no Brasil. Destaca-se a inclusão dos determinantes como fatores a serem considerados na análise, que influenciam diferentes constructos, elaborados a partir de pontos chave que vêm sendo discutidos na literatura sobre análise de políticas públicas. A inclusão dos BNR, por exemplo, como constructo permite destacar o que, no CFIR, por exemplo, mostra-se como mais uma dentre as categorias de atores 17. Nesse sentido, o MIPS avança ao enfatizar a importância dos BNR e suas características particulares, como a discricionariedade, seguindo a tradição inaugurada por Lipsky 35. Considerar os BNR como determinante da implementação, significa destacar que seu comportamento pode afetar a implementação da política 29 em diferentes constructos e fases do processo, modificando inclusive seu desenho original, tomando em consideração sua alta discricionariedade 35,47.
A capacidade de desenvolver estudos de análise de implementação varia significativamente entre os países ao redor do mundo. A CI teve origem no Norte Global, onde, em geral, há uma infraestrutura de pesquisa sólida neste campo, com financiamento e recursos adequados. Esse cenário é bastante diverso do Sul Global 21, onde a fragilidade institucional, a instabilidade política que afeta a sustentabilidade de projetos e atores, e a falta de tradição na tomada de decisões com base em evidências científicas são desafios relevantes 48. A integração apresentada neste manuscrito pode servir de inspiração para outros pesquisadores em contextos semelhantes.
O desenvolvimento do estudo não esteve isento de desafios e limitações. Um desafio prático foi a adaptação do mapeamento de atores da estrutura de Bullock et al. 29 à estrutura da política pública brasileira, que exigiu a inclusão ou exclusão de grupos distintos de atores chave. Além da, já apresentada, diversificação do grupo dos burocratas, outro exemplo foi a exclusão das subcategorias “Insurers” e “Donors/foundations”, pois não se encaixam na estrutura de implementação e financiamento das políticas públicas brasileiras.
Outro desafio refere-se à dimensão “Desfechos” que, apesar de sua inclusão no MIPS, pode ser de difícil aplicação, aspecto diretamente relacionado à avaliação de políticas públicas complexas 49-51. Em nosso estudo não foi possível a aplicação do MIPS para avaliação de desfechos clínicos da PNAN, como impactos no estado nutricional e consumo alimentar da população. Considerando outros referenciais, essa dimensão poderia abranger aspectos como aceitabilidade, adoção, adequação, viabilidade, fidelidade, cobertura, e sustentabilidade 16,51.
No contexto brasileiro, quando as políticas públicas são avaliadas, o foco costuma recair sobre os processos, em detrimento da mensuração de impacto 52,53. A avaliação da política ou de seus desfechos demanda indicadores que avaliem a política implementada, considerando os serviços entregues, os resultados e o impacto na população 49,50,54, o que depende de dois aspectos importantes: a disponibilidade e a forma como os dados para uma avaliação ampla são produzidos. No Brasil, o uso de dados provenientes dos sistemas de informação é um desafio, pois não há uma cultura sólida e infraestrutura adequada de registro, informatização e capacidade técnica para a sua produção e utilização 10. Além disso, cabe considerar que indicadores de avaliação podem influenciar a ação e discricionariedade de gestores e trabalhadores, podendo impactar a implementação e os desfechos da política 49,55, especialmente quando vinculados ao financiamento, acentuando as desigualdades na implementação 49,50.
O MIPS poderá ser aprimorado a partir da sua utilização em outros estudos, que podem adotá-lo em sua totalidade para avaliar a implementação de uma política pública ou selecionar dimensões ou constructos para aprofundar a análise em aspectos específicos. Para sua aplicação, recomendamos aos pesquisadores: i) considerar a estrutura político-administrativa do seu país e revisar as categorias de atores; ii) atentar-se aos determinantes da política, pois podem aportar elementos adicionais (ou específicos) e ter pesos diferentes em outros contextos; iii) cuidar da qualidade dos dados secundários que serão incluídos na avaliação e do acesso a documentos oficiais a respeito dos processos de implementação.

CONCLUSÕES
O MIPS conseguiu captar os aspectos macro, como o contexto político e econômico nas três esferas federativas, e os aspectos micro, como a atuação dos atores no contexto local. A inclusão de determinantes mostrou-se fundamental para a compreensão da conjuntura política e administrativa brasileira. A utilização de métodos mistos e a triangulação dos dados foram essenciais para contemplar os diversos constructos. Concluímos que o MIPS ofereceu uma estrutura adequada para avaliar a PNAN, com potencial para ser replicado para outros cenários e políticas públicas complexas do Sul Global. As contribuições teóricas e metodológicas deste estudo evidenciam a importância de integrar abordagens multidimensionais e a capacidade de análise em sistemas de governança complexos. Este trabalho coopera para o avanço da CI em países de baixa e média renda, onde a adaptação de modelos e a geração de conhecimento local são fundamentais para o desenvolvimento de políticas públicas eficazes, efetivas e eficientes.

REFERÊNCIAS
1. Arretche M. Federalismo e democracia no Brasil: a visão da ciência política norte-americana. São Paulo Em Perspect [Internet]. 2001 Dec [cited 2024 Dec 9];15(4):23–31. Available from: https://doi.org/10.1590/S0102-88392001000400004
2. Hill M, Hupe P. Implementing public policy: an introduction to the study of operational governance. 4 ed. London: Sage; 2022. 290 p.
3. Lotta G, Costa MIS. Uso de categorizações políticas e sociais na implementação de políticas: contribuições teóricas e analíticas. Rev Sociol E Política [Internet]. 2020 [cited 2024 Dec 16];28(76):e004. Available from: https://doi.org/10.1590/1678-987320287604
4. Recine E, Vasconcellos AB. Políticas nacionais e o campo da Alimentação e Nutrição em Saúde Coletiva: cenário atual. Ciênc Saúde Coletiva [Internet]. 2011 Jan [cited 2024 Dec 5];16(1):73–9. Available from: https://doi.org/10.1590/S1413-81232011000100011
5. Brasil, Ministério da Saúde, Secretaria de Atenção à Saúde, Departamento de Atenção Básica. Política Nacional de Alimentação e Nutrição [Internet]. Brasília: Ministério da Saúde; 2013. Available from: https://tinyurl.com/pnan2013
6. Abrucio FL, Franzese C. Federalismo e políticas públicas: o impacto das relações intergovernamentais no Brasil. In: Araújo M, Beira L, editors. Tópicos de economia paulista para gestores públicos. São Paulo: Edições Fundap; 2007. p. 13–31.
7. Segatto CI, Abrucio FL. Os múltiplos papéis dos governos estaduais na política educacional brasileira: os casos do Ceará, Mato Grosso do Sul, São Paulo e Pará. Rev Adm Pública [Internet]. 2018 Dec [cited 2025 Jul 3];52(6):1179–93. Available from: https://doi.org/10.1590/0034-761220170047
8. Furtado BA, Sakowski PAM, Tóvolli MH. Abordagens de sistemas complexos para políticas públicas. In: Modelagem de sistemas complexos para políticas públicas [Internet]. Ipea; 2015 [cited 2025 Jun 23]. p. 21–44. Available from: https://tinyurl.com/sistcomplx
9. Bortolini GA, Basso C, Jaime PC. Recomendações para o fortalecimento da implementação da Política Nacional de Alimentação e Nutrição. Ciênc Saúde Coletiva [Internet]. 2024 [cited 2024 Aug 14]; Available from: https://doi.org/10.1590/1413-81232025302.1089023
10. Santos SMCD, Ramos FP, Medeiros MATD, Mata MMD, Vasconcelos FDAGD. Avanços e desafios nos 20 anos da Política Nacional de Alimentação e Nutrição. Cad Saúde Pública [Internet]. 2021 [cited 2024 Dec 5];37(suppl 1):e00150220. Available from: https://doi.org/10.1590/0102-311X00150220
11. Wanderley MB, Martinelli ML, Da Paz RDO. Intersetorialidade nas Políticas Públicas. Serviço Soc Soc [Internet]. 2020 Apr [cited 2024 Dec 11];(137):7–13. Available from: http://dx.doi.org/10.1590/0101-6628.198
12. Eccles MP, Mittman BS. Welcome to Implementation Science. Implement Sci [Internet]. 2006 Feb 22 [cited 2024 Dec 9];1(1):1. Available from: https://doi.org/10.1186/1748-5908-1-1
13. Nilsen P. Making sense of implementation theories, models and frameworks. Implement Sci [Internet]. 2015 [cited 2024 Dec 16];10(1):53. Available from: https://doi.org/10.1186/s13012-015-0242-0
14. Sala DCP, Okuno MFP, Buccini G, Hankins JS, Câmara AB, Vieira AC, et al. Ciência da disseminação e implementação em países de língua portuguesa: por que considerar? Acta Paul Enferm [Internet]. 2023 [cited 2024 Dec 17];36(suppl 1):eEDT01. Available from: http://dx.doi.org/10.37689/acta-ape/2023EDTSPE011
15. Proctor EK, Bunger AC, Lengnick-Hall R, Gerke DR, Martin JK, Phillips RJ, et al. Ten years of implementation outcomes research: a scoping review. Implement Sci [Internet]. 2023 Jul 25 [cited 2025 Jul 4];18(1):31. Available from: https://doi.org/10.1186/s13012-023-01286-z
16. Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, et al. Outcomes for Implementation Research: Conceptual Distinctions, Measurement Challenges, and Research Agenda. Adm Policy Ment Health [Internet]. 2010 [cited 2025 Jul 4];38(2):65–76. Available from: https://doi.org/10.1007/s10488-010-0319-7
17. Damschroder LJ, Reardon CM, Widerquist MAO, Lowery J. The updated Consolidated Framework for Implementation Research based on user feedback. Implement Sci [Internet]. 2022 Oct 29 [cited 2025 Jul 4];17(1):75. Available from: https://doi.org/10.1186/s13012-022-01245-0
18. Means AR, Kemp CG, Gwayi-Chore MC, Gimbel S, Soi C, Sherr K, et al. Evaluating and optimizing the consolidated framework for implementation research (CFIR) for use in low- and middle-income countries: a systematic review. Implement Sci IS. 2020 Mar 12;15(1):17. https://doi.org/10.1186/s13012-020-0977-0
19. Reidpath DD, Allotey P. The problem of ‘trickle-down science’ from the Global North to the Global South. BMJ Glob Health [Internet]. 2019 Jul [cited 2024 Dec 17];4(4):e001719. Available from: https://doi.org/10.1136/bmjgh-2019-001719
20. Beecroft B, Sturke R, Neta G, Ramaswamy R. The “case” for case studies: why we need high-quality examples of global implementation research. Implement Sci Commun [Internet]. 2022 Dec [cited 2024 Dec 9];3(1):15. Available from: https://doi.org/10.1186/s43058-021-00227-5
21. Treichel CADS, Hernández FA. Implementation Science and Provision of Better Health Care in Latin America: Challenges and Opportunities. Glob Implement Res Appl [Internet]. 2023 Nov 20 [cited 2024 Dec 5];3(4):313–313. Available from: https://doi.org/10.1007/s43477-023-00111-5
22. Bartels SM, Haider S, Williams CR, Mazumder Y, Ibisomi L, Alonge O, et al. Diversifying Implementation Science: A Global Perspective. Glob Health Sci Pract [Internet]. 2022 Aug 30 [cited 2024 Dec 17];10(4):e2100757. Available from: https://doi.org/10.9745/GHSP-D-21-00757
23. Lotta G. Teoria e análises sobre implantação de políticas públicas no Brasil [Internet]. Brasília: Enap; 2019. 323 p. Available from: https://tinyurl.com/implempp
24. Matland RE. Synthesizing the Implementation Literature: The Ambiguity-Conflict Model of Policy Implementation. J Public Adm Res Theory [Internet]. 1995 Apr [cited 2025 Jul 6]; Available from: https://doi.org/10.1093/oxfordjournals.jpart.a037242
25. Gomide A, Pires R. Capacidades estatais e democracia: arranjos institucionais de políticas públicas. Brasília: Ipea; 2014.
26. Bichir R, Brettas GH, Canato P. Multi-level governance in federal contexts: the Social Assistance Policy in the City of São Paulo. Braz Polit Sci Rev [Internet]. 2017 Jul 27 [cited 2025 Jul 1];11(2). Available from: https://doi.org/10.1590/1981-3821201700020003
27. Jorgenson A, Luz RA, Juskevicius LF, Padoveze MC, Price L. The Consolidated Framework for Implementation Research: a reflection on researchers’ experiences of its benefits and challenges and the lessons learnt from using it. Nurse Res [Internet]. 2022 Mar 10 [cited 2024 Dec 16];30(1):31–8. Available from: https://doi.org/10.7748/nr.2022.e1827
28. Tumilowicz A, Ruel MT, Pelto G, Pelletier D, Monterrosa EC, Lapping K, et al. Implementation Science in Nutrition: Concepts and Frameworks for an Emerging Field of Science and Practice. Curr Dev Nutr [Internet]. 2019 Mar [cited 2024 Dec 5];3(3):nzy080. Available from: https://doi.org/10.1093/cdn/nzy080
29. Bullock HL, Lavis JN, Wilson MG, Mulvale G, Miatello A. Understanding the implementation of evidence-informed policies and practices from a policy perspective: a critical interpretive synthesis. Implement Sci [Internet]. 2021 Feb 15 [cited 2024 Dec 9];16(1):18. Available from: https://doi.org/10.1186/s13012-021-01082-7
30. Grin EJ, Demarco DJ, Abrucio FL. Capacidades estatais municipais: o universo desconhecido no federalismo brasileiro [Internet]. Porto Alegre, RS: Editora da UFRGS; 2021. (CEGOV Transformando a Administração Pública). Available from: https://tinyurl.com/federalismbr
31. Licio EC, Palotti PL de M, Meneses A de FP, Pontes PA de MM. O que fazem – ou deveriam fazer – os governos estaduais na gestão das políticas sociais [Internet]. 2021 Sep [cited 2024 Dec 16]. (Texto para Discussão). Report No.: 2695. Available from: https://tinyurl.com/govestaduais
32. Franzese C, Abrucio FL. Efeitos recíprocos entre federalismo e políticas públicas no Brasil: os casos dos sistemas de saúde, de assistência social e de educação. In: Hochman G, Faria CAP, editors. Federalismo e políticas públicas no Brasil [Internet]. 2013 [cited 2024 Dec 9]. p. 361–86. Available from: https://tinyurl.com/federalismopp
33. Pires RRC, Gomide A de A. Burocracia, democracia e políticas públicas: Arranjos institucionais de políticas de desenvolvimento. Texto para Discussão do IPEA [Internet]. 2014;1940. Available from: https://tinyurl.com/burocraciapp
34. Wu X, Ramesh M, Howlett M, Fritzen S. Guia de políticas públicas: gerenciando processos [Internet]. Enap; 2014. 161 p. Available from: https://tinyurl.com/guiaenap
35. Lipsky M. Street-level bureaucracy: dilemmas of the individual in public services. Updated edition. New York: Russell Sage Foundation; 2010. 1 p. (Publications of Russell Sage Foundation).
36. Brodkin EZ. Reflections on Street?Level Bureaucracy: Past, Present, and Future. Public Adm Rev [Internet]. 2012 Nov [cited 2024 Dec 11];72(6):940–9. Available from: https://doi.org/10.1111/j.1540-6210.2012.02657.x
37. Cingolani L. The State of State Capacity: a review of concepts, evidence and measures. 2013 [cited 2024 Dec 9]; Available from: https://tinyurl.com/rwstatecapacity
38. Pinheiro MMS. Políticas públicas baseadas em evidências (PPBEs)?: delimitando o problema conceitual. Políticas públicas baseadas em evidências (PPBEs)?: delimitando o problema conceitual [Internet]. 2020 Apr;(Instituto de Pesquisa Econômica Aplicada (Ipea)):44. Available from: https://tinyurl.com/ppbes
39. Kingdon JW. Agendas, alternatives, and public policies. 2nd ed. New York: Longman; 1995.
40. Oliveira VE de. As fases do processo de políticas públicas. In: Marchetti V, editor. Políticas públicas em debate. São Bernardo do Campo: MP Editora; 2013. p. 15–37.
41. Secchi L. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2a ed. São Paulo: Cengage Learning; 2014.
42. Pires R, Lotta GS, Oliveira VE de, Instituto de Pesquisa Econômica Aplicada, editors. Burocracia e políticas públicas no Brasil: interseções analíticas [Internet]. Brasília: IPEA; 2018. 414 p. Available from: https://tinyurl.com/burocraciappbr
43. Garcia MT, Venancio SI, Coelho DEP, Ribeiro RMM, Costa MIS, Duarte LS, et al. Guia de Apoio à Implementação da PNAN para a gestão municipal [Internet]. Instituto de Saúde; 2024. Available from: https://tinyurl.com/guiagestao
44. Minayo MC de S. O desafio do conhecimento: pesquisa qualitativa em saúde. 14. ed. São Paulo: Hucitec; 2014. 407 p. (Saude em debate).
45. Cellard A. A Análise Documental. In: Poupart J, Deslauriers JP, Groulx LH, Laperrière A, Mayer R, Pires ÁP, editors. A pesquisa qualitativa: enfoques epistemológicos e metodológicos. Petrópolis: Vozes; 2008. p. 295–316.
46. Creswell JW, Clark VLP. Pesquisa de métodos mistos. 2nd ed. Porto Alegre: Penso; 2013.
47. Cavalcanti S, Lotta GS, Pires RRC. Contribuições dos estudos sobre burocracia de nível de rua. In: Pires RRC, Lotta GS, Oliveira VE de, editors. Burocracia e políticas públicas no Brasil: interseções analíticas. Brasília: IPEA; 2018. p. 85–103.
48. Silva AA, Lopes GPD, Claro HG, Menezes PR, Tanaka OY, Onocko-Campos RT. Collective Health in Brazil and Implementation Science: Challenges and Potentialities. Glob Implement Res Appl [Internet]. 2023 Aug 9 [cited 2024 Dec 5];3(4):340–54. Available from: https://doi.org/10.1007/s43477-023-00095-2
49. Bevan G, Hood C. WHAT’S MEASURED IS WHAT MATTERS: TARGETS AND GAMING IN THE ENGLISH PUBLIC HEALTH CARE SYSTEM. Public Adm [Internet]. 2006 Aug [cited 2024 Dec 9];84(3):517–38. Available from: https://doi.org/10.1111/j.1467-9299.2006.00600.x
50. Gomes S. Sobre a viabilidade de uma agenda de pesquisa coletiva integrando implementação de políticas, formulação e resultados. In: Teoria e análises sobre implantação de políticas públicas no Brasil [Internet]. Brasília: Enap; 2019. p. 39–66. Available from: https://repositorio.enap.gov.br/bitstream/1/4162/1/Livro_Teorias%20e%20An%C3%A1lises%20sobre%20Implementa%C3%A7%C3%A3o%20de%20Pol%C3%ADticas%20P%C3%BAblicas%20no%20Brasil.pdf
51. Lima LL, D’Ascenzi L. Implementação e avaliação de políticas públicas: intersecções, limites e continuidades. In: Lotta G, editor. Teoria e análises sobre implantação de políticas públicas no Brasil [Internet]. Brasília: ENAP; 2019. p. 127–52. Available from: https://tinyurl.com/implempp
52. Faria CAPD. A política da avaliação de políticas públicas. Rev Bras Ciênc Sociais [Internet]. 2005 Oct [cited 2024 Dec 6];20(59):97–110. Available from: https://doi.org/10.1590/S0102-69092005000300007
53. Jannuzzi P de M. Avaliação de Programas Sociais no Brasil: Repensando Práticas e Metodologias das Pesquisas Avaliativas. Planej E Políticas Públicas [Internet]. 2011 [cited 2024 Dec 16];(36). Available from: https://tinyurl.com/avalpp
54. Casa Civil da Presidência da República. Avaliação de políticas públicas: guia prático de análise ex ante. Ipea; 2018.
55. Rosilho A, Migueis A, Lotta G, Fernandes G, Tavares G, Lillo J, et al. Fenômeno do Apagão das Canetas – Efeitos da dinâmica do controle para servidores e para políticas públicas de áreas-fim [Internet]. São Paulo: Fundação Tide Setúbal; 2024 p. 61. Available from: https://tinyurl.com/apagaocanetas
?