0326/2024 - Bancos de alimentos brasileiros: como avaliá-los?
Brazilian food banks: how to evaluate them?
Autor:
• Natalia Tenuta - Tenuta, N. - <nataliatenuta@gmail.com>ORCID: https://orcid.org/0000-0002-9891-3435
Coautor(es):
• Romero Alves Teixeira - Teixeira, R.A - <romero.teixeira@ufvjm.edu.br>ORCID: https://orcid.org/0000-0001-6623-8239
• Anelise Andrade de Souza - Souza, A.A - <anelise.souza@ufop.edu.br>
ORCID: https://orcid.org/0000-0002-2408-7054
• Wanessa Debôrtoli de Miranda - Miranda, W.D - <wanessa.debortoli@hotmail.com>
ORCID: https://orcid.org/0000-0002-0838-9861
• Rômulo Paes-Sousa - Paes-Sousa, R. - <romulo.paes@fiocruz.br>
ORCID: https://orcid.org/0000-0002-3384-6657
Resumo:
Bancos de alimentos são infraestruturas direcionadas à redução de perdas e desperdícios de alimentos, garantia da segurança alimentar e nutricional e realização de educação alimentar e nutricional. Embora sejam equipamentos com seu impacto reconhecido, há uma lacuna de como avaliá-los e de como produzir resultados que contribuam para o aprimoramento da sua atuação. Trata-se de uma proposta teórico-metodológica para avaliação de implementação de bancos de alimentos brasileiros, que pretende oferecer instrumentos e técnicas para identificar se a relação entre seus insumos, processos e produtos estão compatíveis com o esperado. Baseada nos elementos de um mapa de processos e resultados para bancos de alimentos, a proposta apresenta um plano de avaliação de implementação em cinco etapas, contendo instrumentos e técnicas de mensuração dos resultados. Este plano de avaliação está organizado em seis dimensões analíticas (conteúdo da formulação, contexto, processo de implementação, recursos, atores sociais envolvidos, e alcance) compostas por indicadores que evidenciarão diagnósticos de implementação de bancos de alimentos geridos em qualquer das quatro modalidades atualmente existentes no Brasil. Espera-se que a proposta ora apresentada contribua para a produção de metodologias direcionadas à avaliação de bancos de alimentos.Palavras-chave:
Bancos de Alimentos; Avaliação de Implementação; Plano de Avaliação.Abstract:
Food banks are facilities dedicated to (i) reducing food loss and waste, (ii) ensuring food security and (iii) performing food and nutrition education. Although the food banks are spread all over Brazil, having recognized impact in the society, there are no defined instruments for their evaluation and for improving their results. This paper presents a theoretical-methodological proposal to evaluate the implementation of Brazilian food banks, which intends to offer instruments and techniques to identify if the relation between their inputs, processes and products are consistent with expectations. Based on the elements of a map of processes and results for food banks, this proposal comprises a data collection instrument and an implementation evaluation plan. This evaluation plan is organized into six analytical dimensions, composed of indicators that will show diagnoses of implementation for food banks managed in the four modalities currently in operation in Brazil. We hope that this proposal will be the starting point for expanding the production of evaluation methodologies focused on food banks.Keywords:
Food banks; Implementation evaluation; Evaluation plan.Conteúdo:
Introdução
As atividades de monitoramento e avaliação de programas têm crescido de forma exitosa e estão se consolidando no Brasil, à guisa de construir um reconhecimento e uma materialização dos serviços prestados à sociedade e das transformações por elas geradas1,2,3.
Dada a expressiva e reconhecida relevância para a garantia do direito humano à alimentação adequada, em um contexto de alta prevalência de insegurança alimentar e nutricional, os bancos de alimentos brasileiros são equipamentos ou infraestruturas da agenda nacional de segurança alimentar e nutricional (SAN) que requerem uma arquitetura de avaliação visando a otimização da sua gestão e processos4.
O conceito dado pela Rede Brasileira de Bancos de Alimentos (RBBA) define bancos de alimentos como “estruturas físicas ou logísticas que ofertam o serviço de captação ou de recepção e de distribuição gratuita de gêneros alimentícios oriundos de doações dos setores público ou privado a instituições públicas ou privadas prestadoras de serviços de assistência social, de proteção e de defesa civil; instituições de ensino; unidades de acolhimento institucional de crianças e adolescentes; penitenciárias, cadeias públicas e unidades de internação; estabelecimentos de saúde; e outras unidades de alimentação e de nutrição” 5.
As definições e descrições recentes dadas aos bancos de alimentos concordam que são infraestruturas de captação e distribuição gratuita de alimentos a instituições socioassistenciais para fornecimento de alimentação a pessoas em vulnerabilidade social, alimentar e nutricional5,6,7,8. Embora não esteja pactuado em normativas nacionais que os alimentos provenham de potenciais perdas e desperdícios, verificou-se que esta é a origem mais comum dos alimentos transacionados pela ampla rede nacional formada por 217 unidades7.
A caracterização mais recente dos bancos de alimentos identificou quatro modalidades de gestão e duas modalidades operacionais7. Cabe distingui-las porque o reconhecimento do objeto de análise é fundamental para definição da metodologia utilizada na pesquisa de avaliação.
As modalidades de gestão identificadas são: I) bancos de alimentos públicos criados e geridos pelo poder público das prefeituras municipais, muitos deles com apoio financeiro do Governo Federal Brasileiro para implantação; II) bancos de alimentos da Rede Mesa Brasil pertencentes ao Serviço Social do Comércio (Sesc), implantados e mantidos pelos seus Departamentos Regionais em cada estado, muitas vezes com apoio financeiro do Departamento Nacional da instituição; III) bancos de alimentos de Organizações da Sociedade Civil (OSC) que se mantêm com recursos de empresas e outros parceiros mantenedores; de editais de instituições públicas e/ou privadas de apoio a ações sociais; e de doações financeiras, de serviços ou de produtos de apoiadores; IV) bancos de alimentos implantados em Centrais de Abastecimento, por iniciativa e responsabilidade de manutenção da própria gestão7.
As duas modalidades operacionais descritas pelo mesmo estudo são: I) modalidade convencional, em que o banco de alimentos possui sede em imóvel que dispõe de estrutura física para serviços administrativos e operacionais com no mínimo, triagem, armazenamento, porcionamento e distribuição dos alimentos para doação aos beneficiários, podendo dispor de espaço e equipagem para processamento e beneficiamento dos alimentos. Geralmente, o parceiro doador realiza as entregas no banco de alimentos, cabendo aos beneficiários a retirada das doações também no mesmo local; II) modalidade colheita urbana, em que o banco de alimentos possui sede em imóvel apenas para a realização de atividades administrativas. A equipe operacional do banco de alimentos faz coleta no local indicado pelo parceiro doador, realizando, no próprio estabelecimento, a triagem e o porcionamento. A entrega dos alimentos é imediata às instituições e/ou famílias beneficiárias7.
Face à escassez de um locus de análise sobre os bancos de alimentos brasileiros9,10,11 e, ainda, considerando a pluralidade detes equipamentos no Brasil, torna-se imprescindível a proposição de uma metodologia de avaliação adequada e que seja sensível à diversidade destas experiências.
Até março de 2023, os estudos nacionais disponíveis sobre avaliação de bancos de alimentos não detalhavam o desenho metodológico utilizado e as abordagens de análise dos resultados de modo a proporcionar a replicabilidade da avaliação12,13,14,15,16,17.
Dessa forma, o objetivo deste estudo é apresentar um roteiro metodológico e instrumentos para avaliação de implementação de bancos de alimentos brasileiros, de modo que os interessados possam aplicá-los e gerar resultados sobre a implementação de um ou mais bancos de alimentos.
Métodos
O presente trabalho de cunho metodológico apresenta um plano para avaliação de implementação de bancos de alimentos brasileiros, descrevendo o percurso e apresentando instrumentos para avaliação.
Trata-se de uma proposta de avaliação formativa de bancos de alimentos em funcionamento, de caráter observacional, natureza exploratória e corte transversal. Segundo a tipologia de avaliação de programas, caracteriza-se como uma avaliação ex post, externa, utilizando a metodologia de avaliação de implementação, também denominada de avaliação de processos.
A avaliação de implementação é uma estratégia de análise realizada concomitantemente à operacionalização do programa que será avaliado (ex post)18,19. É direcionada aos processos, uma vez que verifica a correspondência entre o planejado e o implementado (executado), analisando a conformidade das ações com o design do programa. Além disso, permite estabelecer os subprocessos que não estão regulamentados em nível macro do seu desenho3,20.
Para identificar se a relação entre insumos, processos e produtos está compatível com o esperado e, se ela pode ser aprimorada, uma sequência de etapas para avaliação de implementação é recomendada20.
O plano para avaliação de implementação está compreendido em cinco etapas: I) Dimensões analíticas para avaliação de implementação de programas; II) Dimensões analíticas e elementos para avaliação de implementação de bancos de alimentos brasileiros; III) Matrizes de referência contendo indicadores para avaliação de implementação de bancos de alimentos brasileiros; IV) Instrumentos para coleta de dados; e V) Métodos para quantificação dos resultados da avaliação da implementação.
Para a construção das dimensões analíticas de avaliação de implementação de bancos de alimentos, utilizou-se como referências o ensaio teórico sobre as dimensões analíticas para avaliação da implementação de políticas e programas públicos no Brasil proposto por Lima e Mendes3, e o Mapa de Processos e Resultados (MaPR) elaborado por Tenuta, Teixeira e Paes-Sousa21. Baseando-se nos referidos referenciais, os autores, com expertise em bancos de alimentos, adaptaram as seis dimensões analíticas para bancos de alimentos brasileiros, abarcando os elementos para avaliação.
As matrizes de referência para avaliação de implementação são estratégias para ir além da descrição dos pocessos e sistemas18. Draibe recomenda quantificar as dimensões a serem analisadas de modo a avaliar o processo de implementação e relacioná-lo com os resultados22. Para isso, duas matrizes de referência foram propostas, proporcionando a quantificação das dimensões analíticas elaboradas.
A elaboração de dois instrumentos para coleta de dados foi orientada pelo referencial teórico de Donabedian23, em que estrutura, processo e resultado foram as dimensões abarcadas nas perguntas de investigação que respondem aos indicadores.
Os métodos para quantificação dos resultados da avaliação de implementação estão ancorados nas indicações de Draibe22 para se ter, ao fim, o nível da implementação alcançado.
A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa (CEP) da UFVJM, sob o número 84581318.0.0000.5108, sendo analisado e aprovado sob o parecer nº 2.633.526.
Resultados e Discussão
Os bancos de alimentos brasileiros integram a agenda da SAN desde a década de 1990. Mesmo havendo bancos de alimentos com implantação mais recente, a estratégia utilizada por estas infraestruturas já está amadurecida de tal modo que justifique uma metodologia que avalie seus processos, ou seja, a avaliação de implementação, embora sua implementação esteja ocorrendo de modo contínuo3,22.
Para tanto, um plano de avaliação para avaliação da implementação de bancos de alimentos brasileiros foi elaborado e está apresentado como um roteiro metodológico, permitindo sua aplicação para avaliação de um ou mais bancos de alimentos.
Plano para avaliação de implementação de bancos de alimentos brasileiros
O plano para avaliação de implementação é uma sucessão de cinco etapas que orienta a realização da avaliação de bancos de alimentos brasileiros visando a identificação de potencialidades e fragilidades, para posterior planejamento de melhorias da sua atuação (Figura 1). Pode ser utilizado na íntegra para avaliação de processos em um dado momento do ciclo de vida do banco de alimentos ou, até mesmo, de uma rede de bancos de alimentos. Mas também pode ser adaptado e servir ao monitoramento da rotina operacional e de gestão de unidades pelos seus gestores e técnicos.
FIGURA 1. Etapas do plano para avaliação de implementação de bancos de alimentos brasileiros.
I) Dimensões analíticas para avaliação da implementação de programas
Lima e Mendes3, a partir de uma revisão bibliográfica sobre avaliação de implementação de programas, propuseram seis dimensões analíticas de avaliação e respectivas definições para orientar essa metodologia de análise (Quadro 1).
É necessário evidenciar os limites do uso dessa estratégia de avaliação, conforme os autores dessa metodologia sinalizaram. Há inter-relações entre as dimensões analíticas e todas influenciam e são influenciadas, de alguma forma, a implementação de políticas e programas e, por sua vez, sua avaliação3. Na ocasião de aplicação da presente metodologia, caso haja dificuldade ou desconhecimento de alguma informação das dimensões analíticas, os resultados da avaliação podem ser prejudicados.
II) Dimensões analíticas e elementos para avaliação de implementação de bancos de alimentos brasileiros
Tenuta, Teixeira e Paes-Sousa21 elaboraram o Mapa de Processos e Resultados (MaPR) para bancos de alimentos brasileiros para sintetizar o seu funcionamento, o seu contexto de operação, e para apontar como seus diversos componentes-insumos, processos e produtos se alinham para produzir os resultados desejados. Ancorado neste instrumento, o quadro 2 apresenta os elementos do MaPR21 elencados nas dimensões analíticas propostas por Lima e Mendes3.
III) Instrumentos para coleta de dados
O desenvolvimento de dois instrumento para coleta de dados para pesquisa de avaliação de implementação foi orientado por pesquisa bibliográfica4,15,23,24,25. Tenuta15 adaptou variáveis de avaliação referentes às dimensões de estrutura, processo e resultado, utilizadas originalmente para avaliação da qualidade de serviços de saúde23, aos conceitos dos bancos de alimentos.
As variáveis de avaliação de bancos de alimentos propostas por Tenuta15 adaptadas para este estudo orientaram a construção das perguntas de dois questionários semiestruturados. O primeiro questionário foi produzido para caracterizar e tipificar as dimensões estrutura-processo-resultado dos equipamentos e o segundo instrumento, também direcionado a analisar a tríade proposta por Tenuta15, foi construído para permitir maior detalhamento na investigação.
A avaliação da validade e confiabilidade dos conteúdos contou com a colaboração de gestores e técnicos de onze bancos de alimentos, gerando as versões finais para aplicação. A versão final do primeiro questionário continha 69 perguntas e a versão final do segundo questionário continha 200 questões4.
Os dois questionários intentam apresentar uma ampla gama de perguntas de investigação sobre estrutura, processo e resultado e podem ser utilizados parcial ou integralmente para orientar o preenchimento de matrizes de referência de indicadores para avaliação de implementação de bancos de alimentos brasileiros.
O processo de desenvolvimento dos questionários – assim como das matrizes apresentadas a seguir – envolveu uma busca bibliográfica extensa sobre os conteúdos relacionados a bancos de alimentos abarcados nas dimensões analíticas da avaliação da implementação. Embora escassa a literatura sobre a temática, foi possível gerar uma grande diversidade de informações, gerando o desafio de chegar a uma versão final dos instrumentos que não fosse demasiadamente longa e, ao mesmo tempo, que fosse capaz de atender os objetivos da pesquisa.
IV) Matrizes de referência contendo indicadores de avaliação para implementação de bancos de alimentos brasileiros
Draibe22 recomenda que, nas avaliações de implementação, as variáveis qualitativas, que descrevem os elementos de processos, sejam transcritas e transformadas em atributos mensuráveis e que recebam tratamentos quantitativos.
Para quantificar a análise, foi elaborada uma Matriz de referência para avaliação da implementação de bancos de alimentos brasileiros (Tabela S1), com as seguintes etapas: a) seleção das perguntas dos questionários que respondessem a cada um dos elementos para avaliação de implementação; b) transcrição para a Matriz das perguntas dos questionários para o formato de indicadores quantitativos de avaliação. As perguntas dos questionários foram transcritas de modo a construir indicadores com opções de respostas binárias (Sim e Não, pontuadas em 2 e 0, respectivamente) e tricategóricas (Sim, totalmente, Sim, parcialmente, e Não, pontuadas em 2, 1 e 0, respectivamente). Às perguntas que tinham condicionantes anteriores foram adicionadas opções de respostas “Não se aplica”, que não foram pontuadas. A Matriz construída contou com 93 indicadores distribuídos nas seis dimensões analíticas.
Tenuta et al.7 mapearam duas modalidades operacionais executadas pelos bancos de alimentos brasileiros que carecem de estruturas físicas mínimas específicas para cada modalidade. Os quadros 3 e 4 apresentam a Matriz de referência para avaliação da estrutura física dos bancos de alimentos que operam as modalidades convencional (composta por sete setores) e colheita urbana/rural (composta por um setor). Quando preenchida a Matriz de referência para avaliação da estrutura física dos bancos de alimentos, o resultado deverá ser transcrito para responder ao indicador “O banco de alimentos possui estrutura física mínima compatível com a modalidade operacional que executa” da Matriz de referência para avaliação da implementação de bancos de alimentos brasileiros.
Quando a unidade convencional possuir todos os sete setores, o indicador de estrutura física mínima recebe a resposta “Sim”. Quando a unidade não possuir um setor ou mais, o indicador da estrutura física mínima será classificado em “Não”. Quanto à classificação de qualidade dos setores, quando todos os sete setores forem classificados em “bom a excelente”, ao indicador será dada a resposta “Sim, totalmente”. Quando quatro ou mais setores forem classificados como “bom a excelente”, a resposta dada será “Sim, parcialmente”. Por fim, quando três ou menos setores forem classificados como “bom a excelente”, o indicador será marcado como “Não”. Para unidades que operam colheita urbana/rural, a estrutura física mínima trata-se de apenas um setor, de modo que a resposta da Matriz de referência para avaliação da estrutura física será apenas transcrita para a Matriz de referência para avaliação da implementação de bancos de alimentos brasileiros.
A classificação da implementação deverá ser realizada por meio do preenchimento das Matrizes de referência. Para tanto, as informações dos bancos de alimentos deverão ser extraídas de bancos de dados construídos a partir das estratégias de coleta de dados definidas pela equipe da avaliação.
V) Métodos para quantificação dos resultados da avaliação da implementação
Para cada atributo da Matriz de referência para avaliação da implementação de bancos de alimentos brasileiros, deverá ser definido o critério, o método de pontuação, parâmetro, valor atribuído e o ponto de corte para analisar se os resultados encontrados estão, ou não, em conformidade com os padrões estabelecidos.
Para a construção dos escores das dimensões analíticas, deverão ser determinados os valores observados (? da pontuação na dimensão analítica) e calculado o diagnóstico de implementação para cada dimensão (? da pontuação alcançada / ? da pontuação máxima da dimensão x 100). Posteriormente, deverá ser realizado o somatório de cada dimensão analítica para cálculo do diagnóstico da implementação.
Os escores obtidos por meio do somatório das dimensões analíticas deverão ser transformados em percentuais, com referência à pontuação máxima possível. A partir desses percentuais, os bancos de alimentos serão categorizados nos diagnósticos de implementação em quatro estratos: 75,1% a 100%: Implementação totalmente efetivada; 50,1% a 75%: Implementação parcialmente efetivada; 25,1% a 50%: Implementação não efetivada; 1% a 25%: Implementação crítica.
A análise quanto à adequação das modalidades de gestão às dimensões analíticas será realizada por meio do percentual de bancos de alimentos que obtiverem percentuais maiores do que 50,1% em cada dimensão (Nº de bancos de alimentos com percentual maior do que 50,1% na dimensão / Total de bancos de alimentos da modalidade analisada x 100).
Para análise do status quo dos atributos que interferem na consecução dos objetivos fundamentais dos bancos de alimentos brasileiros, os 93 indicadores que compõem as seis dimensões analíticas serão analisados e encaminhados para a classificação em dois estratos de desempenho, a partir da pontuação alcançada, por cada modalidade de gestão: 1) Desempenho potencializado: quando a média da pontuação de todas as unidades de cada modalidade de gestão alcançar valor igual ou maior a 75% da pontuação máxima possível do indicador; 2) Desempenho fragilizado: quando a média da pontuação de todas as unidades de cada modalidade de gestão alcançar valor igual ou menor a 25% da pontuação máxima possível do indicador. Os indicadores cujas médias situarem-se entre 25% e 75% não serão classificados, entendendo que não se destacarão positiva ou negativamente. Cabe destacar que podem haver desempenhos distintos para indicadores de uma mesma dimensão analítica. Nestas situações, é necessária uma avaliação individualizada para cada indicador, assim como uma interpretação crítica da dimensão analítica.
Análises adicionais dos dados poderão ser realizadas de acordo com o objetivo da avaliação, o tamanho da amostra, os custos disponíveis para análise, e a disponibilidade da base de dados. Os métodos estatísticos escolhidos gerarão resultados sob diversas perspectivas e cabe à equipe da pesquisa definir qual ou quais melhor atende(m) a avaliação.
QUADRO 1. Dimensões analíticas para avaliação de implementação de programas.
QUADRO 2. Dimensões analíticas e elementos para avaliação da implementação de bancos de alimentos brasileiros.
Considerações finais
A proposta metodológica para avaliação de implementação de bancos de alimentos brasileiros apresentada serve à agenda nacional de bancos de alimentos de modo a potencializar as contribuições das experiências à redução de perdas e desperdícios de alimentos, à garantia da segurança alimentar e nutricional, e à realização de educação alimentar e nutricional.
O importante a ressaltar é que a proposta apresentada em tela foi construída de modo que os bancos de alimentos fossem avaliados em sua totalidade no que tange questões de estrutura, processos e resultados. Assim, cabe a ponderação, em caso de adaptação dos instrumentos, que as alterações sejam feitas com cautela para que informações imprescindíveis não sejam excluídas, ou que a organização de critérios de avaliação sejam fiéis aos objetivos propostos pela avaliação.
Sem distinguir a modalidade operacional e de gestão, o conteúdo das Matrizes foi elaborado de modo a contemplar a realidade de contexto, implantação, operacionalização, atingimento dos resultados e alcance dos objetivos de qualquer banco de alimentos que estiver sendo avaliado.
Espera-se que esta produção seja uma contribuição aos bancos de alimentos brasileiros e, também, à comunidade internacional, em especial, com relação aos interessados na temática avaliação. E, ainda, que seja uma contribuição relevante para o delineamento de metodologias cada vez mais acuradas a serem utilizadas em avaliação de bancos de alimentos, permitindo a replicação e a comparação dos resultados ao longo do tempo.
Referências
1. Jannuzzi PM. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas. 2011;36:251-275. Disponível em: https://www.ipea.gov.br/ppp/index.php/PPP/article/view/228/212. Acesso em: 10 jun. 2019.
2. Oliveira LR, Passador CS. Ensaio teórico sobre as avaliações de políticas públicas. Cadernos EBAPE.BR. 2019;17(2):324-337. Disponível em: http://www.spell.org.br/documentos/ver/53445/ensaio-teorico-sobre-as-avaliacoes-de-politicas-publicas/i/pt-br. Acesso em: 03 out. 2022.
3. Lima WAS, Mendes VLPS. Avaliação da Implementação de Políticas e Programas Públicos no Brasil: uma discussão das dimensões analíticas. Revista Meta: Avaliação. 2021;13(40):674-699. Disponível em: https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/3480. Acesso em: 02 ago. 2022. doi: http://dx.doi.org/10.22347/2175-2753v13i40.3480.
4. Tenuta N. Bancos de Alimentos Brasileiros: Contribuições para a Segurança Alimentar e Nutricional, Redução de Perdas e Desperdícios de Alimentos e Educação Alimentar e Nutricional. [tese]. Belo Horizonte: IRR/Fiocruz Minas; 2023.
5. Trevisan AP, Van Bellen HM. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista De Administração Pública. 2008;42(3). DOI: 10.1590/S0034-76122008000300005.
6. Fagundes A, de Cássia Lisboa Ribeiro R, de Brito ERB, Recine E, Rocha C. Public infrastructure for food and nutrition security in Brazil: fulfilling the constitutional commitment to the human right to adequate food. Food Secur. 2022;14(4):897-905. DOI: 10.1007/s12571-022-01272-1. Epub 2022 Mar 3. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8893935/. Acesso em: 31 maio. 2022.
7. Tenuta N, Barros T, Teixeira RA, Paes-Sousa R. Brazilian Food Banks: Overview and Perspectives. Int J Environ Res Public Health. 2021;18:12598. Disponível em: https://www.arca.fiocruz.br/bitstream/handle/icict/53466/Brazilian%20Food%20Banks_%20Overview%20and%20Perspectives.pdf?sequence=2. Acesso em: 09. mai. 2022.
8. Brasil. Portaria nº 17, de 14 de abril de 2016. Institui a Rede Brasileira de Bancos de Alimentos. Brasília, DF, Diário Oficial da União de 15 de abril de 2016.
9. Garcia MT, Silva ER da, Mustapha RD, Coelho DEP, Maurelli G, Ferreira RAB, Amaral NTK do, Bógus CM. Avaliação dos bancos de alimentos: uma revisão integrativa da literatura nacional. Segurança Alimentar e Nutricional. 2022;28:e021034. DOI: 10.20396/san.v28i00.8665406. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/san/article/view/8665406. Acesso em: 31 maio. 2022.
10. González-Torre PL, Coque J. How is a food bank managed? Different profiles in Spain. Agric Hum Values. 2016;33:89-100. DOI: 10.1007/s10460-015-9595-x.
11. Simmet A, Tinnemann P, Stroebele-Benschop N. The German Food Bank System and Its Users-A Cross-Sectional Study. Int J Environ Res Public Health. 2018;15:1485.
12. Brasil. Ministério do Desenvolvimento Social e Combate à Fome. Pesquisa de Avaliação do Programa Bancos de Alimentos. Brasília, DF: SAGI; Rede Desenvolvimento, Ensino e Sociedade; 2006. (Sumário Executivo).
13. Burlandy L, et al. Avaliação do Programa Banco de Alimentos no Brasil. In: Cadernos de Estudos: Desenvolvimento social em debate. Rede de equipamentos públicos de alimentação e nutrição: resultados de avaliações. Brasília, DF: MDS; SAGI; 2010. n.14, 164 p.
14. FEC, DATAUFF. Pesquisa de Avaliação do Programa Banco de Alimentos - Segunda Avaliação. 2011.
15. Tenuta N. Análise tridimensional da situação dos Bancos de Alimentos de Minas Gerais, Brasil. [dissertação]. Diamantina: UFVJM; 2014.
16. Costa LA, et al. Capacidade de resposta de Bancos de Alimentos na captação, distribuição e redução de desperdício de alimentos. Revista Baiana de Saúde Pública. 2014;38(1):30-48.
17. Tenuta N. Teixeira RA. A eficácia dos Bancos de Alimentos de Minas Gerais no combate às perdas e desperdícios de alimentos. Segurança Alimentar e Nutricional. 2017;24(1):53-61.
18. Jannuzzi PM. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Estudos em Avaliação Educacional. 2014;25(58):22-42. DOI: 10.18222/eae255820142916. Disponível em: https://publicacoes.fcc.org.br/eae/article/view/2916. Acesso em: 11 jun. 2019.
19. Brasil. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República; 2018.
20. Brousselle A (Org). Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011.
21. Tenuta N, Alves Teixeira R, Paes-Sousa R. A Lógica da Intervenção e os Indicadores de Monitoramento e Avaliação de Bancos de Alimentos Brasileiros. Nau Soc. 2023;14(26):1279-. Disponível em: https://periodicos.ufba.br/index.php/nausocial/article/view/51056.
22. Draibe SM. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: Barreira MCRN, Carvalho MCB, editors. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP; 2001. p. 13-42.
23. Donabedian A. Basic approaches to assessment: structure, process and outcome. In: Explorations in Quality Assessment and Monitoring (A. Donabedian), vol. I, Ann Arbor, Michigan: Health Adiministration Press; 1980. p. 77-125.
24. Jannuzzi PM. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas, SP: Editora Alínea; 2016.
25. Brasil. Ministério do Desenvolvimento Social e Combate à Fome. Metodologias e instrumentos de pesquisas de avaliação de programas do MDS: Bolsa Família, Assistência Social, Segurança Alimentar e Nutricional. Rômulo Paes-Sousa (org.); Jeni Vaitsman (org.). Brasília, DF: MDS, SAGI; 2007.
As atividades de monitoramento e avaliação de programas têm crescido de forma exitosa e estão se consolidando no Brasil, à guisa de construir um reconhecimento e uma materialização dos serviços prestados à sociedade e das transformações por elas geradas1,2,3.
Dada a expressiva e reconhecida relevância para a garantia do direito humano à alimentação adequada, em um contexto de alta prevalência de insegurança alimentar e nutricional, os bancos de alimentos brasileiros são equipamentos ou infraestruturas da agenda nacional de segurança alimentar e nutricional (SAN) que requerem uma arquitetura de avaliação visando a otimização da sua gestão e processos4.
O conceito dado pela Rede Brasileira de Bancos de Alimentos (RBBA) define bancos de alimentos como “estruturas físicas ou logísticas que ofertam o serviço de captação ou de recepção e de distribuição gratuita de gêneros alimentícios oriundos de doações dos setores público ou privado a instituições públicas ou privadas prestadoras de serviços de assistência social, de proteção e de defesa civil; instituições de ensino; unidades de acolhimento institucional de crianças e adolescentes; penitenciárias, cadeias públicas e unidades de internação; estabelecimentos de saúde; e outras unidades de alimentação e de nutrição” 5.
As definições e descrições recentes dadas aos bancos de alimentos concordam que são infraestruturas de captação e distribuição gratuita de alimentos a instituições socioassistenciais para fornecimento de alimentação a pessoas em vulnerabilidade social, alimentar e nutricional5,6,7,8. Embora não esteja pactuado em normativas nacionais que os alimentos provenham de potenciais perdas e desperdícios, verificou-se que esta é a origem mais comum dos alimentos transacionados pela ampla rede nacional formada por 217 unidades7.
A caracterização mais recente dos bancos de alimentos identificou quatro modalidades de gestão e duas modalidades operacionais7. Cabe distingui-las porque o reconhecimento do objeto de análise é fundamental para definição da metodologia utilizada na pesquisa de avaliação.
As modalidades de gestão identificadas são: I) bancos de alimentos públicos criados e geridos pelo poder público das prefeituras municipais, muitos deles com apoio financeiro do Governo Federal Brasileiro para implantação; II) bancos de alimentos da Rede Mesa Brasil pertencentes ao Serviço Social do Comércio (Sesc), implantados e mantidos pelos seus Departamentos Regionais em cada estado, muitas vezes com apoio financeiro do Departamento Nacional da instituição; III) bancos de alimentos de Organizações da Sociedade Civil (OSC) que se mantêm com recursos de empresas e outros parceiros mantenedores; de editais de instituições públicas e/ou privadas de apoio a ações sociais; e de doações financeiras, de serviços ou de produtos de apoiadores; IV) bancos de alimentos implantados em Centrais de Abastecimento, por iniciativa e responsabilidade de manutenção da própria gestão7.
As duas modalidades operacionais descritas pelo mesmo estudo são: I) modalidade convencional, em que o banco de alimentos possui sede em imóvel que dispõe de estrutura física para serviços administrativos e operacionais com no mínimo, triagem, armazenamento, porcionamento e distribuição dos alimentos para doação aos beneficiários, podendo dispor de espaço e equipagem para processamento e beneficiamento dos alimentos. Geralmente, o parceiro doador realiza as entregas no banco de alimentos, cabendo aos beneficiários a retirada das doações também no mesmo local; II) modalidade colheita urbana, em que o banco de alimentos possui sede em imóvel apenas para a realização de atividades administrativas. A equipe operacional do banco de alimentos faz coleta no local indicado pelo parceiro doador, realizando, no próprio estabelecimento, a triagem e o porcionamento. A entrega dos alimentos é imediata às instituições e/ou famílias beneficiárias7.
Face à escassez de um locus de análise sobre os bancos de alimentos brasileiros9,10,11 e, ainda, considerando a pluralidade detes equipamentos no Brasil, torna-se imprescindível a proposição de uma metodologia de avaliação adequada e que seja sensível à diversidade destas experiências.
Até março de 2023, os estudos nacionais disponíveis sobre avaliação de bancos de alimentos não detalhavam o desenho metodológico utilizado e as abordagens de análise dos resultados de modo a proporcionar a replicabilidade da avaliação12,13,14,15,16,17.
Dessa forma, o objetivo deste estudo é apresentar um roteiro metodológico e instrumentos para avaliação de implementação de bancos de alimentos brasileiros, de modo que os interessados possam aplicá-los e gerar resultados sobre a implementação de um ou mais bancos de alimentos.
Métodos
O presente trabalho de cunho metodológico apresenta um plano para avaliação de implementação de bancos de alimentos brasileiros, descrevendo o percurso e apresentando instrumentos para avaliação.
Trata-se de uma proposta de avaliação formativa de bancos de alimentos em funcionamento, de caráter observacional, natureza exploratória e corte transversal. Segundo a tipologia de avaliação de programas, caracteriza-se como uma avaliação ex post, externa, utilizando a metodologia de avaliação de implementação, também denominada de avaliação de processos.
A avaliação de implementação é uma estratégia de análise realizada concomitantemente à operacionalização do programa que será avaliado (ex post)18,19. É direcionada aos processos, uma vez que verifica a correspondência entre o planejado e o implementado (executado), analisando a conformidade das ações com o design do programa. Além disso, permite estabelecer os subprocessos que não estão regulamentados em nível macro do seu desenho3,20.
Para identificar se a relação entre insumos, processos e produtos está compatível com o esperado e, se ela pode ser aprimorada, uma sequência de etapas para avaliação de implementação é recomendada20.
O plano para avaliação de implementação está compreendido em cinco etapas: I) Dimensões analíticas para avaliação de implementação de programas; II) Dimensões analíticas e elementos para avaliação de implementação de bancos de alimentos brasileiros; III) Matrizes de referência contendo indicadores para avaliação de implementação de bancos de alimentos brasileiros; IV) Instrumentos para coleta de dados; e V) Métodos para quantificação dos resultados da avaliação da implementação.
Para a construção das dimensões analíticas de avaliação de implementação de bancos de alimentos, utilizou-se como referências o ensaio teórico sobre as dimensões analíticas para avaliação da implementação de políticas e programas públicos no Brasil proposto por Lima e Mendes3, e o Mapa de Processos e Resultados (MaPR) elaborado por Tenuta, Teixeira e Paes-Sousa21. Baseando-se nos referidos referenciais, os autores, com expertise em bancos de alimentos, adaptaram as seis dimensões analíticas para bancos de alimentos brasileiros, abarcando os elementos para avaliação.
As matrizes de referência para avaliação de implementação são estratégias para ir além da descrição dos pocessos e sistemas18. Draibe recomenda quantificar as dimensões a serem analisadas de modo a avaliar o processo de implementação e relacioná-lo com os resultados22. Para isso, duas matrizes de referência foram propostas, proporcionando a quantificação das dimensões analíticas elaboradas.
A elaboração de dois instrumentos para coleta de dados foi orientada pelo referencial teórico de Donabedian23, em que estrutura, processo e resultado foram as dimensões abarcadas nas perguntas de investigação que respondem aos indicadores.
Os métodos para quantificação dos resultados da avaliação de implementação estão ancorados nas indicações de Draibe22 para se ter, ao fim, o nível da implementação alcançado.
A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa (CEP) da UFVJM, sob o número 84581318.0.0000.5108, sendo analisado e aprovado sob o parecer nº 2.633.526.
Resultados e Discussão
Os bancos de alimentos brasileiros integram a agenda da SAN desde a década de 1990. Mesmo havendo bancos de alimentos com implantação mais recente, a estratégia utilizada por estas infraestruturas já está amadurecida de tal modo que justifique uma metodologia que avalie seus processos, ou seja, a avaliação de implementação, embora sua implementação esteja ocorrendo de modo contínuo3,22.
Para tanto, um plano de avaliação para avaliação da implementação de bancos de alimentos brasileiros foi elaborado e está apresentado como um roteiro metodológico, permitindo sua aplicação para avaliação de um ou mais bancos de alimentos.
Plano para avaliação de implementação de bancos de alimentos brasileiros
O plano para avaliação de implementação é uma sucessão de cinco etapas que orienta a realização da avaliação de bancos de alimentos brasileiros visando a identificação de potencialidades e fragilidades, para posterior planejamento de melhorias da sua atuação (Figura 1). Pode ser utilizado na íntegra para avaliação de processos em um dado momento do ciclo de vida do banco de alimentos ou, até mesmo, de uma rede de bancos de alimentos. Mas também pode ser adaptado e servir ao monitoramento da rotina operacional e de gestão de unidades pelos seus gestores e técnicos.
FIGURA 1. Etapas do plano para avaliação de implementação de bancos de alimentos brasileiros.
I) Dimensões analíticas para avaliação da implementação de programas
Lima e Mendes3, a partir de uma revisão bibliográfica sobre avaliação de implementação de programas, propuseram seis dimensões analíticas de avaliação e respectivas definições para orientar essa metodologia de análise (Quadro 1).
É necessário evidenciar os limites do uso dessa estratégia de avaliação, conforme os autores dessa metodologia sinalizaram. Há inter-relações entre as dimensões analíticas e todas influenciam e são influenciadas, de alguma forma, a implementação de políticas e programas e, por sua vez, sua avaliação3. Na ocasião de aplicação da presente metodologia, caso haja dificuldade ou desconhecimento de alguma informação das dimensões analíticas, os resultados da avaliação podem ser prejudicados.
II) Dimensões analíticas e elementos para avaliação de implementação de bancos de alimentos brasileiros
Tenuta, Teixeira e Paes-Sousa21 elaboraram o Mapa de Processos e Resultados (MaPR) para bancos de alimentos brasileiros para sintetizar o seu funcionamento, o seu contexto de operação, e para apontar como seus diversos componentes-insumos, processos e produtos se alinham para produzir os resultados desejados. Ancorado neste instrumento, o quadro 2 apresenta os elementos do MaPR21 elencados nas dimensões analíticas propostas por Lima e Mendes3.
III) Instrumentos para coleta de dados
O desenvolvimento de dois instrumento para coleta de dados para pesquisa de avaliação de implementação foi orientado por pesquisa bibliográfica4,15,23,24,25. Tenuta15 adaptou variáveis de avaliação referentes às dimensões de estrutura, processo e resultado, utilizadas originalmente para avaliação da qualidade de serviços de saúde23, aos conceitos dos bancos de alimentos.
As variáveis de avaliação de bancos de alimentos propostas por Tenuta15 adaptadas para este estudo orientaram a construção das perguntas de dois questionários semiestruturados. O primeiro questionário foi produzido para caracterizar e tipificar as dimensões estrutura-processo-resultado dos equipamentos e o segundo instrumento, também direcionado a analisar a tríade proposta por Tenuta15, foi construído para permitir maior detalhamento na investigação.
A avaliação da validade e confiabilidade dos conteúdos contou com a colaboração de gestores e técnicos de onze bancos de alimentos, gerando as versões finais para aplicação. A versão final do primeiro questionário continha 69 perguntas e a versão final do segundo questionário continha 200 questões4.
Os dois questionários intentam apresentar uma ampla gama de perguntas de investigação sobre estrutura, processo e resultado e podem ser utilizados parcial ou integralmente para orientar o preenchimento de matrizes de referência de indicadores para avaliação de implementação de bancos de alimentos brasileiros.
O processo de desenvolvimento dos questionários – assim como das matrizes apresentadas a seguir – envolveu uma busca bibliográfica extensa sobre os conteúdos relacionados a bancos de alimentos abarcados nas dimensões analíticas da avaliação da implementação. Embora escassa a literatura sobre a temática, foi possível gerar uma grande diversidade de informações, gerando o desafio de chegar a uma versão final dos instrumentos que não fosse demasiadamente longa e, ao mesmo tempo, que fosse capaz de atender os objetivos da pesquisa.
IV) Matrizes de referência contendo indicadores de avaliação para implementação de bancos de alimentos brasileiros
Draibe22 recomenda que, nas avaliações de implementação, as variáveis qualitativas, que descrevem os elementos de processos, sejam transcritas e transformadas em atributos mensuráveis e que recebam tratamentos quantitativos.
Para quantificar a análise, foi elaborada uma Matriz de referência para avaliação da implementação de bancos de alimentos brasileiros (Tabela S1), com as seguintes etapas: a) seleção das perguntas dos questionários que respondessem a cada um dos elementos para avaliação de implementação; b) transcrição para a Matriz das perguntas dos questionários para o formato de indicadores quantitativos de avaliação. As perguntas dos questionários foram transcritas de modo a construir indicadores com opções de respostas binárias (Sim e Não, pontuadas em 2 e 0, respectivamente) e tricategóricas (Sim, totalmente, Sim, parcialmente, e Não, pontuadas em 2, 1 e 0, respectivamente). Às perguntas que tinham condicionantes anteriores foram adicionadas opções de respostas “Não se aplica”, que não foram pontuadas. A Matriz construída contou com 93 indicadores distribuídos nas seis dimensões analíticas.
Tenuta et al.7 mapearam duas modalidades operacionais executadas pelos bancos de alimentos brasileiros que carecem de estruturas físicas mínimas específicas para cada modalidade. Os quadros 3 e 4 apresentam a Matriz de referência para avaliação da estrutura física dos bancos de alimentos que operam as modalidades convencional (composta por sete setores) e colheita urbana/rural (composta por um setor). Quando preenchida a Matriz de referência para avaliação da estrutura física dos bancos de alimentos, o resultado deverá ser transcrito para responder ao indicador “O banco de alimentos possui estrutura física mínima compatível com a modalidade operacional que executa” da Matriz de referência para avaliação da implementação de bancos de alimentos brasileiros.
Quando a unidade convencional possuir todos os sete setores, o indicador de estrutura física mínima recebe a resposta “Sim”. Quando a unidade não possuir um setor ou mais, o indicador da estrutura física mínima será classificado em “Não”. Quanto à classificação de qualidade dos setores, quando todos os sete setores forem classificados em “bom a excelente”, ao indicador será dada a resposta “Sim, totalmente”. Quando quatro ou mais setores forem classificados como “bom a excelente”, a resposta dada será “Sim, parcialmente”. Por fim, quando três ou menos setores forem classificados como “bom a excelente”, o indicador será marcado como “Não”. Para unidades que operam colheita urbana/rural, a estrutura física mínima trata-se de apenas um setor, de modo que a resposta da Matriz de referência para avaliação da estrutura física será apenas transcrita para a Matriz de referência para avaliação da implementação de bancos de alimentos brasileiros.
A classificação da implementação deverá ser realizada por meio do preenchimento das Matrizes de referência. Para tanto, as informações dos bancos de alimentos deverão ser extraídas de bancos de dados construídos a partir das estratégias de coleta de dados definidas pela equipe da avaliação.
V) Métodos para quantificação dos resultados da avaliação da implementação
Para cada atributo da Matriz de referência para avaliação da implementação de bancos de alimentos brasileiros, deverá ser definido o critério, o método de pontuação, parâmetro, valor atribuído e o ponto de corte para analisar se os resultados encontrados estão, ou não, em conformidade com os padrões estabelecidos.
Para a construção dos escores das dimensões analíticas, deverão ser determinados os valores observados (? da pontuação na dimensão analítica) e calculado o diagnóstico de implementação para cada dimensão (? da pontuação alcançada / ? da pontuação máxima da dimensão x 100). Posteriormente, deverá ser realizado o somatório de cada dimensão analítica para cálculo do diagnóstico da implementação.
Os escores obtidos por meio do somatório das dimensões analíticas deverão ser transformados em percentuais, com referência à pontuação máxima possível. A partir desses percentuais, os bancos de alimentos serão categorizados nos diagnósticos de implementação em quatro estratos: 75,1% a 100%: Implementação totalmente efetivada; 50,1% a 75%: Implementação parcialmente efetivada; 25,1% a 50%: Implementação não efetivada; 1% a 25%: Implementação crítica.
A análise quanto à adequação das modalidades de gestão às dimensões analíticas será realizada por meio do percentual de bancos de alimentos que obtiverem percentuais maiores do que 50,1% em cada dimensão (Nº de bancos de alimentos com percentual maior do que 50,1% na dimensão / Total de bancos de alimentos da modalidade analisada x 100).
Para análise do status quo dos atributos que interferem na consecução dos objetivos fundamentais dos bancos de alimentos brasileiros, os 93 indicadores que compõem as seis dimensões analíticas serão analisados e encaminhados para a classificação em dois estratos de desempenho, a partir da pontuação alcançada, por cada modalidade de gestão: 1) Desempenho potencializado: quando a média da pontuação de todas as unidades de cada modalidade de gestão alcançar valor igual ou maior a 75% da pontuação máxima possível do indicador; 2) Desempenho fragilizado: quando a média da pontuação de todas as unidades de cada modalidade de gestão alcançar valor igual ou menor a 25% da pontuação máxima possível do indicador. Os indicadores cujas médias situarem-se entre 25% e 75% não serão classificados, entendendo que não se destacarão positiva ou negativamente. Cabe destacar que podem haver desempenhos distintos para indicadores de uma mesma dimensão analítica. Nestas situações, é necessária uma avaliação individualizada para cada indicador, assim como uma interpretação crítica da dimensão analítica.
Análises adicionais dos dados poderão ser realizadas de acordo com o objetivo da avaliação, o tamanho da amostra, os custos disponíveis para análise, e a disponibilidade da base de dados. Os métodos estatísticos escolhidos gerarão resultados sob diversas perspectivas e cabe à equipe da pesquisa definir qual ou quais melhor atende(m) a avaliação.
QUADRO 1. Dimensões analíticas para avaliação de implementação de programas.
QUADRO 2. Dimensões analíticas e elementos para avaliação da implementação de bancos de alimentos brasileiros.
Considerações finais
A proposta metodológica para avaliação de implementação de bancos de alimentos brasileiros apresentada serve à agenda nacional de bancos de alimentos de modo a potencializar as contribuições das experiências à redução de perdas e desperdícios de alimentos, à garantia da segurança alimentar e nutricional, e à realização de educação alimentar e nutricional.
O importante a ressaltar é que a proposta apresentada em tela foi construída de modo que os bancos de alimentos fossem avaliados em sua totalidade no que tange questões de estrutura, processos e resultados. Assim, cabe a ponderação, em caso de adaptação dos instrumentos, que as alterações sejam feitas com cautela para que informações imprescindíveis não sejam excluídas, ou que a organização de critérios de avaliação sejam fiéis aos objetivos propostos pela avaliação.
Sem distinguir a modalidade operacional e de gestão, o conteúdo das Matrizes foi elaborado de modo a contemplar a realidade de contexto, implantação, operacionalização, atingimento dos resultados e alcance dos objetivos de qualquer banco de alimentos que estiver sendo avaliado.
Espera-se que esta produção seja uma contribuição aos bancos de alimentos brasileiros e, também, à comunidade internacional, em especial, com relação aos interessados na temática avaliação. E, ainda, que seja uma contribuição relevante para o delineamento de metodologias cada vez mais acuradas a serem utilizadas em avaliação de bancos de alimentos, permitindo a replicação e a comparação dos resultados ao longo do tempo.
Referências
1. Jannuzzi PM. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas. 2011;36:251-275. Disponível em: https://www.ipea.gov.br/ppp/index.php/PPP/article/view/228/212. Acesso em: 10 jun. 2019.
2. Oliveira LR, Passador CS. Ensaio teórico sobre as avaliações de políticas públicas. Cadernos EBAPE.BR. 2019;17(2):324-337. Disponível em: http://www.spell.org.br/documentos/ver/53445/ensaio-teorico-sobre-as-avaliacoes-de-politicas-publicas/i/pt-br. Acesso em: 03 out. 2022.
3. Lima WAS, Mendes VLPS. Avaliação da Implementação de Políticas e Programas Públicos no Brasil: uma discussão das dimensões analíticas. Revista Meta: Avaliação. 2021;13(40):674-699. Disponível em: https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/3480. Acesso em: 02 ago. 2022. doi: http://dx.doi.org/10.22347/2175-2753v13i40.3480.
4. Tenuta N. Bancos de Alimentos Brasileiros: Contribuições para a Segurança Alimentar e Nutricional, Redução de Perdas e Desperdícios de Alimentos e Educação Alimentar e Nutricional. [tese]. Belo Horizonte: IRR/Fiocruz Minas; 2023.
5. Trevisan AP, Van Bellen HM. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista De Administração Pública. 2008;42(3). DOI: 10.1590/S0034-76122008000300005.
6. Fagundes A, de Cássia Lisboa Ribeiro R, de Brito ERB, Recine E, Rocha C. Public infrastructure for food and nutrition security in Brazil: fulfilling the constitutional commitment to the human right to adequate food. Food Secur. 2022;14(4):897-905. DOI: 10.1007/s12571-022-01272-1. Epub 2022 Mar 3. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8893935/. Acesso em: 31 maio. 2022.
7. Tenuta N, Barros T, Teixeira RA, Paes-Sousa R. Brazilian Food Banks: Overview and Perspectives. Int J Environ Res Public Health. 2021;18:12598. Disponível em: https://www.arca.fiocruz.br/bitstream/handle/icict/53466/Brazilian%20Food%20Banks_%20Overview%20and%20Perspectives.pdf?sequence=2. Acesso em: 09. mai. 2022.
8. Brasil. Portaria nº 17, de 14 de abril de 2016. Institui a Rede Brasileira de Bancos de Alimentos. Brasília, DF, Diário Oficial da União de 15 de abril de 2016.
9. Garcia MT, Silva ER da, Mustapha RD, Coelho DEP, Maurelli G, Ferreira RAB, Amaral NTK do, Bógus CM. Avaliação dos bancos de alimentos: uma revisão integrativa da literatura nacional. Segurança Alimentar e Nutricional. 2022;28:e021034. DOI: 10.20396/san.v28i00.8665406. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/san/article/view/8665406. Acesso em: 31 maio. 2022.
10. González-Torre PL, Coque J. How is a food bank managed? Different profiles in Spain. Agric Hum Values. 2016;33:89-100. DOI: 10.1007/s10460-015-9595-x.
11. Simmet A, Tinnemann P, Stroebele-Benschop N. The German Food Bank System and Its Users-A Cross-Sectional Study. Int J Environ Res Public Health. 2018;15:1485.
12. Brasil. Ministério do Desenvolvimento Social e Combate à Fome. Pesquisa de Avaliação do Programa Bancos de Alimentos. Brasília, DF: SAGI; Rede Desenvolvimento, Ensino e Sociedade; 2006. (Sumário Executivo).
13. Burlandy L, et al. Avaliação do Programa Banco de Alimentos no Brasil. In: Cadernos de Estudos: Desenvolvimento social em debate. Rede de equipamentos públicos de alimentação e nutrição: resultados de avaliações. Brasília, DF: MDS; SAGI; 2010. n.14, 164 p.
14. FEC, DATAUFF. Pesquisa de Avaliação do Programa Banco de Alimentos - Segunda Avaliação. 2011.
15. Tenuta N. Análise tridimensional da situação dos Bancos de Alimentos de Minas Gerais, Brasil. [dissertação]. Diamantina: UFVJM; 2014.
16. Costa LA, et al. Capacidade de resposta de Bancos de Alimentos na captação, distribuição e redução de desperdício de alimentos. Revista Baiana de Saúde Pública. 2014;38(1):30-48.
17. Tenuta N. Teixeira RA. A eficácia dos Bancos de Alimentos de Minas Gerais no combate às perdas e desperdícios de alimentos. Segurança Alimentar e Nutricional. 2017;24(1):53-61.
18. Jannuzzi PM. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Estudos em Avaliação Educacional. 2014;25(58):22-42. DOI: 10.18222/eae255820142916. Disponível em: https://publicacoes.fcc.org.br/eae/article/view/2916. Acesso em: 11 jun. 2019.
19. Brasil. Avaliação de políticas públicas: guia prático de análise ex post, volume 2. Brasília: Casa Civil da Presidência da República; 2018.
20. Brousselle A (Org). Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011.
21. Tenuta N, Alves Teixeira R, Paes-Sousa R. A Lógica da Intervenção e os Indicadores de Monitoramento e Avaliação de Bancos de Alimentos Brasileiros. Nau Soc. 2023;14(26):1279-. Disponível em: https://periodicos.ufba.br/index.php/nausocial/article/view/51056.
22. Draibe SM. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: Barreira MCRN, Carvalho MCB, editors. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP; 2001. p. 13-42.
23. Donabedian A. Basic approaches to assessment: structure, process and outcome. In: Explorations in Quality Assessment and Monitoring (A. Donabedian), vol. I, Ann Arbor, Michigan: Health Adiministration Press; 1980. p. 77-125.
24. Jannuzzi PM. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas, SP: Editora Alínea; 2016.
25. Brasil. Ministério do Desenvolvimento Social e Combate à Fome. Metodologias e instrumentos de pesquisas de avaliação de programas do MDS: Bolsa Família, Assistência Social, Segurança Alimentar e Nutricional. Rômulo Paes-Sousa (org.); Jeni Vaitsman (org.). Brasília, DF: MDS, SAGI; 2007.
