Artigos

CONSTRUINDO O MODELO TEÓRICO DE AVALIAÇÃO
A implantação, no Brasil, pode ser entendida como o conjunto de atividades pelas quais se pretende que os objetivos de um programa ou intervenção, tidos como desejáveis, sejam alcançados. A implantação é compreendida como etapa inicial do desenvolvimento de uma intervenção, passando a implementação a ser concebida como a intervenção em curso, imediatamente após à fase inicial de implantação.
Embora possa ocorrer coincidência entre a figura do(s) formulador(es) e a figura do(s) implementador(es), na implantação a autoridade central procura induzir agentes (implementadores) a colocarem em prática objetivos e estratégias que lhe são muitas vezes alheias.
A implantação, então, seria a habilidade de forjar os subseqüentes elos da cadeia causal com vistas a obter os resultados desejados. A partir desse momento, desencadeado esse movimento, se distingue cada vez menos as condições iniciais e a cadeia causal subseqüente, já que as circunstâncias se modificam e as metas se alteram no próprio movimento que conduz o programa1.
Na visão clássica da ação governamental, a implantação constitui umas das fases do policy cycle (figura 1). Corresponde à execução de atividades que permitem que ações sejam implementadas com vistas à obtenção de metas definidas no processo de formulação das políticas2.
Presume-se que, com base em um diagnóstico prévio e em um sistema adequado de informações, na fase de formulação são definidas não só as metas mas também os recursos e o horizonte temporal da atividade de planejamento. Definidos esses dois parâmetros, pode-se aferir o efeito de um programa: eficiência, efetividade e eficácia.
Essa visão clássica do ciclo de política (policy cycle) não considera os aspectos relativos à extensão da implantação e seus efeitos retro-alimentadores sobre a formulação da política. Em outras palavras, não considera o policy cycle como um processo, tratando a intervenção como uma variável dicotômica2. A implantação é entendida, fundamentalmente, como uma ação vertical de origem governamental, expressa em programas ou projetos de intervenção.
Numa perspectiva menos simplista, onde a formulação e a implantação de políticas são vistas como parte de um processo, essa última também aparece como dimensão importante. As particularidades da implantação de políticas são incorporadas à análise. Em sua versão mais normativa, essa perspectiva propõe que o monitoramento e a avaliação das políticas e/ou dos programas sejam considerados instrumentos que permitam redirecionar e/ou redefinir estratégias3.

Figura 1. A visão do police cycle

Uma discussão fundamental na análise de implantação é a necessidade de modelos teóricos ou lógicos. Tradicionalmente, a pesquisa avaliativa se referia à avaliação dos resultados ou efeitos líquidos dos programas (impactos), sendo criticada pela sua limitação em não considerar as modalidades de implantação nos diferentes contextos, nem os mecanismos intervenientes associados a esses efeitos (black-box experiment). Denis et al.4 fazem uma ampla revisão das críticas feitas a este tipo de avaliação, onde uma intervenção é tratada simplesmente como variável dicotômica, impermeável aos meios em que ela é introduzida. Eles apresentam as vantagens de uma avaliação orientada por um modelo teórico (theory-driven evaluation - TDE) explicitando como o programa supostamente funciona (indispensável na análise de implantação), contrastando assim com uma orientação pelo método em que a incerteza é reduzida apenas pela alocação aleatória ou controle estatístico no momento da análise dos dados5. Sem dúvida, estes mecanismos têm importância inquestionável para reduzir viéses que comprometam a validade interna, mas não podem esclarecer o como e o porquê dos programas atuarem nos grupos populacionais. A possibilidade de dar estas respostas, principal vantagem da TDE, é portanto uma contribuição fundamental para a reprodutibilidade ou validade externa das intervenções .
Alguns autores4 concordam que a perspectiva de análise do policy cycle como um processo representa um avanço em relação à visão clássica da questão, entretanto consideram que ela está embasada em premissas equivocadas. Em primeiro lugar, ela confere um primado excessivo à atividade de formulação, em detrimento das outras dimensões. E, embora a questão da implantação e do monitoramento seja incorporada à análise, a formulação é vista como uma atividade relativamente não problemática. Assume-se que:
1. o diagnóstico que informa a formulação de políticas está essencialmente correto;
2. o formulador dispõe de todas as informações necessárias ao desenho das propostas programáticas, e
3. o formulador dispõe de um modelo causal verdadeiro.

Esse último aspecto é essencial, na medida em que toda política pública está assentada em um modelo causal, freqüentemente não explicitado. Esse modelo causal consiste de hipóteses e pressupostos sobre determinados fenômenos. No caso do Programa de Controle da Tuberculose (PCT), são apresentados, no quadro 1, os pressupostos ou hipóteses gerais da implantação do programa. Esses pressupostos são essenciais para a elaboração dos modelos lógico e teórico da avaliação.

Quadro 1. Pressupostos ou Hipóteses gerais (HG) da Análise de Implantação do PCT

Partindo do pressuposto acima, podemos verificar que a implantação de políticas constantemente orienta novas políticas. Como a implantação implica em tomada de decisões, ela própria se constitui em fonte de informações para a formulação de políticas. As decisões na maioria das políticas setoriais constituem apenas inovações em relação a políticas existentes ou manutenção de políticas, realizando-se ajustes incrementais de metas, recursos e prazos de execução.
Nesse sentido, a idéia da avaliação como instrumento de redirecionamento deve ser substituída pela noção de avaliação como policy learning, ou seja, aprendizado na implantação de uma política pública. Essa idéia da implantação como trajetória pré-concebida deve dar lugar à constante reformulação, considerando diferentes influências contextuais – no limite da reversão ou da substituição da política. Portanto, a implantação e a avaliação de políticas devem ser entendidas como testes de modelos causais sujeitos à corroboração ou ao abandono das mesmas6.
Na figura 2 estão representados graficamente os pressupostos apresentados acima, considerando as externalidades, fatores que podem influenciar positiva ou negativamente a implantação, ou mesmo os efeitos, e, também os efeitos esperados da implantação do Programa de Controle da Tuberculose.

Figura 2. Modelo Teórico de Avaliação do Programa de Controle da Tuberculose

RAZÕES PARA AVALIAR PROGRAMAS E POLÍTICAS PÚBLICAS
Avaliar a implantação de um programa, ou um projeto, é particularmente importante quando a intervenção analisada é complexa e composta de elementos seqüenciais sobre os quais o contexto pode interagir de diferentes modos3.
Os estudos de avaliação de políticas e programas governamentais permitem que formuladores e implementadores sejam capazes de, objetivamente, tomar decisões com maior qualidade, otimizando o gasto público nas diversas atividades, objetos da intervenção estatal, identificando e superando pontos de estrangulamentos e destacando pontos que levam ao êxito dos programas. Conseqüentemente, surgem perspectivas racionais para implementar políticas públicas dotadas de maior capacidade de alcançar os resultados desejados pelos formuladores, em qualquer área de competência do governo.

A TEORIA DO PROGRAMA
Em avaliações de programas, é fundamental saber, não apenas o que o programa se propõe a atingir, ou atinge, mas, fundamentalmente, como se pretende atingir os objetivos. Um dos modos de entender o “como” um programa pretende atingir objetivos tem a ver com o que se entende por teoria do programa. Os especialistas, mais recentemente, têm estado em acordo de que todo programa ou política é dotado de uma teoria e a avaliação representa o teste desta teoria. Os avaliadores necessitam entender as premissas teóricas em que o programa se baseia, ou seja, de como se acredita que determinadas ações conduzem a determinados resultados para os beneficiários do programa. Neste sentido, todo programa se baseia em premissas ou hipóteses testáveis sobre os meios necessários para atingir determinados fins1,6,7 .
Para conhecer ou formular a teoria implícita de um programa ou política o avaliador parte para compreender, de modo geral, as idéias e premissas que ligam os inputs do programa aos objetivos pretendidos. A teoria de um programa ou política pública consiste em fornecer uma explicação das seqüências causais que articulam meios e fins gerados pelo programa, ou ainda um modelo plausível de como é esperado que o programa funcione. Em 2005, Chen6 afirma que a Teoria do Programa busca identificar recursos, atividades, e possíveis resultados desejados com o programa, e a especificação de uma cadeia causal de premissas ligando tais elementos. A análise com base na teoria do programa procura avaliar em que medida as atividades desencadeadas pelo mesmo provocam um conjunto específico de respostas para seus atores e beneficiários, permitindo comparar os estágios de formulação e implantação. Neste sentido, as análises centradas na Teoria tendem a dar ênfase na análise dos mecanismos que levam à mudança e não nas atividades de funcionamento do programa, e como estas tendem a gerar benefícios ou não para os seus clientes.
O ponto de partida para um estudo de avaliação com base na teoria do programa, portanto, seria formular um conjunto de teorias alternativas sobre atividades e mecanismos a serem testadas empiricamente. A construção de uma teoria do programa inclui as seguintes atividades: a) os inputs; b) as atividades operacionais , as quais representam o modo específico pelo qual o programa é implementado; c) resultados obtidos, que representam a cadeia de respostas para cada atividade; e d) os resultados esperados com a implantação.

O MODELO LÓGICO E O MODELO TEÓRICO
Os modelos teóricos, conhecidos no Canadá como modelos lógicos, constituem uma exigência governamental para avaliação das intervenções federais, desde o início dos anos 80, e são considerados extremamente práticos pelos avaliadores, ajudando-os a (re) estabelecer metas e objetivos e a conceber um instrumento de avaliação adequado. A construção do modelo teórico, para cada problema ou comportamento visado pelos programas, incluiria as seguintes especificações: a população alvo e as condições do contexto; o conteúdo do programa ou atributos necessários e suficientes para produzirem isolada e/ou integradamente os efeitos esperados (ingredientes ativos). Esta construção lógica pode derivar de várias fontes, como os resultados de pesquisas prévias, normas técnicas, experiência dos gestores e avaliadores. A relevância de um modelo teórico é de tal ordem que os avaliadores só deveriam avaliar políticas e programas que tenham explicitado sua teoria e as medidas ou indicadores correspondentes8. O modelo lógico fortalece as inferências de causalidade se os efeitos observados, ainda que indiretamente medidos, ‘are linked in a causal chain supported by prior research’. O Programa pode ser tratado em sua pluralidade, e também na singularidade de sub-programas ou projetos (families of logic models), criados para diferentes perspectivas ou detalhamentos, nunca tendo-se apenas um efeito desejado para os seus participantes, mas um conjunto de efeitos, lógica e hierarquicamente articulados em uma série de relações, associando componentes de serviço e de infra-estrutura, atividades produzidas e resultados de curto e longo prazo 9.

PROPOSTA DE UM MODELO PARA AUTO-AVALIAÇÃO DO PROGRAMA DE CONTROLE DA TUBERCULOSE

A proposta para construção do modelo lógico do PCT teve como base 3 estudos de avaliação de intervenções para o controle da tuberculose. São eles: Avaliação do Programa de Controle da Tuberculose: Estudo de casos na Amazônia Legal10, Avaliação do Programa de Controle da Tuberculose no município de Niterói-RJ: A integração entre unidade de saúde e de saúde da família11 e Indicators and Research Methods for Rapid Assessment of a Tuberculosis Control Programme: Case study of a rural area in South África12. Nos dois primeiros estudos os modelos foram desenvolvidos com uma construção teórica baseada em documentos oficias do Ministério da Saúde, como em outros tipos de publicações oficiais relativas ao tema. Já no estudo da África do Sul12, foi utilizado o Método Rápido de Avaliação (REM). O estudo nacional, na Amazônia Legal10, foi desenvolvido em parceria com o grupo técnico, para garantir a atualização e incorporação de evidências científicas disponíveis na literatura como sugere Reynolds 13.
O modelo proposto abrangeu os componentes político e institucional com seus respectivos produtos e resultados esperados, que servirão como padrão de julgamento da integralidade e qualidade das ações avaliadas
Na figura 3 está apresentada a proposta para o Modelo Lógico do PCT, demonstrando a lógica e a racionalidade da intervenção. Cabe destacar que nesse modelo estão apenas as grandes atividades com seus respectivos produtos e os resultados esperados.

Figura 3. Modelo Lógico do PCT (Adaptado de CDC, 1999)

A proposta de auto-avaliação aqui apresentada propõe a participação de todos os níveis de decisão, incluindo os profissionais participantes da intervenção. Além da participação dos avaliadores internos, outros pontos considerados foram: objetividade, rapidez, baixo custo, simplicidade e a pronta resposta. A premissa desse modelo, independente do nível de decisão, é a de que o gestor possa adaptá-lo para sua auto-avaliação incluindo novos indicadores, ou tipos de coleta e fontes de evidência, de acordo com as perguntas avaliativas pertinentes.
A matriz de auto-avaliação foi desenvolvida a partir das matrizes de análise e julgamento, constituídas de indicadores e padrões, utilizadas nos estudos nacionais de avaliação do PCT e da Matriz REM utilizada na avaliação do programa na África do Sul. Essas matrizes também foram adaptadas utilizando-se o checklist, Institucionalização da Avaliação14, mediante resposta à seguinte pergunta: “o que uma gerência de PCT necessitaria para avaliar, visando aumentar o rendimento das ações do PCT?”. Ao final, a matriz contemplou indicadores compreendendo as seguintes dimensões: (i) gestão técnico-financeira das ações de Monitoramento e Avaliação (M&A), (ii) integração a outros componentes da política estadual e nacional de institucionalização do M&A da atenção básica (intra e intersetorial) e (iii) desenvolvimento da capacidade avaliativa e dos processos de capacitação em M&A.
A matriz também contempla os tipos de coleta de dados, as fontes de evidências e a pontuação para o estabelecimento do gradiente de implantação. Para isto, foram atribuídos pontos às dimensões com base nos estudos nacionais. A pontuação máxima que cada dimensão poderá alcançar é a resultante dos somatórios do grupo de indicadores de cada dimensão (Σ dos pontos dos indicadores). Para a pontuação observada foram consideradas, quando pertinentes, as metas estabelecidas e as considerações da equipe de avaliadores internos do Ministério da Saúde8.
É importante frisar que essa classificação, ou mesmo a pontuação estipulada para os indicadores, pode mudar na dependência da mudança associada à intervenção, ou seja, um indicador operacional classificado como básico, poderá ser classificado como imprescindível em outro momento, ou vice-versa, permitindo a valoração diferenciada de mudanças operacionais ou de resultado. Essa flexibilidade permite a adequação das matrizes ao monitoramento e à avaliação de programas em estágios diferenciados de avaliação. Da mesma maneira, a Secretaria de Estado de Saúde (SES), a Secretaria Municipal de Saúde (SMS) ou mesmo os serviços de saúde poderão incluir novos tipos de coleta ou de fontes de evidência, de acordo com o problema a ser avaliado.
Para a construção do modelo teórico de avaliação nos estudos nacionais foram consideradas as dimensões: contexto externo, contexto organizacional, implantação das ações de controle e o efeito destas ações, como apresentado na matriz de análise e julgamento (Quadro 2).
Na matriz estão propostos os métodos de coleta de dados, de maneira que sejam rápidos e de fácil análise. Para atender a esse propósito, sugerimos entrevistas semi-estruturadas e pontuais, e a utilização de dados de registro de prontuários, livro de registro de casos de tuberculose utilizados no nível local de assistência e os Sistemas de Informação: Sistema Nacional de Agravos de Notificação (SINAN) e Sistema de Informação de Mortalidade (SIM).
Os passos para a realização da avaliação, utilizando a matriz de avaliação rápida como base, seriam, em primeiro lugar, a identificação do problema, e em segundo lugar as perguntas relacionadas ao problema que poderiam contribuir para a sua explicação e, dessa maneira, reorientar e/ou definir novas estratégias de intervenção.
Após a identificação do problema e a definição das perguntas, o gestor e a equipe que irá avaliar adaptarão a matriz e a pontuação de maneira a melhor atender os seus objetivos.
Na presente proposta foi estabelecida pontuação igual em todas as dimensões. Entretanto, estabeleceu-se uma maior pontuação internamente, com maior valor para dados quantitativos, devido à maior consistência e validade externa, além de apresentar um menor viés de informação.

Quadro 2. Matriz de Análise e Julgamento: modelo de distribuição das categorias, indicadores, fontes e tipos de coleta

DISCUSSÃO
Este modelo rápido de auto-avaliação está sendo proposto para auxiliar os gestores e os profissionais responsáveis a avaliar a implantação de intervenções com o intuito de: (i) identificar problemas; (ii) viabilizar recursos disponíveis para intervir; (iii) caracterizar fatores que impedem ou facilitam a execução de intervenções bem sucedidas; (iv) medir o efeito de uma intervenção e; (v) desenvolver mecanismos de se avaliar e responder a problemas críticos e pontuais em nível local 15.
Essa proposta não perde o foco na contribuição que a avaliação pode fornecer para o processo de implantação de um programa, não só no sentido de simplesmente apontar acertos e/ou falhas, mas também de participar no processo de construção, delineando possíveis soluções, reorganizando atividades e serviços, possibilitando caminhos alternativos para maximizar a utilização de recursos disponíveis e uma melhor conscientização, tanto dos profissionais como da própria comunidade, sobre seus problemas e necessidades16. Mas esta avaliação apresenta a necessidade da construção teórica, e principalmente a necessidade de avaliadores externos, o que se torna impraticável no acompanhamento da implantação de programas a nível local onde se precisa de respostas rápidas para decisão gerencial.
Os estudos de avaliação de intervenções para o controle da tuberculose, mencionados anteriormente, adotaram a estrutura de avaliação insumos-processo-resultados, com a utilização de diversos métodos e fontes de evidência. O estudo da África do Sul12 teve como principais resultados: o desconhecimento, por parte dos profissionais, de alguns aspectos da política de controle da tuberculose; a carência de recursos humanos e materiais para implementar algumas atividades; a falta de planejamento, de treinamento em serviço e de supervisão. Conseqüentemente, as ações educativas eram pouco realizadas e os pacientes tinham concepção equivocada do modo de transmissão da doença. Além disso, foi detectada dificuldade de acessibilidade aos serviços. No estudo realizado na Amazônia Legal10 os principais achados foram: a falta de integração entre o contexto organizacional e a Atenção Básica, a não-observância da relação entre a bacteriologia e o tipo de administração do tratamento, a não-obediência aos critérios recomendados para solicitação do incentivo financeiro que, por sua vez, não era revertido para o PCT. O estudo verificou que a falta de recursos financeiros e de autonomia técnico-gerencial impediam o melhor desenvolvimento do programa e, conseqüentemente, um melhor resultado das ações. Já no estudo desenvolvido no município de Niterói (RJ)11, observou-se a falta da sistemática integração entre o PCT e a Estratégia de Saúde da Família (ESF) como fator prejudicial ao melhor desenvolvimento das ações de controle. Além disso, também foram observados: uma autonomia técnico-gerencial parcial, não participando da gestão de recursos para a saúde; a distribuição desigual dos pacientes com tuberculose entre as unidades de saúde do município; a baixa cobertura da ESF, uma proporção pequena de pacientes em tratamento supervisionado e taxas de cura e abandono ainda inferiores às metas do programa.
No Brasil, o método REM tem sido utilizado como uma ferramenta para aumentar o rendimento das análises de implantação. Uma das características dos métodos rápidos é desenvolver um estudo operacional, com foco na identificação do problema, nas perguntas avaliativas, nos tipos de coleta de dados e nas fontes de evidência e na análise. Esse método não se preocupa com uma construção teórica como ocorre nas avaliações. Entretanto, como no Brasil as análises de implantação realizadas tiveram, geralmente, o objetivo de desenvolver modelos de avaliação, existe uma construção teórica para esses modelos e também para matriz REM utilizada.
A vantagem do modelo de auto-avaliação proposto é a sua construção a partir de um modelo teórico de avaliação, que teve como base a teoria do programa, dando assim maior validade interna e consistência. Outra vantagem é que todos os indicadores propostos foram testados.
Outras características do REM são: a ênfase na observação de campo com aquisição de informações de diferentes níveis, o seguimento de um padrão hierárquico refletindo a estrutura administrativa das Secretarias de Saúde e a ênfase maior na quantidade e qualidade do processo que nos resultados esperados. Pretende-se, desta forma, conseguir resultados rápidos e úteis para decisões gerenciais na implantação de programas 12.
Uma outra vantagem dessa metodologia é que a informação é adquirida por intermédio de diversas fontes, o que controla a validade interna. Os métodos quantitativo e qualitativo, apesar de suas diferenças, podem ser complementares no planejamento da pesquisa, na coleta de dados e na análise da informação. Enquanto um auxilia na delimitação do problema, na objetividade da coleta de dados e na utilização de técnicas estatísticas, o outro fornece aporte com relação à profundidade e ao detalhamento das informações obtidas 17. Esse processo, o uso simultâneo de diversas técnicas de coleta e diversas fontes de evidência com o objetivo de uma única resposta, denominado triangulação, auxilia a verificar continuamente a confiabilidade, validade e interpretação da informação coletada. Este é um dos fundamentos do estudo de caso18. “São necessárias múltiplas medidas, usando-se fontes diferentes e métodos diferentes, para garantir que a questão da avaliação seja respondida na íntegra” 19. Um dos grandes desafios da utilização de abordagem mista - quantitativa e qualitativa - é a análise. Como sintetizar estas duas abordagens diferentes?
Os métodos de coleta de dados – quantitativos e/ou qualitativos - vão originar uma abordagem analítica para cada um deles. Dessa forma, a confirmação, a triangulação e a ponderação das evidências podem ser usadas para chegarmos à síntese dos resultados18. A análise conjunta das diversas fontes de evidências permite o estabelecimento de “convergências de informações oriundas de fontes diferentes”19.
O processo de avaliação rápida consiste de inúmeras partes interdependentes, pois as descobertas obtidas com um módulo de avaliação serão relevantes para responder perguntas em outra etapa da avaliação. Um dos princípios centrais do REM é que os módulos de avaliação não são simplesmente utilizados seqüencialmente, mas são utilizados interativamente e cada um combinado ao outro 20.
É importante chamar a atenção para o aspecto atribuição, considerado como uma grande dificuldade na avaliação de programas, ou seja, se atribuir impactos de diferentes procedimentos de implantação e distinguir entre os vários fatores potencialmente contribuintes. Esta assertiva encontra consonância com a afirmação: “A avaliação formativa promove uma comparação entre os objetivos previstos de um programa e o que realmente está sendo alcançado”15 .

REFERÊNCIAS

1. Champagne F, Contandriopoulos AP. Elementos de Arquitetura dos Sistemas de Avaliação do desempenho dos sistemas de serviço de saúde. 10 Simpósio Internacional da Conferência Luso-Francófona da saúde (COLUFRAS). Maio de 2005. [mimeo].

2. Haney SR, Gonzales-Block M, Buxton MJ, Kogan M. The Utilization of Health Research in Policy-making: concepts, examples and methods of assessment.. Health Research Policy and Systems. 2003. Disponível: http://www.health-policy-systems.com/content/l/1/2. (acessado em 2007 maio).

3. Hartz ZMA, organizadora. Avaliação em Saúde: dos Modelos Conceituais à Prática na Análise da Implantação de Programas. Rio de Janeiro: Editora Fiocruz; 1997. p.19-28.

4. Denis JL, Champagne F. Análise de implantação. In: Hartz ZMA, organizador. Avaliação em Saúde: dos Modelos Conceituais à Prática na Análise da Implantação de Programas. Rio de Janeiro: Editora Fiocruz; 1997. p.49-88

5. Christie CA, Alkin MC. The User-oriented Evaluator’s Role in Formulating a Program Theory: Using a Theory-Driven Approach. American Journal of Evaluation 2003; 24 (3): 373-385.

6. Chen Huey-Tsyh. Assessing Implementation in The Mature Implementation Stage. In: Chen Huey-Tsyh. Practical Program Evaluation. Assessing and Improving Planning, Implementation, and Effectiveness. Ed. Sage Publications; 2005. p.15-43.

7. Hartz ZMA, Vieira-da-Silva LM, organizadores. Avaliação em Saúde: dos Modelos Teóricos à Prática na Avaliação de Programas e Sistemas de Saúde. Salvador : EDUFBA; Rio de Janeiro : Fiocruz: 2005.

8. Natal S, Santos EM, Alves CKA, Felisberto E, Santos ES, A S. Implementação do Projeto Estratégico de Fortalecimento da Capacidade Técnica em Monitoramento e Avaliação das Secretarias de Saúde: Avaliação formativa e Auto-avaliação. In: Hartz ZMA, Vieira-da-Silva L, Felisberto E, organizadores. Meta-avaliação da Atenção Básica em Saúde: teoria e prática.Rio de Janeiro: Editora FIOCRUZ. 2008. 200 pp

9. CDC (Centers for Disease Controls). Framework for Programa Evaluation in Public Health. MMWR,48 (RR-11) 1999: 40 pp.

10. Natal S, Santos EM, Hartz ZMA, Patroclo MA, Cruz M. Avaliação do Programa de Controle da Tuberculose: Estudo de casos na Amazônia Legal. Boletim de Pneumologia Sanitária 2004; 12 (2): 91-109, 2004.

11. Oliveira, LGD. Avaliação do Programa de Controle da Tuberculose no município de Niterói-RJ: A integração entre a unidade de saúde e a unidade de saúde da família [dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública, Fiocruz; 2007.

12. Lee T, Price M). Indicators and research methods for rapid assessment of a tuberculosis control programme: Case study of a rural area in South Africa. Tubercle and Lung Disease 1995; 76(5): 441-9.

13. Reynolds AJ. Confirmatory Program Evaluation: a Method for Strengthening Causal Inference. American Journal of Evaluation 1998; 19(2): 203-221.

14. Stufflebeam DLO. Modelo CIPP para Avaliação. In: Introdução à Avaliação de Programas Sociais. Coletânea de Textos. Instituto Fonte, 2004.

15. Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saúde Pública 2008; 24: 1-12.

16. Samico I, Felisberto E, Mendes M. Uso da Avaliação Formativa para análise de serviços integrados para crianças. Revista do IMIP 2000; 14 (2) : 192-195.

17. Richardson RJ. Pesquisa Social: métodos e técnicas. São Paulo: Ed Atlas; 1999

18. Yin RK. Estudo de Caso: planejamento e métodos. 3ª ed. Porto Alegre: Bookman; 2005.

19. Whorten BR Sanders JR, Fitzpatrick JL. Avaliação de Programas: Concepções e Práticas. São Paulo : Ed. Gente, 2004.

20. Miles McNall M, Foster-Fishman PG. Methods of Rapid Evaluation, Assessment, and Appraisal. American Journal of Evaluation 2007; 28 (2): 151-168.