0007/2007 - Auto-avaliação nos programas de pós-graduação na área da saúde coletiva: características e limitações
Self evaluation in public health post-graduate programs: caractheristics and limitatons
Autor:
• Virginia Alonso Hortale - Virginia Alonso Hortale - Rio de Janeiro, RJ - Escola Nacional de Saúde Pública - <virginia@ensp.fiocruz.br>ORCID: https://orcid.org/0000-0002-4224-9838
Área Temática:
Não CategorizadoResumo:
O artigo tem como objetivo discutir as características e limitações da avaliação interna ou auto-avaliação dos Programas de pós-graduação stricto sensu da área de Saúde Coletiva. Para tanto, realizou-se um estudo com base nos relatórios dos 25 Programas que participaram da avaliação trienal (2001-2003) da CAPES. Para fins de análise levou-se em consideração a explicitação de três aspectos: (a) instrumentos e/ou procedimentos utilizados; (b) processo de auto-avaliação e (c) produto desse processo visando a melhoria da qualidade do programa. Os resultados mostraram que os instrumentos/procedimentos utilizados nos Programas são variados e usados de forma assistemática. Quanto aos processos desencadeados para alcançar os produtos, na maioria dos Programas não ficou explicitado como eles ocorrem e se ocorrem, pois os produtos informados nem sempre têm relação direta com os processos desenvolvidos e com a melhoria da qualidade do Programa. Discute-se a importância de fazer da auto-avaliação um instrumento de crítica - no sentido de reconhecimento das possibilidades e limites de um processo ou instituição – e de tomada de decisões. Sugere-se a implementação de estruturas básicas de funcionamento, dentre elas: grupo de trabalho e equipe de coordenação do processo de avaliação interna; participação efetiva dos integrantes da instituição; compromisso dos dirigentes e do corpo de pesquisadores/professores; informações confiáveis; utilização efetiva dos resultados obtidos.PALAVRAS-CHAVE: Educação Superior; Programas de pós-graduação em saúde
Abstract:
ABSTRACT: the objective of this paper is to discuss caractheristics and limitations of internal evaluation or self evaluation of Public Health post-graduate programs.A study was performed based on the report of 25 programs participating at triennial evaluation from CAPES (2001-2003). Three main aspects were considered: (a) tools and/or procedures employed; (b) self evaluation process; (c) product to improve program quality. Results indicate that different tools are employed and used irregularly. For the ogoing processes, in most of programs it is not clear how and if they take place, because the products informed are not directly related to the performed process and program quality assurance. It is discussed the importance in performing self evaluation as a tool for recongnition of possibilities and limits of a process or a institution and for decision making. It is suggsted to set up a basic structure as: working groups and coordenation team for the self evaluation; staff and decision makers real participation and commitment; reliable data and effectively use of the resultas obtained.KEY WORDS: higher education; public health post-graduate programs; self-evaluation
Conteúdo:
. Introdução
Na educação superior do Brasil, a área da pós-graduação stricto sensu tem dado bons exemplos no que diz respeito à construção e implementação de processos de avaliação institucional. Mesmo considerando as variações na conjuntura política por que tem passado o país, há um bem sucedido sistema de avaliação em funcionamento desde 1976. Esse sistema segue os padrões internacionais, em que a avaliação por pares acadêmicos e a auto-avaliação institucional fazem parte da metodologia, tendo como unidade de referência o Programa de pós-graduação, e não a Instituição de Ensino Superior (IES).
A Coordenação de Aperfeiçoamento de Pessoal do Ensino Superior (CAPES), agência ligada ao Ministério da Educação, responsável pela avaliação trienal dos Programas de pós-graduação, tem utilizado um instrumento-padrão composto pelos seguintes quesitos: proposta do programa; corpo docente; atividade de pesquisa; atividade de formação; corpo discente; teses e dissertações e produção intelectual. Cada quesito se subdivide em critérios, para fins de medição, com pesos que variam conforme a área de conhecimento.
Nosso objeto de estudo, a auto-avaliação do Programa, aparece como um dos itens que compõem o quesito "Proposta do Programa". Na avaliação trienal de 2001, observadores internacionais perceberam que esse componente, importante instrumento para o aperfeiçoamento dos programas de pós-graduação, não é priorizado (Spagnolo & Calhau, 2002, Hortale, 2003). A auto-avaliação pode ser considerada a primeira etapa do processo da avaliação institucional, e, de acordo com Nunes (2003), é a palavra-chave para a conquista da qualidade nas IES. Ela consiste na "reflexão sobre os objetivos e os processos do educar e na busca da conscientização, da responsabilidade e do comprometimento de professores e funcionários na aplicação de processos do educar para conquistar qualidade".
O objetivo deste artigo é discutir as características e limitações da avaliação interna ou auto-avaliação dos Programas de pós-graduação stricto sensu da área de Saúde Coletiva, esperando com isso contribuir para o aperfeiçoamento dos mecanismos de avaliação voltados para a melhoria da qualidade dos programas de pós-graduação.
2. Estratégia metodológica
Identificamos no portal da CAPES (www.capes.gov.br) vinte e cinco Programas de Saúde Coletiva que participaram da avaliação trienal de 2001-2003. Destes, três obtiveram o conceito 6; cinco obtiveram o conceito 5; cinco obtiveram o conceito 4 e doze obtiveram o conceito 3. Em uma escala que vai de 3 a 7, os Programas com conceito acima de 4 são credenciados para oferecer cursos de Mestrado e Doutorado.
Nossa intenção não é de apresentar um perfil detalhado dos Programas dessa área, mas tão somente sistematizar as principais características da auto-avaliação implementada. Todos os documentos disponíveis estavam no formato pdf. Para realizar a busca com a palavra-chave "avaliação" utilizamos a ferramenta "pesquisa". Das várias ocorrências, selecionamos os conteúdos que correspondiam ao termo "auto-avaliação". Encontramos o maior número de conteúdos correspondentes a esse termo no item "Proposta do Programa – auto-avaliação (P-PG12)" e na "Ficha de auto-avaliação".
Na seleção dos conteúdos, para fins de análise, levamos em consideração a explicitação de três aspectos: (a) instrumentos e/ou procedimentos utilizados; (b) processo de auto-avaliação e (c) produto desse processo visando a melhoria da qualidade do programa. Cada Programa foi numerado para fins de descrição de suas características. Tais características foram sintetizadas nos Quadros 1, 2, 3 e 4.
3. Principais características da auto-avaliação nos Programas
Observamos no Quadro 1, referente aos Programas com conceito 6, que, dos três Programas, dois utilizam os mesmos instrumentos/procedimentos. No entanto, seus processos são diferenciados. Um dos Programas informa realizar reuniões mensais com o colegiado e reuniões anuais com todos os docentes e discentes, enquanto no outro, as reuniões com o colegiado são mensais e, com todos os docentes e discentes, semestrais. Em um dos Programas não há descrição explícita de auto-avaliação no período, e os outros dois Programas não informam quais os produtos das reuniões voltados para a melhoria da sua qualidade.
INSERIR QUADRO 1
No Quadro 2, referente aos Programas com conceito 5, os instrumentos/procedimentos são semelhantes aos dos Programas com conceito 6. Em relação ao processo, com exceção de um Programa que fez comentários gerais sem informar se existem avaliações regulares, todas os outros informaram realizar desde "série de encontros", reuniões trimestrais do colegiado até seminário anual para avaliar os problemas existentes e buscar "estratégias de superação". Os produtos advindos dessas reuniões também foram variados: relatório técnico, revisão do Programa para maior integração entre disciplinas até "definição da missão da Faculdade e das metas".
INSERIR QUADRO 2
No Quadro 3, referente aos Programas com conceito 4, em nenhum deles os instrumentos/procedimentos utilizados são explicitados. No entanto, são descritos processos e apresentados produtos. Em dois Programas, o processo é descrito da seguinte forma: "alunos sistematicamente avaliados..." e "coordenação se reúne periodicamente com os alunos". Nos outros três Programas, apesar de informarem produtos, o processo pelo qual se chegou a eles não foi explicitado.
INSERIR QUADRO 3
No Quadro 4, referente aos Programas com conceito 3, os instrumentos/procedimentos utilizados são, regra geral, os mesmos utilizados nos Programas de maior conceito, com variações na forma de apresentação e nos processos desencadeados. Estes vão desde reuniões semanais, mensais, trimestrais, após as disciplinas até "seminários periódicos". Há produtos explicitados que não estão diretamente relacionados à auto-avaliação, por exemplo; mapa da universidade, telefone de contato.
INSERIR QUADRO 4
Podemos concluir que, de uma maneira geral, os instrumentos/procedimentos utilizados nos Programas são variados. Quanto aos processos desencadeados para alcançar os produtos, ainda que sejam informadas reuniões regulares, não fica claro na maioria dos Programas como eles ocorrem e se ocorrem, pois os produtos informados nem sempre têm relação direta com os processos realizados e com a melhoria da qualidade do Programa.
4. A auto-avaliação que praticamos
Em abril de 2004 foi promulgada Lei que institui o Sistema Nacional de Avaliação da Educação Superior - SINAES (Brasil, 2004). Sua finalidade é a "melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especificamente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional".
O reconhecimento da diversidade do sistema e o respeito à identidade, à missão e à história das instituições são alguns dos princípios fundamentais do SINAES. Contudo, quiçá por ainda não haver um roteiro específico (em 2004, o Instituto Nacional de estudos e Pesquisas (INEP) do Ministério da Educação tornou públicas algumas orientações gerais para a auto-avalição das instituições, como parte do SINAES) e critérios que orientem o preenchimento da auto-avaliação dos Programas de pós-graduação, observamos na avaliação trienal de 2001-2003 uma considerável variação de interpretações sobre o termo. Assim, a auto-avaliação aparece associada a seminários, reuniões, encontros, oficinas pedagógicas, comissões de seleção, relatos do funcionamento dos programas, preenchimento de questionários, estratégias qualitativas, etc.
No relatório de um dos Programas, encontramos, por exemplo, a seguinte descrição do funcionamento de um seminário, um procedimento privilegiado entre os vários referidos acima, para se efetivar a avaliação interna ou auto-avalição: “Neste Seminário realizamos uma reflexão e avaliação aprofundada na compreensão dos participantes sobre os problemas existentes; idem sobre as estratégias adotadas e uma avaliação sobre os comentários/sugestões e críticas realizadas no último ano em cada um dos itens e indicadores da avaliação considerados pela CAPES. Neste buscamos soluções e alternativas na busca da excelência do programa”. E o produto de tal seminário foi “um relatório técnico, político e estratégico com as principais linhas de ação e de programação específica de ações e atividades para o próximo ano”.
Conforme descrição acima das características da auto-avaliação nos Programas, percebemos que não há homogeneidade nos instrumentos e/ou procedimentos utilizados. Na maioria das vezes, o processo indicado não se caracteriza como sistemático e os produtos não explicitam ações e metas de melhoria da qualidade do Programa, sendo compostos basicamente por descrições de estratégias já adotadas ou recomendadas em outros momentos
Uma das estratégias que identificamos era voltada à redução do tempo de titulação dos discentes, um dos grandes problemas enfrentados em muitos Programas. São exemplos: a escolha precoce do orientador, com a integração rápida do aluno às linhas de pesquisa existentes; a incorporação da apresentação de proposta de trabalho para dissertação de Mestrado no processo de seleção dos alunos; a criação de oficinas de publicação; o estímulo à elaboração de artigos científicos como forma de avaliação das disciplinas.
Identificamos a estratégia relacionada aos aspectos pedagógicos, ainda que em poucos Programas, como por exemplo a revisão do conteúdo de determinadas disciplinas e a introdução de novas. E finalmente estratégias voltadas à gestão acadêmica, como por exemplo: a promoção de linhas de pesquisa menos desenvolvidas; a criação de novas áreas de concentração; a revisão das linhas de pesquisa; a mudança na política de credenciamento e re-credenciamento dos docentes; a criação de comitê de apoio à publicação; a instalação de comissão para estabelecer os critérios e as normas da auto-avaliação institucional.
Em síntese, esses produtos não estão relacionados necessariamente aos instrumentos ou procedimentos utilizados pelos Programas, sugerindo que os processos de avaliação nem sempre são utilizados para a tomada de decisão.
Nos Programas examinados, apenas dois indicaram de forma clara a constituição de uma comissão específica para tratar da avaliação interna ou auto-avaliação. Dos três programas que receberam conceito 6, somente um explicitou algum mecanismo de auto-avalição, sugerindo que para a avaliação trienal da CAPES não se adotou mecanismos regulares de auto-avaliação.
Porém, pela leitura dos relatórios dos Programas, é possível apreendermos diferenças entre eles. Aqueles que ainda lutam pela sua consolidação apresentam relatos marcados pelas dificuldades enfrentadas: número exíguo de pesquisadores/professores e afastamento dos mesmos para realização de doutorado; problemas com a infra-estrutura física das instituições; dificuldades para produzir e publicar trabalhos científicos, limitação do elenco de disciplinas oferecidas, etc.
O principal parâmetro, em vista do qual os processos de avaliação ou auto-avaliação são realizados, continua sendo a produtividade acadêmica e científica dos docentes e discentes. Pouco se diz, por exemplo, sobre o impacto social das atividades desenvolvidas pelo programa ou sobre a inserção destas no contexto do debate nacional e internacional sobre os rumos da Saúde Coletiva.
Identificamos em somente um Programa que o processo de auto-avaliação tem como base a proposta do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), que foi criado em 1994 com o objetivo de "colaborar com as universidades brasileiras, no sentido de iniciarem um processo de avaliação institucional que as conduza a uma melhora significativa do cumprimento de suas funções de ensino, pesquisa e extensão" (MEC, 1994:34) e que nunca foi totalmente implementado.
5. Outros sentidos para a auto-avaliação
A avaliação é concebida como uma atividade orientada ao estímulo, auxílio e apoio de esforços para fortalecer e melhorar programas, cursos, serviços ou instituições. Segundo Romão (2002:44),
"a avaliação pode funcionar como diagnóstico ou como exame; como pesquisa ou como classificação; como instrumento de inclusão ou de exclusão; como canal de ascensão ou critério de discriminação".
Falar em avaliação no Sistema Educacional e de C&T, significa não somente realizar uma análise pormenorizada de um objeto, mas buscar implementar modelos de análise que levem à compreensão das diversas dimensões que influenciam a qualidade dos resultados obtidos.
De acordo com Roggero (2002), o sistema educativo é um sistema complexo, ou seja "é, capaz de proceder a uma auto-eco-reorganização, tomamos consciência de que ele depende de sua história (re), dos relacionamentos com seu meio ambiente (eco) e de sua identidade interna (auto). Toda ação de avaliação deveria, desde já, levar em conta essas dimensões essenciais que não saberíamos avaliar unicamente por indicadores de performance" (p.43).
Um modelo de análise clássico utilizado em sistemas complexos para avaliações internas, auto-avaliações e avaliações externas é o desenvolvido por Stufflebeam (1997) e denominado modelo CIPP, sigla em inglês que significa contexto, entrada, processo e produto.
O foco na auto-avaliação demonstra a importância que damos à melhoria da qualidade que pode advir de análises sistematizadas em ambientes complexos como os dos Programas de Pós-graduação stricto sensu. No Brasil, a implementação da auto-avaliação é recente. Em um documento do INEP de 2004, encontramos as seguintes observações sobre a auto-avaliação:
“A avaliação interna ou auto-avaliação tem como principais objetivos produzir conhecimentos, pôr em questão os sentidos do conjunto de atividades e finalidades cumpridas pela instituição, identificar as causas dos seus problemas e deficiências, aumentar a consciência pedagógica e a capacidade profissional do corpo docente e técnico-administrativo, fortalecer as relações de cooperação entre os diversos atores institucionais, tornar mais efetiva a vinculação da instituição com a comunidade, julgar acerca da relevância científica e social de suas atividades e produtos, além de prestar contas à sociedade.” (p. 6)
Na educação superior do Brasil, a área da pós-graduação stricto sensu tem dado bons exemplos no que diz respeito à construção e implementação de processos de avaliação institucional. Mesmo considerando as variações na conjuntura política por que tem passado o país, há um bem sucedido sistema de avaliação em funcionamento desde 1976. Esse sistema segue os padrões internacionais, em que a avaliação por pares acadêmicos e a auto-avaliação institucional fazem parte da metodologia, tendo como unidade de referência o Programa de pós-graduação, e não a Instituição de Ensino Superior (IES).
A Coordenação de Aperfeiçoamento de Pessoal do Ensino Superior (CAPES), agência ligada ao Ministério da Educação, responsável pela avaliação trienal dos Programas de pós-graduação, tem utilizado um instrumento-padrão composto pelos seguintes quesitos: proposta do programa; corpo docente; atividade de pesquisa; atividade de formação; corpo discente; teses e dissertações e produção intelectual. Cada quesito se subdivide em critérios, para fins de medição, com pesos que variam conforme a área de conhecimento.
Nosso objeto de estudo, a auto-avaliação do Programa, aparece como um dos itens que compõem o quesito "Proposta do Programa". Na avaliação trienal de 2001, observadores internacionais perceberam que esse componente, importante instrumento para o aperfeiçoamento dos programas de pós-graduação, não é priorizado (Spagnolo & Calhau, 2002, Hortale, 2003). A auto-avaliação pode ser considerada a primeira etapa do processo da avaliação institucional, e, de acordo com Nunes (2003), é a palavra-chave para a conquista da qualidade nas IES. Ela consiste na "reflexão sobre os objetivos e os processos do educar e na busca da conscientização, da responsabilidade e do comprometimento de professores e funcionários na aplicação de processos do educar para conquistar qualidade".
O objetivo deste artigo é discutir as características e limitações da avaliação interna ou auto-avaliação dos Programas de pós-graduação stricto sensu da área de Saúde Coletiva, esperando com isso contribuir para o aperfeiçoamento dos mecanismos de avaliação voltados para a melhoria da qualidade dos programas de pós-graduação.
2. Estratégia metodológica
Identificamos no portal da CAPES (www.capes.gov.br) vinte e cinco Programas de Saúde Coletiva que participaram da avaliação trienal de 2001-2003. Destes, três obtiveram o conceito 6; cinco obtiveram o conceito 5; cinco obtiveram o conceito 4 e doze obtiveram o conceito 3. Em uma escala que vai de 3 a 7, os Programas com conceito acima de 4 são credenciados para oferecer cursos de Mestrado e Doutorado.
Nossa intenção não é de apresentar um perfil detalhado dos Programas dessa área, mas tão somente sistematizar as principais características da auto-avaliação implementada. Todos os documentos disponíveis estavam no formato pdf. Para realizar a busca com a palavra-chave "avaliação" utilizamos a ferramenta "pesquisa". Das várias ocorrências, selecionamos os conteúdos que correspondiam ao termo "auto-avaliação". Encontramos o maior número de conteúdos correspondentes a esse termo no item "Proposta do Programa – auto-avaliação (P-PG12)" e na "Ficha de auto-avaliação".
Na seleção dos conteúdos, para fins de análise, levamos em consideração a explicitação de três aspectos: (a) instrumentos e/ou procedimentos utilizados; (b) processo de auto-avaliação e (c) produto desse processo visando a melhoria da qualidade do programa. Cada Programa foi numerado para fins de descrição de suas características. Tais características foram sintetizadas nos Quadros 1, 2, 3 e 4.
3. Principais características da auto-avaliação nos Programas
Observamos no Quadro 1, referente aos Programas com conceito 6, que, dos três Programas, dois utilizam os mesmos instrumentos/procedimentos. No entanto, seus processos são diferenciados. Um dos Programas informa realizar reuniões mensais com o colegiado e reuniões anuais com todos os docentes e discentes, enquanto no outro, as reuniões com o colegiado são mensais e, com todos os docentes e discentes, semestrais. Em um dos Programas não há descrição explícita de auto-avaliação no período, e os outros dois Programas não informam quais os produtos das reuniões voltados para a melhoria da sua qualidade.
INSERIR QUADRO 1
No Quadro 2, referente aos Programas com conceito 5, os instrumentos/procedimentos são semelhantes aos dos Programas com conceito 6. Em relação ao processo, com exceção de um Programa que fez comentários gerais sem informar se existem avaliações regulares, todas os outros informaram realizar desde "série de encontros", reuniões trimestrais do colegiado até seminário anual para avaliar os problemas existentes e buscar "estratégias de superação". Os produtos advindos dessas reuniões também foram variados: relatório técnico, revisão do Programa para maior integração entre disciplinas até "definição da missão da Faculdade e das metas".
INSERIR QUADRO 2
No Quadro 3, referente aos Programas com conceito 4, em nenhum deles os instrumentos/procedimentos utilizados são explicitados. No entanto, são descritos processos e apresentados produtos. Em dois Programas, o processo é descrito da seguinte forma: "alunos sistematicamente avaliados..." e "coordenação se reúne periodicamente com os alunos". Nos outros três Programas, apesar de informarem produtos, o processo pelo qual se chegou a eles não foi explicitado.
INSERIR QUADRO 3
No Quadro 4, referente aos Programas com conceito 3, os instrumentos/procedimentos utilizados são, regra geral, os mesmos utilizados nos Programas de maior conceito, com variações na forma de apresentação e nos processos desencadeados. Estes vão desde reuniões semanais, mensais, trimestrais, após as disciplinas até "seminários periódicos". Há produtos explicitados que não estão diretamente relacionados à auto-avaliação, por exemplo; mapa da universidade, telefone de contato.
INSERIR QUADRO 4
Podemos concluir que, de uma maneira geral, os instrumentos/procedimentos utilizados nos Programas são variados. Quanto aos processos desencadeados para alcançar os produtos, ainda que sejam informadas reuniões regulares, não fica claro na maioria dos Programas como eles ocorrem e se ocorrem, pois os produtos informados nem sempre têm relação direta com os processos realizados e com a melhoria da qualidade do Programa.
4. A auto-avaliação que praticamos
Em abril de 2004 foi promulgada Lei que institui o Sistema Nacional de Avaliação da Educação Superior - SINAES (Brasil, 2004). Sua finalidade é a "melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especificamente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional".
O reconhecimento da diversidade do sistema e o respeito à identidade, à missão e à história das instituições são alguns dos princípios fundamentais do SINAES. Contudo, quiçá por ainda não haver um roteiro específico (em 2004, o Instituto Nacional de estudos e Pesquisas (INEP) do Ministério da Educação tornou públicas algumas orientações gerais para a auto-avalição das instituições, como parte do SINAES) e critérios que orientem o preenchimento da auto-avaliação dos Programas de pós-graduação, observamos na avaliação trienal de 2001-2003 uma considerável variação de interpretações sobre o termo. Assim, a auto-avaliação aparece associada a seminários, reuniões, encontros, oficinas pedagógicas, comissões de seleção, relatos do funcionamento dos programas, preenchimento de questionários, estratégias qualitativas, etc.
No relatório de um dos Programas, encontramos, por exemplo, a seguinte descrição do funcionamento de um seminário, um procedimento privilegiado entre os vários referidos acima, para se efetivar a avaliação interna ou auto-avalição: “Neste Seminário realizamos uma reflexão e avaliação aprofundada na compreensão dos participantes sobre os problemas existentes; idem sobre as estratégias adotadas e uma avaliação sobre os comentários/sugestões e críticas realizadas no último ano em cada um dos itens e indicadores da avaliação considerados pela CAPES. Neste buscamos soluções e alternativas na busca da excelência do programa”. E o produto de tal seminário foi “um relatório técnico, político e estratégico com as principais linhas de ação e de programação específica de ações e atividades para o próximo ano”.
Conforme descrição acima das características da auto-avaliação nos Programas, percebemos que não há homogeneidade nos instrumentos e/ou procedimentos utilizados. Na maioria das vezes, o processo indicado não se caracteriza como sistemático e os produtos não explicitam ações e metas de melhoria da qualidade do Programa, sendo compostos basicamente por descrições de estratégias já adotadas ou recomendadas em outros momentos
Uma das estratégias que identificamos era voltada à redução do tempo de titulação dos discentes, um dos grandes problemas enfrentados em muitos Programas. São exemplos: a escolha precoce do orientador, com a integração rápida do aluno às linhas de pesquisa existentes; a incorporação da apresentação de proposta de trabalho para dissertação de Mestrado no processo de seleção dos alunos; a criação de oficinas de publicação; o estímulo à elaboração de artigos científicos como forma de avaliação das disciplinas.
Identificamos a estratégia relacionada aos aspectos pedagógicos, ainda que em poucos Programas, como por exemplo a revisão do conteúdo de determinadas disciplinas e a introdução de novas. E finalmente estratégias voltadas à gestão acadêmica, como por exemplo: a promoção de linhas de pesquisa menos desenvolvidas; a criação de novas áreas de concentração; a revisão das linhas de pesquisa; a mudança na política de credenciamento e re-credenciamento dos docentes; a criação de comitê de apoio à publicação; a instalação de comissão para estabelecer os critérios e as normas da auto-avaliação institucional.
Em síntese, esses produtos não estão relacionados necessariamente aos instrumentos ou procedimentos utilizados pelos Programas, sugerindo que os processos de avaliação nem sempre são utilizados para a tomada de decisão.
Nos Programas examinados, apenas dois indicaram de forma clara a constituição de uma comissão específica para tratar da avaliação interna ou auto-avaliação. Dos três programas que receberam conceito 6, somente um explicitou algum mecanismo de auto-avalição, sugerindo que para a avaliação trienal da CAPES não se adotou mecanismos regulares de auto-avaliação.
Porém, pela leitura dos relatórios dos Programas, é possível apreendermos diferenças entre eles. Aqueles que ainda lutam pela sua consolidação apresentam relatos marcados pelas dificuldades enfrentadas: número exíguo de pesquisadores/professores e afastamento dos mesmos para realização de doutorado; problemas com a infra-estrutura física das instituições; dificuldades para produzir e publicar trabalhos científicos, limitação do elenco de disciplinas oferecidas, etc.
O principal parâmetro, em vista do qual os processos de avaliação ou auto-avaliação são realizados, continua sendo a produtividade acadêmica e científica dos docentes e discentes. Pouco se diz, por exemplo, sobre o impacto social das atividades desenvolvidas pelo programa ou sobre a inserção destas no contexto do debate nacional e internacional sobre os rumos da Saúde Coletiva.
Identificamos em somente um Programa que o processo de auto-avaliação tem como base a proposta do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), que foi criado em 1994 com o objetivo de "colaborar com as universidades brasileiras, no sentido de iniciarem um processo de avaliação institucional que as conduza a uma melhora significativa do cumprimento de suas funções de ensino, pesquisa e extensão" (MEC, 1994:34) e que nunca foi totalmente implementado.
5. Outros sentidos para a auto-avaliação
A avaliação é concebida como uma atividade orientada ao estímulo, auxílio e apoio de esforços para fortalecer e melhorar programas, cursos, serviços ou instituições. Segundo Romão (2002:44),
"a avaliação pode funcionar como diagnóstico ou como exame; como pesquisa ou como classificação; como instrumento de inclusão ou de exclusão; como canal de ascensão ou critério de discriminação".
Falar em avaliação no Sistema Educacional e de C&T, significa não somente realizar uma análise pormenorizada de um objeto, mas buscar implementar modelos de análise que levem à compreensão das diversas dimensões que influenciam a qualidade dos resultados obtidos.
De acordo com Roggero (2002), o sistema educativo é um sistema complexo, ou seja "é, capaz de proceder a uma auto-eco-reorganização, tomamos consciência de que ele depende de sua história (re), dos relacionamentos com seu meio ambiente (eco) e de sua identidade interna (auto). Toda ação de avaliação deveria, desde já, levar em conta essas dimensões essenciais que não saberíamos avaliar unicamente por indicadores de performance" (p.43).
Um modelo de análise clássico utilizado em sistemas complexos para avaliações internas, auto-avaliações e avaliações externas é o desenvolvido por Stufflebeam (1997) e denominado modelo CIPP, sigla em inglês que significa contexto, entrada, processo e produto.
O foco na auto-avaliação demonstra a importância que damos à melhoria da qualidade que pode advir de análises sistematizadas em ambientes complexos como os dos Programas de Pós-graduação stricto sensu. No Brasil, a implementação da auto-avaliação é recente. Em um documento do INEP de 2004, encontramos as seguintes observações sobre a auto-avaliação:
“A avaliação interna ou auto-avaliação tem como principais objetivos produzir conhecimentos, pôr em questão os sentidos do conjunto de atividades e finalidades cumpridas pela instituição, identificar as causas dos seus problemas e deficiências, aumentar a consciência pedagógica e a capacidade profissional do corpo docente e técnico-administrativo, fortalecer as relações de cooperação entre os diversos atores institucionais, tornar mais efetiva a vinculação da instituição com a comunidade, julgar acerca da relevância científica e social de suas atividades e produtos, além de prestar contas à sociedade.” (p. 6)
