Artigos

INTRODUÇÃO:

Em 2004, os Ministérios da Saúde e da Educação iniciaram processo de certificação dos hospitais de ensino no Brasil de acordo com o cumprimento de pré-requisitos referentes à assistência, ensino, pesquisa e integração ao SUS (Sistema Único de Saúde), visando a garantir a qualidade dos serviços prestados e a alteração do mecanismo de financiamento dessas unidades, agora baseado em orçamentação fixa mediante o cumprimento de metas contratuais. Passados dois anos da implementação da Política de Reestruturação de Hospitais de Ensino (MEC/MS1), ainda se discutem quais os instrumentos para a avaliação do seu impacto e algumas técnicas provenientes da pesquisa operacional têm sido propostas.
Sob a perspectiva de análise de eficiência, pretende-se apresentar e discutir as potencialidades e limites na utilização Análise Envoltória de Dados (DEA) para avaliação de desempenho de hospitais públicos federais de ensino geridos pelo Ministério da Educação - MEC/Brasil. Esses hospitais correspondem a apenas uma parcela dos hospitais de ensino do país, porém, dado o fato de existir para eles um banco de dados que contêm informações sistemáticas sobre assistência, ensino e pesquisa (SIHUF/MEC), optou-se pela utilização dos mesmos como estudo de caso para aplicação de modelagem DEA. Finalmente, foi utilizado o software IDEAL (Interactive Data Envelopment Analysis Laboratory), desenvolvido pela COPPE/UFRJ, visto que essa ferramenta possibilita a visualização tridimensional da fronteira sob diferentes ângulos (única no mundo com essa característica), a observação da influência proporcional das variáveis eleitas para o modelo, a introdução da restrição aos pesos e a compreensão dos resultados pelos diversos atores envolvidos no processo avaliativo.


METODOLOGIA:

Metodologia DEA: Noções Gerais (Lins et al 2):

Os modelos clássicos de Análise Envoltória de Dados (DEA) foram introduzidos por Charnes et al em 1978 (baseada em retornos constantes em escala - CRS) e estendidos por Banker et al (com retornos variáveis de escala - VRS), consistindo em metodologia não paramétrica para mensuração comparativa da eficiência de unidades tomadoras de decisão (Decision Making Units - DMUs), com base nas melhores práticas. O conjunto de DMUs deve ser homogêneo e ter em comum a utilização dos mesmos inputs e a produção dos mesmos outputs.
A abordagem analítica aplicada à medida da eficiência baseia-se na definição de Pareto-Koopmans, segundo a qual um vetor input-output é tecnicamente eficiente se: a) nenhum dos outputs pode ser aumentado sem que algum outro output seja reduzido ou algum input seja aumentado ou b) nenhum dos inputs pode ser reduzido sem que algum outro input seja aumentado ou algum output seja reduzido.
Para o uso de DEA, as técnicas de programação linear e a teoria da dualidade permitem construir a fronteira de referência para uma dada tecnologia a partir de um conjunto de observações (superfície multidimensional do modelo envelope, gerada por combinação linear convexa das DMUs eficientes) e calcular a distância da fronteira para cada uma das observações individuais (modelo dos multiplicadores). No modelo do envelope, a projeção espacial das unidades ineficientes na fronteira está delimitada por um conjunto de referência de unidades eficientes (daí, o termo técnico benchmark). Entretanto, o poder analítico da técnica pode ser ampliado pelo modelo dos multiplicadores no qual, para cada DMU a ser analisada, formula-se um problema de otimização com o objetivo de determinar quais os valores que esta DMU atribui aos multiplicadores u e v (pesos) de modo a ter a maior eficiência possível.
Uma vez que produção é um processo no qual os recursos (Xk) são utilizados para gerar produtos (Yk), a fronteira de produtividade pode ser definida como a máxima quantidade de outputs obtida a partir dos inputs utilizados. A eficiência de cada DMU é a soma ponderada das saídas dividida pela soma ponderada das entradas, a distribuição dos pesos ocorrendo sem qualquer interferência do decisor.
A maior limitação da estrutura matemática dos modelos clássicos é que, na busca da solução ótima, podem ser gerados pesos nulos para variáveis importantes e, portanto, modelos inverossímeis. No caso da variável ser tratada como essencial, ou se existir a necessidade de uma relação numérica lógica entre as variáveis, o modelo pode ser flexibilizado mediante a formulação de restrição aos pesos, mais uma vantagem do uso dos multiplicadores já que as restrições são impostas às equações que geram os hiperplanos das fronteiras de produtividade.
A introdução de julgamento de valor e de restrição aos pesos na modelagem DEA ocorreu somente na última década (Allen et al3). Entre as restrições, a de maior uso e facilidade de compreensão é chamada “participação virtual” (p-virtual), em que se observa e se delimita a participação proporcional de cada produto “peso X variável” no resultado de eficiência observado. A análise do p-virtual permite discriminar incongruências da realidade modelada e propor correções. Mediante as restrições aos pesos, a fronteira passa a ser redesenhada de acordo com a perspectiva do decisor, a qual varia de acordo com a posição do mesmo em relação ao sistema.
Finalmente, é importante colocar que a modelagem pode ser orientada a input ou a output, dependendo se o objetivo está na redução de recursos ou no aumento da produção. Isso significa que as mudanças necessárias para que as unidades ineficientes (índice < 1) atinjam a fronteira podem ser direcionadas à redução de recursos (orientação input) ou ao aumento de produtos (orientação output).

Dados e Fontes:

Os dados são provenientes do Sistema de Informação dos Hospitais Universitários Federais (SIHUF), gerenciado pela Coordenação de Hospitais Universitários do Ministério da Educação (MEC), com informações do segundo semestre de 2003, ano em que houve validação dos dados por comissões de verificação. De modo a garantir um grupo homogêneo de hospitais para comparação, optou-se por excluir aqueles de especialidade e as maternidades. Os hospitais estão representados pelas siglas das respectivas universidades. No caso da UFRN, existem duas unidades, a UFRN-AB se constituindo em pólo de extensão da universidade em município próximo à capital.

Seleção de Variáveis (Quadro 1):

A escolha das variáveis procurou traduzir as dimensões de assistência, de ensino e de pesquisa e baseou-se na análise da literatura em DEA aplicada à saúde (Seiford4), na opinião de especialistas e na disponibilidade dos dados (Quadro 1).
Na literatura DEA sobre hospitais de ensino, predominam medidas de assistência e os indicadores de outputs são ajustados por índices de case-mix, que consideram as variações de recursos utilizados para diferentes grupos diagnósticos (DRGs - Diagnostic Related Groups) (Rosko et al5). Com essa ótica, a equipe usou como medida proxy um indicador de complexidade dos procedimentos realizados pelos hospitais (SIPAC), baseada no credenciamento de procedimentos de alta complexidade pelo Ministério da Saúde (Lobo et al 6).
A literatura DEA é escassa para variáveis na dimensão de ensino dos hospitais, valendo destacar o uso de indicadores como “dedicação de ensino” (Residentes/Médicos) e de “intensidade de ensino” (Residentes/Leitos), citada por Grosskopf7. Para tratamento inicial dessas variáveis, optou-se por utilizar números absolutos nas dimensões de ensino e pesquisa.
Ainda para a seleção de variáveis, algumas premissas conceituais foram consideradas, a saber:
a) Em sendo a DEA uma metodologia multi-critério de apoio à decisão, todos os indicadores quantitativos utilizados podem ser tratados como inputs ou como outputs, a depender estritamente dos critérios que estão sendo utilizados durante a concepção da modelagem, e da coerência entre os mesmos (Roy8).
b) Em paralelo à concepção de Donabedian9, para que se possa fazer inferências sobre a qualidade do serviço prestado, existe um pressuposto de que as abordagens de estrutura, processo e resultado devem guardar formas de relação entre si, e o mesmo deve ocorrer entre inputs e outputs. Ou seja, assim como a estrutura influencia os processos e os processos são condicionantes para os resultados, as variáveis de estrutura são consideradas como inputs para outras variáveis de estrutura, de processo ou de resultado, e as variáveis de processo são inputs para novos processos e/ou para resultados observados.
c) De modo a contribuir para a avaliação da política em curso, buscou-se inserir as variáveis que constam na Portaria 1.000 (MEC/MS10), que dispõe sobre os requisitos obrigatórios para que o hospital seja certificado como de ensino. Para o ensino, por exemplo, o número de alunos e de residentes foi considerado como a principal medida avaliada na Portaria (output), desde que haja a estrutura pedagógica docente (input). Para a pesquisa, o número de pós-graduandos e o de programas foram os únicos requisitos quantitativos avaliados como medidas proxy para volume de produção científica (output).

Procedimentos de Modelagem: nosso estudo de caso.

No estudo de caso, cada hospital universitário é representado como uma DMU (decision makimg unit) dotada de autonomia. É proposta uma concepção de modelagem hierarquizada em três níveis, configurando um passo a passo que permita um melhor entendimento da metodologia.
O primeiro nível considera a análise exploratória de dados e a utilização de outputs sob a forma de razões que indicam o aproveitamento da estrutura em diferentes unidades, como a unidade de internação (admissões/leitos), o centro cirúrgico (cirurgias/sala) e a unidade ambulatorial (consultas/sala). O cálculo destas razões já é equivalente ao resultado de um modelo DEA CRS (retornos constantes de escala), já que o numerador corresponde a um output para cada denominador/input. São utilizados gráficos para mostrar as fronteiras tridimensionais como ferramenta de apoio à seleção de variáveis. Os gráficos são gerados pelo software IDEAL e permitem visualizar a relação entre inputs e outputs, três a três, identificando aqueles conjuntos que geram fronteiras com maior número de faces Pareto-eficientes, de dimensão completa (três vértices). Os gráficos também serão utilizados para explicar os resultados obtidos através dos modelos dos multiplicadores e do envelope, com maior número de variáveis, facilitando a compreensão do decisor.
No segundo nível, são considerados os modelos completos nas três dimensões: assistência, ensino e pesquisa e introduzidas as restrições aos pesos. No terceiro nível, as eficiências parciais são utilizadas como variáveis de output e é gerado o benchmark dos hospitais. Este procedimento hierárquico apresenta a vantagem de facilitar a incorporação da opinião do especialista quanto aos pesos a serem admitidos para cada variável.
Todos os modelos utilizados serão orientados a output, tendo-se como meta a expansão dos serviços, uma vez que se espera a melhoria da produção para o mesmo conjunto de recursos por meio de melhorias organizacionais e de gestão. Na literatura, prevalecem os estudos orientados a input, que enfatizam a meta de redução de custos para uma mesma produção.

RESULTADOS

1º Nível: Análise exploratória por visualização 3-D na dimensão assistência.

Um modelo completo terá tantas dimensões quantas variáveis incorporar. No entanto, a utilização de sub-modelos com três variáveis para visualização de gráficos 3D pode ser utilizada para escolha e interpretação das variáveis que constarão do modelo final. A Figura 1 considera as variáveis: Internações/leito – INT/L [O], Cirurgias/sala - CIR/S [O] (outputs) e Funcionários não médicos – FNM [I] (input) e a fronteira Pareto-eficiente (mais escura na figura) apresenta quatro faces e seis DMUs eficientes (vértices de cada face). A Figura 2 mantém as variáveis de output e substitui a variável de input por Receita SUS mensal – RSUS [I]. A nova fronteira apresenta cinco faces e as mesmas seis DMUs eficientes. Isso significa que essas seis unidades apresentar-se-ão no modelo clássico com eficiência de 100%. As unidades ineficientes se projetarão nessas faces e os pesos serão gerados de forma a minimizar a distância entre a DMU e a face mais próxima na fronteira. Os hospitais correspondentes aos vértices de cada face serão considerados como as referências ou benchmarks para a unidade projetada e, em termos analíticos, todas as DMUS que compartilharem as mesmas referências terão pesos idênticos no modelo.

FIGURA 1
FIGURA 2

Vale ressaltar que a substituição do número de funcionários não médicos pela receita SUS – ambas variáveis de input - provocou pouca alteração na fronteira, sem alteração das DMUs Pareto-eficientes. Podem ocorrer, outrossim, alterações nos valores de eficiência das DMUs ineficientes de acordo com a variável escolhida. A partir dessa ótica, diferentes composições de inputs e outputs podem ser criadas para análise exploratória das variáveis e os formatos de fronteira que se apresentarem com maior capacidade de replicação (consistentes) e plausibilidade lógica podem ser usados como parâmetros para escolha adequada das variáveis a serem inseridas no modelo completo.
Nas Figuras 1 e 2, é importante notar que os cinco hospitais de maior porte e complexidade (UNIFESP, UFRJ, HCPA, UFPR, UFMG) apareceram fora da fronteira e projetados em regiões Pareto-ineficientes. Essa incongruência pode estar relacionada à ausência de ajuste de gravidade ou “case mix”, motivo pelo qual optou-se pela inclusão da variável SIPAC [O] no modelo. Como resultado da inclusão, a fronteira DEA VRS, com as variáveis: Funcionários não médicos – FNM [I]; SIPAC [O] e Internações/leito INT/L [O], revela as seguintes situações referentes à unidade de internação (Figura 3):
a) Entre os hospitais eficientes com maior número de funcionários, existe um trade off entre SIPAC e número de Admissões/leito: A UNB caracteriza-se por um maior número de Internações/leito e a UFRJ por um maior SIPAC. Esse achado é compatível com o fato de hospitais de maior complexidade exigirem maior número de servidores e apresentarem maiores tempos médios de permanência hospitalar.
b) Os hospitais eficientes com menor número de funcionários, UFPEL e UFRN/AB apresentam um baixo grau de complexidade (SIPAC), mas um nível mediano de admissões/leito, superior ao da UFRJ e equivalente ao da UNIFESP. Nessas unidades, o volume de serviços de obstetrícia provoca maior rotatividade dos leitos.

FIGURA 3

Para análise do aproveitamento do centro cirúrgico, a Figura 4 apresenta o output Cirurgias/sala – CIR/S [O], junto ao SIPAC [O], tendo como input: Funcionários não médicos – FNM [I]. Na figura, a fronteira mostra o aparecimento da UFSM e UFU como unidades eficientes por apresentarem o maior volume de cirurgias por sala. Esta fronteira apresenta um número elevado de unidades eficientes (11) e a análise gráfica sugere um grupo com menor SIPAC e número de funcionários e outro com maior SIPAC, onde quase todas as unidades são eficientes. Essa nova conformação de variáveis destaca-se por mostrar um modelo mais ajustado à fronteira, embora com muitas unidades sobre a mesma. Vale relembrar que, mesmo que acrescentemos outras variáveis ao modelo clássico DEA VRS, estas 11 unidades continuarão eficientes, pois terão a liberdade de atribuir peso máximo a essas mesmas variáveis em detrimento das demais. Nesse caso, torna-se necessária a introdução de restrições aos pesos para aumentar o poder de discriminação na avaliação de desempenho das unidades.

FIGURA 4

Em síntese, como resultado da análise exploratória, a inclusão da variável SIPAC permitiu o aparecimento de novas faces Pareto-eficientes, possibilitando a projeção de unidades com diferentes níveis de complexidade. O aparecimento de mais faces na fronteira demonstra a importância da estratificação dos benchmarks por complexidade e a capacidade do método para indicar a presença de grupos mais homogêneos de comparação (clusters). Também vale acrescentar que as DMUs com valores extremos como a UNIFESP (limites superiores de outputs) e a UFRN AB (limites inferiores de inputs) tendem a aparecer sempre como vértices do polígono, portanto, eficientes. Para flexibilizar esse resultado, torna-se necessário manejo de novas ferramentas, como a criação de unidades artificiais ou supereficientes, além da introdução de restrições aos pesos.

2º Nível: Introdução das restrições aos pesos nas diferentes dimensões.

A) Assistência:

Uma vez realizada a análise exploratória, o modelo final foi rodado com a totalidade das variáveis de assistência, sem restrições, e mostrou 17 unidades eficientes; 14 delas já evidenciadas na análise exploratória 3-D (Tabela 1). Nos modelos clássicos (CRS ou VRS), o hospital aloca os pesos de modo a maximizar a eficiência aferida, sem considerar a importância relativa de cada variável. Dessa forma, é necessária a incorporação da opinião do especialista e do decisor para definir a relevância das variáveis e garantir que o modelo final tenha resultados coerentes com a realidade sob modelagem. Com base na atribuição de relevância, são introduzidas restrições aos pesos ao modelo, porém, como existe o risco da inserção de distorções pela inclusão de componentes subjetivos, é fundamental que metodologias de consenso sejam estruturadas para que os atores envolvidos opinem sobre os critérios e a importância relativa das variáveis (oficinas, painel de especialistas ou método Delphi, por exemplo).
Para demonstrar o papel da introdução dessas restrições, são apresentados na Tabela 1 os índices de eficiência e os pesos virtuais do modelo com as seguintes restrições impostas:
a) Para inputs, todos eles devem ter o peso de, no mínimo, 20%, sendo que a variável Receita SUS teve um máximo estipulado em 50%. Isso garante que todas as variáveis de input sejam consideradas no modelo e ainda evita que as unidades que têm baixíssimo faturamento, associado à baixa produção, não dediquem no modelo toda a participação livre (60%) a esta variável, quando deficitária;
b) Para outputs, o SIPAC teve seu peso máximo delimitado em 50%, já que é uma variável de ajuste e pretende-se avaliar a produção propriamente dita. As variáveis de internação e de cirurgia tiveram o peso mínimo delimitado em 20%. Para o aproveitamento de ambulatório, os limites foram fixados entre 10 e 30%.
c) Para lidar com a diferença de escala relacionada à variável de complexidade - SIPAC, a fronteira do modelo foi dividida em: a) retornos crescentes de escala (modelo CRS) para as DMUs com valores menores de SIPAC e b) retornos decrescentes de escala (modelo VRS) para os hospitais mais complexos. Essa equação do modelo procurou evitar que unidades de baixa complexidade atribuíssem alto peso para essa variável.
Realizados esses ajustes, o modelo final com a restrição de pesos mostra maior poder de discriminação, menor número de unidades eficientes (8) e ausência de p-virtual alto para SIPAC em hospitais de baixa complexidade. Ainda se observam hospitais com baixo faturamento atribuírem participação de 50% ao indicador de receita SUS, o que poderia justificar uma maior redução do valor de participação máximo dessa variável. Na saída do modelo matemático, a avaliação do envelope também permite discriminar quais os hospitais de referência para cada unidade ineficiente e o cálculo dos multiplicadores identifica as alterações do vetor de output necessárias para que os hospitais se tornem eficientes.
Vale colocar que a interpretação dos pesos virtuais é, por si só, uma ferramenta complementar para a monitorização do desempenho desses hospitais. Como a somatória dos inputs e também a dos outputs equivale a 100%, a análise da distribuição dos pesos para atingir a máxima eficiência nos permite acompanhar o comportamento da unidade. Dentro da lógica de Pareto-Koopmans, se um hospital atribui um peso muito alto a uma variável de entrada, isso significa que ele, em comparação aos demais, consome menor volume de recursos, ou que suas outras variáveis de input consomem proporcionalmente mais recursos. Da mesma forma, se o hospital atribui um peso muito elevado a uma variável de saída, isso significa que ele, em comparação aos outros, tem alta produção, ou pior resultado nas suas demais variáveis de output. Por exemplo, um hospital de maior complexidade tende a dar um peso alto ao indicador SIPAC, porém, se um hospital de baixa complexidade também o fizer, a explicação para o p-virtual estaria na muito baixa produção assistencial por parte do mesmo. Finalmente, a dinâmica de valoração das variáveis por esses hospitais pode ser compreendida pela magnitude da alteração do índice após a introdução das restrições, ou seja, aqueles hospitais com maior queda no índice não tiveram uma segunda opção favorável entre as demais variáveis de input ou de output. Esse tipo de análise permite combinar a descrição de múltiplas variáveis para um mesmo hospital e a comparação de uma mesma variável para diferentes DMUs, o que pode ser útil para se decompor o score único de eficiência e se apreender os motivos que desencadearam o índice de eficiência observado.

B) Ensino:

De acordo com a Figura 5, que representa o modelo clássico VRS, podem ser observadas sete unidades eficientes e uma maior densidade de atividades de ensino entre os hospitais de maior complexidade. De fato, a fronteira de ensino observada se assemelha àquela de assistência quando da introdução da variável SIPAC. Entretanto, três hospitais eficientes na dimensão de ensino não tiveram o mesmo resultado em relação à assistência (FMTM, que atribuiu 77% do peso virtual ao número de residentes; UFPA, que atribuiu 92% do peso virtual ao número de estudantes; UFBA, com igual distribuição de pesos virtuais entre as duas variáveis de output).
Para aprofundamento no modelo, duas categorias de restrição foram incorporadas. A primeira estipulou uma proporção mínima de peso virtual para ambos os outputs (30%), tendo reduzido a eficiência da UNIFESP para 82%, dado que a sua eficiência era quase integralmente influenciada pelo número de residentes (os internos recebem treinamento em outra unidade conveniada). A segunda correspondeu ao limite do valor do intercepto da fronteira (representado matematicamente pelo u*) que, dado o baixíssimo número de insumos da UFRN-AB, era extremamente deslocado no modelo sem restrições (a unidade conta com apenas um docente).

FIGURA 5

C) Pesquisa:

A terceira dimensão (Figura 6) mostrou baixo volume de pesquisa informada para todas as unidades, exceto UNIFESP, e uma melhor discriminação entre as outras unidades poderia ser observada se o modelo desconsiderar o outlier. Vale colocar que a modelagem DEA considera a possibilidade de que os “outliers” não representem apenas desvios da média, mas possíveis benchmarks a serem estudados. Por outro lado, esses dados têm problemas de acurácia, visto que as universidades públicas têm o maior volume de pesquisas financiadas no país (o viés ocorre dado que as informações de produção científica e de pós-graduação estão atreladas aos departamentos acadêmicos e não aos hospitais). Devido à baixa validade, optou-se por não impor restrições aos pesos nessa dimensão sob o risco de aumentar o viés.
FIGURA 6

3º Nível: Análise conjunta das diferentes dimensões.

A Tabela 2, nas três últimas colunas, mostra os scores de eficiência dos hospitais em cada dimensão. O Índice de Correlação (Spearman) entre as dimensões foi de: 0,34 para assistência e ensino; 0,30 para assistência e pesquisa; 0,49 para ensino e pesquisa. Essas diferentes distribuições de valores de eficiência para assistência, ensino e pesquisa denotam a necessidade de abordagem de todas as dimensões para que se tenha uma avaliação mais completa da eficiência do hospital. Nesse contexto, a Análise Envoltória de Dados é ferramenta útil pela capacidade de ajustar diferentes dimensões de indicadores em um único modelo.
Colocados os índices de cada dimensão como variável de output (modelagem sem input), com o mínimo de participação virtual definido em 20% (garantia de incorporação de todas as dimensões), obtém-se o modelo final, com o índice de eficiência observado na Tabela 2, em ordem decrescente. De acordo com a distribuição proporcional do p-virtual, observa-se que os hospitais de ensino tendem a investir mais nas práticas de assistência e que maior concentração de atividades ensino e, principalmente, de pesquisa é observada nas unidades de maior complexidade. Na mesma modelagem, é possível estudar os investimentos necessários – nas diferentes dimensões - para que os hospitais ineficientes possam atingir a fronteira (não tratado nesse artigo).