0338/2023 - Indicadores para monitoramento dos serviços de saúde bucal na Atenção Primária: validação de conteúdo e mensurabilidade
Indicators for monitoring oral health services in Primary Care: content validation and measurability
Autor:
• Raquel Conceição Ferreira - Ferreira, R. C - <raquelcf@ufmg.br>ORCID: https://orcid.org/0000-0001-8897-9345
Coautor(es):
• Loliza Luiz Figueiredo Houri Chalub - Chalub, L. L. F. H. - <lolischalub@gmail.com>ORCID: https://orcid.org/0000-0002-0892-9047
• João Henrique Lara do Amaral - Amaral, J. H. L. do - <jhamaral.1@gmail.com>
ORCID: https://orcid.org/0000-0001-6900-7559
• Rafaela da Silveira Pinto - Pinto, R. S. - <rafaelasilveirapinto@gmail.com>
ORCID: https://orcid.org/0000-0002-6169-7708
• Jacqueline Silva Santos - Santos, J. S. - <jacqueline.silva@saude.mg.gov.br>
ORCID: https://orcid.org/0000-0003-0572-4668
• Fernanda Lamounier Campos - Campos, F. L. - <nanda_lamounier@yahoo.com.br>
ORCID: https://orcid.org/0000-0002-4772-8088
• Elisa Lopes Pinheiro - Pinheiro, E. L. - <elisalp92@gmail.com>
ORCID: https://orcid.org/0000-0002-3390-1062
• Maria Inês Barreiros Senna - Senna, M. I. B. - <mariainessenna@gmail.com>
ORCID: https://orcid.org/0000-0002-0578-8744
Resumo:
Estudo metodológico de criação, validação de conteúdo e avaliação da mensurabilidade de indicadores para o monitoramento dos serviços de saúde bucal na Atenção Primária à Saúde (APS). Indicadores foram elaborados a partir de variáveis registradas nas fichas de atendimento odontológico individual e atividades coletivas do e-SUS APS. Um comitê de 46 painelistas avaliou os indicadores, obtendo-se o percentual de concordância entre eles quanto à relevância da medida, transparência do método de cálculo e se eles mediam a dimensão teórica. A mensurabilidade foi avaliada usando dados do Sistema de Informação em Saúde para a Atenção Básica (SISAB), para cada município brasileiro, para 2022. Foi obtido o percentual de municípios que possuíam dados não nulos para o numerador e/ou denominador. Foram validados 68 indicadores (concordância>75%) e demonstrada a mensurabilidade de 53, nas subdimensões Acesso aos serviços de saúde bucal (9), Vigilância em saúde bucal (5), Diagnóstico, tratamento e reabilitação em saúde bucal (16), Promoção e Prevenção (14), Atuação Intersetorial/Participação Popular (4) e Processo de trabalho (5). O percentual de municípios com indicadores calculados variou de 0,97 a 95,40%. Os indicadores com validade e mensuráveis podem ampliar a capacidade avaliativa, contudo sinalizam sub-registro ou problema na oferta de serviços de saúde aos usuários do SUS.Palavras-chave:
Atenção Primária à Saúde. Saúde bucal. Serviços de saúde. Indicadores de serviços. Mecanismos de Avaliação da Assistência à Saúde.Abstract:
Methodological Study of Development, Content Validation, and Measurability Assessment of Indicators for Monitoring Oral Health Services in Primary Health Care (PHC). Indicators were constructed using variables recorded in individual dental care records and collective activities within the e-SUS PHC system. A panel of 46 experts evaluated the indicators, determining the percentage of agreement regarding the relevance of the measure, transparency of the calculation method, and whether they captured the theoretical dimension. Measurability was assessed using datathe Primary Care Health Information System (SISAB) for each Brazilian municipality in 2022. The percentage of municipalities with non-null data for the numerator and/or denominator was obtained. Sixty-eight indicators were validated (agreement >75%), with measurability demonstrated for 53, across the subdimensions of Access to Oral Health Services (9), Oral Health Surveillance (5), Diagnosis, Treatment, and Rehabilitation in Oral Health (16), Promotion and Prevention (14), Intersectoral Action/Community Participation (4), and Work Process (5). The percentage of municipalities with calculated indicators ranged0.97% to 95.40%. Valid and measurable indicators can enhance evaluative capacity but may also signal underreporting or issues in the provision of health services to SUS users.Keywords:
Primary Health Care. Oral Health. Health Services. Indicators of Health Services. Health Care Evaluation Mechanisms.Conteúdo:
INTRODUÇÃO
O monitoramento corresponde ao acompanhamento contínuo e sistemático dos serviços e deve ser realizado com base em informações1 sobre o processo saúde e doença da população e referentes às ações executadas2. O monitoramento por meio de indicadores consiste em ferramenta para a tomada de decisões e a definição de metas pelos gestores, para qualificar as intervenções em saúde3, além de refletir a repercussão de políticas e programas de saúde4.
No contexto brasileiro, a avaliação e o monitoramento dos serviços de saúde bucal estão entre as diretrizes da Política Nacional de Saúde Bucal (PNSB) brasileira5. O Ministério da Saúde tem estabelecido como responsabilidades dos municípios e estados o cumprimento de metas em relação a um elenco mínimo de indicadores na Atenção Primária à Saúde (APS). Indicadores de saúde bucal têm sido incluídos em metas pactuadas em diferentes modelos de gestão ao longo do tempo6, 7 e análises de sua evolução destacaram avanços e retrocessos, ressaltando a necessidade de novos indicadores que possam contribuir para a consolidação da prática avaliativa na área de saúde bucal no Sistema Único de Saúde (SUS)6, 7, 8. A fragmentação de sistemas de monitoramento e a falta de indicadores para avaliar e orientar as políticas são desafios globais reconhecidos9. Uma recente resolução da Assembleia Mundial de Saúde recomenda que os governos facilitem o desenvolvimento e a implementação de efetivos sistemas de vigilância e monitoramento10.
Este estudo propõe uma matriz avaliativa de indicadores que podem ser obtidos a partir dos dados gerados periodicamente nos serviços de saúde e disponibilizados nos Sistemas de Informação em Saúde (SIS), podendo ser estimados em nível nacional, estadual, municipal ou por equipes de saúde. No Brasil, os SIS são uma rede de informações composta por sistemas de racionalidade epidemiológica, de assistência à saúde (produção de serviços), monitoramento, gerenciamento de serviços, entre outros e tem sido cada vez mais utilizados na pesquisa e na avaliação em saúde. Possuem ampla cobertura populacional, disponibilidade, baixo custo para coleta dos dados e favorecem o seguimento longitudinal2, 11. Na APS, o Sistema de Informação em Saúde para a Atenção Básica (SISAB) e a estratégia e-SUS APS para sua operacionalização estão vigentes desde 201312. O uso desta fonte de dados favorece a periodicidade dentro de um ciclo avaliativo. Outra característica que qualifica um indicador é a mensurabilidade, que corresponde à possibilidade de calcular os indicadores a partir dos dados disponíveis e a complexidade do cálculo3.
A matriz avaliativa, embora inclua alguns indicadores já recomendados pelo Ministério da Saúde (exemplo: (i) Cobertura de primeira consulta odontológica, (ii) Razão entre tratamento odontológico concluído e primeira consulta odontológica e (iii) Atendimento odontológico à gestante), amplia o escopo da avaliação considerando aspectos do provimento e da gestão dos serviços de saúde bucal. Além disto, a proposta é que ela seja utilizada como ferramenta de monitoramento, contribuindo para mudar o enfoque da avaliação, da averiguação do alcance de metas para o uso regular e contínuo para o acompanhamento dos serviços de saúde e o planejamento nos vários níveis de gestão. Adicionalmente, o uso mais amplo de dados pode qualificar e fortalecer os SIS.
Desta forma, espera-se contribuir para o processo de avaliação no SUS, ampliando a capacidade avaliativa dos gestores nos níveis local e central, por meio de informações apoiadas em dados válidos e confiáveis que contribuam para a qualificação do cuidado com redução das iniquidades e a melhoria da saúde da população. Este estudo metodológico objetivou desenvolver, realizar a validade de conteúdo e avaliar a mensurabilidade de indicadores para o monitoramento dos serviços de bucal na APS a partir de dados do e-SUS APS.
MÉTODOS
Referencial teórico e conceitual
Este estudo metodológico adotou os princípios e diretrizes da PNSB5 e da Política Nacional da Atenção Básica (PNAB)13 como referência conceitual. Baseou-se também no modelo de avaliação da efetividade da Atenção em Saúde Bucal (Figura 1) adaptado do modelo proposto por Nickel (2008)14 e modificado por Colussi (2010)15. O modelo proposto por Nickel contempla duas dimensões da qualidade dos serviços de saúde bucal: Gestão de Saúde Bucal e Provimento de Serviços de Saúde Bucal. A Gestão de Saúde Bucal é a dimensão político-organizacional do modelo disposta em quatro subdimensões: Intersetorialidade, Participação Popular, Recursos Humanos e Infraestrutura.
A dimensão Provimento de Serviços de Saúde Bucal está diretamente relacionada à atenção ao indivíduo14 e incluiu as subdimensões: (i) Promoção, Prevenção e Diagnóstico, (ii) Tratamento, recuperação e reabilitação por ciclo de vida. Colussi (2010)15 incluiu os princípios e diretrizes do SUS ao modelo: integralidade, universalidade e equidade. No presente estudo, o modelo foi adaptado de acordo com a afinidade teórica dos indicadores à cada dimensão/subdimensão e para contemplar todos os aspectos avaliados pelos indicadores propostos (Quadro 1).
Fonte de dados
A fonte de dados compreende os relatórios de saúde (Produção) e de Atividade Coletiva na APS extraídos publicamente do SISAB16. Estes dados secundários são gerados a partir dos registros rotineiros de atendimentos e de atividades realizadas na APS nas Fichas de Atendimento Odontológico Individual e de Atividade Coletiva, lançados no e-SUS APS através de Coleta de Dados Simplificada (CDS) ou Prontuário Eletrônico do Cidadão (PEC), aplicativo e-SUS APS Atividade Coletiva em dispositivos Android® ou por meio de Sistema Próprio utilizando a tecnologia de transporte apache THRIFT17, 18. O SISAB permite a extração dos dados desagregados por munícipio, estado, região de saúde ou macrorregião brasileira (Norte, Nordeste, Sudeste, Sul e Centro-Oeste). Contudo, os indicadores podem ser estimados por equipe de saúde, usando como fonte os relatórios gerenciais no nível local.
A Ficha de Atendimento Odontológico Individual é o instrumento para o registro dos atendimentos clínicos odontológicos de cada usuário pela equipe de Saúde Bucal - eSB em relação a: identificação do profissional e da unidade de saúde onde o atendimento ocorreu, identificação do usuário e características do atendimento odontológico realizado (tipo de consulta, tipo de atendimento, ocorrência de agravos para vigilância em saúde bucal, procedimentos realizados, conduta e desfecho). Os registros são feitos individualmente para cada usuário e a cada novo atendimento12. A Ficha de Atividade Coletiva é o instrumento para o registro das ações realizadas em grupo pelas equipes e é utilizada por todos os profissionais das equipes de APS. Possui campo para preenchimento das ações coletivas de saúde para a população (Educação em Saúde, Atendimento em Grupo, Avaliação/Procedimento coletivo, Mobilização Social) e para a organização da equipe (Reunião de equipe, Reunião com outras equipes de saúde, Reunião intersetorial/Conselho Local de Saúde/Controle social). Os temas das reuniões de equipe podem ser: questões administrativas, processos de trabalho, diagnóstico/monitoramento de território, planejamento/monitoramento das ações de saúde, discussão de caso/projeto terapêutico singular, educação permanente. As ações voltadas para a população são caracterizadas quanto ao público alvo (comunidade em geral, de acordo com o ciclo de vida, por sexo, condições de saúde). Estas ações são ainda caracterizadas quanto aos temas e práticas em saúde. Os registros incluem também dados sobre a identificação do profissional responsável, identificação do local da atividade e dos participantes12
Desenvolvimento dos indicadores
Os indicadores foram desenvolvidos por ampla discussão e trabalho coletivo interinstitucional pelo Grupo de Trabalho (GT) composto por representantes da Faculdade de Odontologia da UFMG (cinco professores das áreas de Saúde Coletiva e Epidemiologia, com experiência em estudos de avaliação de políticas e serviços de saúde, duas alunas de graduação da Faculdade de Odontologia da UFMG, uma bolsista de apoio técnico), da Coordenação Estadual de Saúde da Secretaria de Estado de Saúde de Minas Gerais (servidora técnica, também doutoranda em Saúde Coletiva), e dois trabalhadores dos serviços de saúde bucal da APS.
Inicialmente, houve o estudo do referencial teórico, das fontes dos dados e do sistema e-SUS APS e SISAB. O GT buscou também compreender as orientações para preenchimento das Fichas de Atendimento Odontológico Individual e de Atividades Coletivas pelas equipes da APS. A fonte de consulta foi o Manual para Preenchimento das Fichas CDS12, além da experiência dos profissionais dos serviços de saúde bucal na APS. Neste processo, foram selecionados os dados de interesse para o monitoramento dos serviços de saúde bucal, definindo-se os numeradores e os denominadores, de acordo com a mensuração pretendida.
Uma avaliação interna da 1ª versão da matriz de indicadores foi conduzida por duplas de membros do GT, que apresentou suas considerações e a matriz foi revisada buscando o consenso do GT para obtenção da versão para validação de conteúdo.
A matriz avaliativa de indicadores foi organizada por dimensão e cada indicador foi definido em uma ficha de qualificação padronizada, quanto aos seguintes atributos: denominação do indicador, medida (informações que definem o indicador e a forma como ele se expressa, se necessário agregando elementos para a compreensão de seu conteúdo), interpretação do resultado (explicação do tipo de informação obtida e seu significado), usos (principais finalidades de utilização dos dados, a serem consideradas na análise do indicador), limitações (fatores que restringem a interpretação do indicador, referentes tanto ao próprio conceito quanto às fontes utilizadas), método de cálculo (fórmula utilizada para calcular o indicador, definindo as variáveis que a compõem), fonte de dados (instituições responsáveis pela produção dos dados utilizados no cálculo do indicador e pelos sistemas de informação a que correspondem), parâmetro (elemento ou característica definidos como referência para comparações, quando existentes. Caso contrário, as fichas de qualificação dos indicadores orientam que os parâmetros podem ser estabelecidos a partir da análise da série histórica em cada contexto ou dos valores médios nacionais, estaduais ou obtidos no nível local), observações (informações complementares sobre as fontes de dados ou sobre os dados utilizados no cálculo dos indicadores), referências (material consultado para a elaboração ou interpretação dos indicadores)3, 19.
Validação de conteúdo dos indicadores
O Método de e-Delphi modificado foi adotado para obter os pareceres de um painel de profissionais (painelistas) sobre os indicadores, com rodadas interativas e anônimas de avaliação20. Os painelistas foram pesquisadores na área de Saúde Pública e Epidemiologia (n=12), Gestores de serviços de saúde bucal (n=16) e Profissionais dos serviços de saúde bucal (n=19), com experiência tanto na produção de dados no nível local como na análise de dados e informações com objetivo de pesquisa ou na gestão de serviços de saúde. Em função do número grande de indicadores, grupos de painelistas foram compostos com representações de todos os perfis. Para cada grupo de indicadores, foram convidados, por e-mail, de 10 a 12 painelistas, buscando alcançar, no mínimo, a participação de sete em cada grupo. Mediante o aceite, o material para validação foi enviado ao painelista. Esta etapa aconteceu de 03/2020 a 06/2021.
O software Survey Monkey® foi utilizado para formatar a ferramenta de validação e para a gestão das respostas obtidas, gerando um link para acesso pelos painelistas. Na primeira seção desta ferramenta, apresentou-se uma descrição sobre a metodologia e referencial teórico utilizado para o desenvolvimento dos indicadores, sobre o processo de validação, seguido do Termo de Consentimento Livre e Esclarecido (TCLE), para que os painelistas registrassem o aceite em participar do processo. Na segunda seção, a ficha de qualificação de cada indicador foi apresentada, seguida do roteiro de validação para que o painelista inserisse sua avaliação. O roteiro incluiu as seguintes afirmativas 1) O indicador “x” é relevante para a avaliação da qualidade do serviço de saúde bucal; 2) O método de cálculo do indicador “x” é facilmente compreensível; 3) O método de cálculo do indicador “x” é facilmente reprodutível e 4) O indicador “x” mede aspectos da “dimensão y/subdimensão z”, com as opções de resposta em escala de Likert: 0 discordo, 1 discordo em parte, 2 concordo em parte e 3 concordo. Adicionalmente, um campo aberto foi incluído para registro de “observações, críticas ou sugestões em relação ao indicador avaliado” pelos painelistas.
O percentual de concordância dos painelistas, para as opções de resposta concordo em parte ou concordo, foi obtida para cada indicador em relação à relevância, método de cálculo compreensível, método de cálculo reprodutível, e mensuração de aspectos da dimensão. Para a permanência do indicador, adotou-se ponto de corte de 75% de concordância para cada aspecto avaliado21. Os indicadores com concordância < 75% foram reavaliados e, quando mantidos na matriz, foram submetidos a outra rodada de avaliação. Mesmo aqueles indicadores que obtiveram concordância ? 75% na rodada anterior, foram reenviados aos painelistas seguidos de um campo aberto para inserção de novos comentários e/ou sugestões, caso julgassem necessário. Quando houve a participação de cinco ou menos painelistas, adotou-se o critério de 100% de concordância para a manutenção do indicador21.
Entre uma rodada e outra, foi elaborado um relatório agrupando as sugestões e comentários similares, bem como as alterações realizadas na matriz com justificativas e o percentual de concordância para cada indicador. O relatório não possuía identificação dos painelistas e foi disponibilizado a todos nas rodadas subsequentes de validação, acompanhado da matriz de indicadores atualizada.
Avaliação da mensurabilidade e percentual de municípios com dados não nulos para cálculo dos indicadores
A mensurabilidade foi avaliada empregando os dados dos atendimentos odontológicos e de atividades coletivas realizados para cada município brasileiro, no ano de 2022, extraídos do SISAB, separadamente, para o numerador e denominador de cada indicador, conforme orientações descritas no Dicionário dos Indicadores19, 22. O código do IBGE para cada município, presente nas bases extraídas do SISAB, foi empregado para vinculação dos bancos de dados antes do cálculo. O percentual de municípios que possuíam dados não nulos para o cálculo do indicador foi obtido dividindo-se o número de municípios com ausência de dados no SISAB para o numerador e/ou denominador pelo número total de municípios (N=5565).
Todos os painelistas aceitaram participar do estudo mediante assinatura do TCLE (CAAE: 68646217.0.0000.5149).
RESULTADOS
Um total de 70 indicadores foram originalmente desenvolvidos, 58 compondo a dimensão Provimento de Serviços de Saúde Bucal (Acesso aos serviços de saúde bucal: 11, Vigilância em saúde bucal: 10, Diagnóstico, tratamento e reabilitação em saúde bucal: 22, Promoção e prevenção: 15) e 12 indicadores na dimensão Gestão da Saúde Bucal (Atuação intersetorial/Participação popular: 4, Estrutura dos serviços de saúde: 3, Processo de trabalho da eSB: 5). Foram convidados 62 painelistas para participarem do processo de validação, dos quais 46 (taxa de resposta: 74,2%) responderam na primeira rodada e 31 (taxa de resposta: 67,4%) na segunda rodada. Para cada conjunto de indicadores, houve participação de 5 a 9 painelistas nas rodadas de avaliação. As revisões realizadas nas duas rodadas foram descritas detalhadamente em publicação anterior23.
Dimensão Provimento de Serviços de Saúde Bucal
A validação dos 21 indicadores das subdimensões Acesso aos serviços de Saúde Bucal e Vigilância em saúde bucal foi realizada em duas rodadas. Concordância < 75% foi observada para três indicadores em, pelo menos, um dos aspectos avaliados e foram submetidos à 2ª rodada de validação (Tabela 1). As revisões realizadas foram, principalmente, referentes à inclusão de limitações (ind. 1, 2, 3 e 9), de observações para facilitar a interpretação ou para esclarecimentos sobre os dados usados para cálculo do indicador (ind. 5 e 11), modificação da denominação do indicador (ind. 5, 6, 7, 11, 12 e 14 a 21) e da redação da interpretação para maior clareza da medida (ind. 7). A descrição da medida dos indicadores 12, 14 a 21 foi modificada, pois trata-se de taxa de atendimento e não de uma proporção, como originalmente proposto. Para todos os indicadores, houve substituição da descrição da fonte dos dados na ficha de qualificação, de fichas de atendimento odontológico individual e de atividades coletivas para Relatórios de saúde do SISAB. Na segunda rodada, o indicador 10 foi excluído, por constituir-se em um número absoluto, impossibilitando avaliações comparativas dos resultados ao longo do tempo ou entre diferentes locais, limitando seu uso no monitoramento dos serviços de saúde bucal. Para os demais indicadores, foi obtida concordância > 85,7% e não foram necessárias novas revisões, sendo considerados validados na segunda rodada.
Na subdimensão Diagnóstico, tratamento e reabilitação em saúde bucal, três grupos de diferentes painelistas participaram de duas rodadas de validação dos 22 indicadores. Na 1ª rodada, foi obtida concordância < 75% para 10 indicadores em, pelo menos, um dos aspectos avaliados (Tabela 1). Os indicadores foram revisados para inclusão de limitações da medida (ind. 23, 28, 37 a 42), descrição de procedimentos que compõem o numerador/denominador e/ou para esclarecimentos sobre as fontes de dados (ind. 23, 24, 32, 34, 38, 39, 42), alteração do método de cálculo, principalmente em relação à delimitação dos grupos etários (ind. 25, 26, 30, 31, 38, 42), revisão do texto de interpretação da medida (ind. 30, 31, 36, 37, 39 a 42) e mudança na denominação do indicador (ind. 22 a 24 e 28). Nos indicadores 22 a 24, foi inserido o termo “odontológicos” na denominação para delimitar os tipos de procedimentos. No indicador 28, delimitou-se a dentição permanente na denominação do indicador. Na 2ª rodada, houve aumento do percentual de concordância para 9 indicadores. O indicador Taxa de alveolite foi excluído pois não alcançou a concordância, e as argumentações dos painelistas demonstraram sua pouca relevância. Embora tenha ocorrido aumento da concordância para o indicador Proporção de agendamentos para o NASF originados dos atendimentos realizados pela eSB, optou-se por excluí-lo pois deveria apresentar percentual de concordância = 100%, devido à redução do número de painelistas na segunda rodada (Tabela 1). A concordância quanto ao indicador medir aspectos da dimensão não aumentou na rodada 2 para o indicador Média de encaminhamentos para Prótese Dentária. Contudo, optou-se por mantê-lo e revisar o conceito da subdimensão, incluindo os cuidados para a reabilitação, conforme sugerido pelos painelistas. Houve introdução de um novo indicador Tratamento de lesões de mucosa na APS entre a 1ª e 2ª rodadas, a partir do comentário de um dos painelistas sobre a inclusão deste procedimento na tabela de Procedimentos, Medicamentos, Órteses, Próteses e Materiais Especiais (OPM) do SUS em meados de 2020.24
Dos 15 indicadores da subdimensão Promoção e prevenção originalmente criados, concordância > 75% foi obtida para 12 deles, por consenso entre oito painelistas participantes da 1ª rodada (Tabela 1). Três indicadores foram submetidos à 2ª rodada de validação e obtiveram aumento do percentual de concordância. Entre a 1ª e a 2ª rodadas, o método de cálculo de nove indicadores foi revisado para delimitar e descrever melhor os grupos etários ou os tipos de atividades/procedimentos incluídos no numerador e/ou denominador. Dois indicadores foram excluídos (Fornecimento de escova dental e Fornecimento de creme dental) e foi mantido o indicador que avalia o fornecimento concomitante de escova e creme dental, por ser considerado suficiente para medir a oferta destes insumos. Outras alterações de redação ou inclusão de texto foram realizadas para maior clareza da interpretação, da medida, das limitações e dos usos dos indicadores. Houve mudança na denominação do indicador 44 para melhor representar a medida. Após a 2ª rodada, por sugestão de um painelista, três novos indicadores foram criados para desmembrar e substituir o indicador 56, para cada um dos tipos de atividades coletivas (educação em saúde, atendimento em grupo e avaliação/procedimento coletivo). Os três indicadores mantiveram o mesmo método de cálculo, contudo, a variável do numerador passou a ser cada tipo de atividade coletiva, separadamente. Por serem muito semelhantes ao indicador 56, já validado pelos painelistas, optou-se por incluir estes indicadores sem revisão.
Dimensão Gestão da Saúde Bucal, Subdimensões Atuação Intersetorial/Participação popular, Estrutura dos serviços de saúde e Processo de trabalho da eSB
Houve concordância > 75% para todos os aspectos avaliados dos indicadores desta dimensão e a revisão foi concluída com uma única rodada de avaliação. Os comentários dos painelistas foram considerados na revisão e compreenderam inclusão de limitação para os indicadores 59, 63 e 65, correção na denominação do indicador 61 de acordo com a medida e os indicadores 67 e 68 tiveram o método de cálculo modificado, com melhor delimitação do denominador em relação aos temas pautados nas reuniões de equipe.
Matriz de indicadores validada
Dos 70 indicadores da matriz inicial, seis foram excluídos e 64 foram validados após revisões na 1ª e/ou 2ª rodadas. Um novo indicador foi criado na dimensão Diagnóstico, tratamento e reabilitação em saúde bucal e três novos foram desmembramentos de um na dimensão Promoção e Prevenção. Assim, a matriz final foi composta por 68 indicadores, sendo 56 referentes ao Provimento de serviços de saúde bucal, nas subdimensões: Acesso aos serviços de saúde bucal (10), Vigilância em Saúde Bucal (10), Diagnóstico, tratamento e reabilitação em saúde bucal (21), Promoção e Prevenção (15). A dimensão Gestão dos Serviços de Saúde Bucal incluiu 12 indicadores, quatro na subdimensão Atuação intersetorial/Participação Popular, três para avaliar Estrutura dos serviços de saúde e cinco referentes ao Processo de Trabalho da eSB.
Mensurabilidade
Quinze indicadores não foram mensuráveis por ausência de identificação de PNE no SISAB (Proporção de pessoas com necessidades especiais que realizam primeira consulta odontológica programática, Média de encaminhamentos PNE para atenção especializada), impossibilidade de extrair dados de população cadastrada por idade (Taxa de atendimento odontológico de crianças por traumatismo dentoalveolar, Taxa de atendimento odontológico de adolescentes por traumatismo dentoalveolar, Taxa de atendimento odontológico de adultos por traumatismo dentoalveolar, Taxa de atendimento odontológico de crianças com fluorose dentária moderada ou severa, Taxa de atendimento odontológico de adolescentes com fluorose dentária moderada ou severa, Taxa de instalação de próteses dentárias na população adulta, Taxa de instalação de próteses dentárias na população idosa, Média de exodontias de dentes permanentes, Média de exodontias de dentes decíduos), e ausência de registros de tratamento de lesão de mucosa no SISAB até maio de 2023 (Tratamento de lesões de mucosa na APS) e indisponibilidade de dados sobre o fornecimento de escovas e creme dental (Fornecimento de escova e creme dental).
Na Tabela 3, foram demonstrados os 53 indicadores mensuráveis, denominação e numeração final e descrição da medida, bem como o percentual de municípios com registros no numerador e/ou denominador, possibilitando o cálculo. Resultados dos indicadores calculados para cada município e Unidade da Federação brasileira foram demonstrados em planilhas, gráficos e mapas, disponíveis em dashboard de acesso público e as fichas de qualificação dos indicadores foram publicadas no Dicionário de Indicadores19. Para quinze indicadores, o percentual de municípios com dados não nulos foi > 70%. Percentual muito baixo de registros foi observado para o indicador Taxa de atendimento odontológico de usuários com fendas ou fissuras labiopalatais. Os indicadores referentes à média de encaminhamento para implantodontia, odontopediatria, ortodontia/ortopedia e apoio diagnostico em radiologia para procedimentos odontológicos e média de procedimentos de adaptação por prótese instalada foram obtidos em percentual baixo de municípios brasileiros (<10%). Para <20% de municípios, foi possível estimar os indicadores Agendamento de usuários para atividades em grupos pela eSB, Ação educativa para crianças na primeiríssima infância (0 a 3 anos), Ação educativa para controle do tabagismo e Práticas coletivas em saúde bucal. Todos os indicadores da dimensão Gestão dos Serviços de Saúde Bucal foram estimados em < 15,11% dos municípios brasileiros.
DISCUSSÃO
Os indicadores validados abrangem vários aspectos para monitorar e avaliar o desempenho dos serviços de saúde bucal na APS usando dados secundários, de um sistema de informação em saúde de abrangência nacional. No seu conjunto, a matriz avaliativa possibilitará o acompanhamento dos serviços de saúde bucal quanto à cobertura das ações na APS individuais e coletivas e da atenção especializada no SUS, à resolutividade do atendimento odontológico, à avaliação do modelo de atenção predominante, à análise da integração entre a eSB e eSF, além de obtenção de taxas de atendimento odontológico por agravos específicos. Esses indicadores poderão ser analisados levando em consideração variações geográficas e temporais, contribuindo para identificar desigualdades e tendências que requerem ações e estudos específicos. A inclusão de dados sobre a saúde bucal no SISAB/e-SUS APS representa, assim, um avanço na análise da situação de saúde bucal em nível local, nos territórios de atuação das eSB. Nesse sentido, a matriz de indicadores elaborada a partir desses dados é uma relevante contribuição para o processo de gestão, monitoramento e avaliação da APS.
A validação de conteúdo da matriz de indicadores utilizando o método e-Delphi contou com a contribuição dos painelistas para melhorar a clareza da medida e da denominação dos indicadores, bem como da transparência metodológica. Neste último aspecto, os painelistas manifestaram se os procedimentos de construção dos indicadores eram claros e transparentes e se as decisões metodológicas estavam justificadas. Esses atributos são essenciais para garantir a legitimidade dos indicadores nos meios técnicos e científicos, o que é crucial para sua aceitação política e social25. Profissionais apresentaram diferentes perspectivas sobre os indicadores, tendo por base suas variadas experiências e formações, demonstrando a relevância técnica e científica das medidas propostas. Os percentuais de concordância obtidos nas rodadas de revisão foram suficientes para a maioria dos indicadores, reconhecendo que eles podem medir aspectos da qualidade dos serviços conforme definido pelo modelo teórico conceitual adotado. O método e-Delphi permitiu a participação de profissionais de várias partes do Brasil e viabilizou a condução da pesquisa durante o período de isolamento social devido à pandemia da COVID-1920.
A mensurabilidade da maioria dos indicadores foi demonstrada, com exceção daqueles com dados indisponíveis no SISAB, mesmo que seu método de cálculo considere variáveis constantes das fichas de registro da APS. A não mensurabilidade de dois indicadores da dimensão estrutura dos serviços demonstrou que os dados gerados a partir dos registros rotineiros são insuficientes para avaliar as características dos espaços físicos e ambientes das Unidades Básicas de Saúde. Com relação ao indicador tratamento de lesões de mucosa na APS, a ausência desses dados pode ser justificada pelo fato deste procedimento ter sido incluído na tabela de Procedimentos, Medicamentos e OPM do SUS em meados de 202024. Assim, o cálculo deste indicador será possível a partir da disponibilização dos dados dos anos sequenciais a esta mudança na tabela. Embora a mensurabilidade tenha sido demonstrada para o ano de 2022, a extração de dados pode ser realizada por mês, possibilitando menor desagregação temporal. Os indicadores podem ser calculados tão logo a informação seja disponibilizada no sistema, garantindo regularidade na mensuração, contribuindo para avaliação e monitoramento tempestivo de políticas e programas sociais25.
A avaliação do percentual de municípios com dados não nulos referentes aos atendimentos odontológicos individuais e atividades coletivas (numerador e/ou denominador do indicador) pode sinalizar falhas no preenchimento dos instrumentos de coleta, apontando fragilidades e potencialidades dos dados produzidos pelo sistema de informação3, 26. Por outro lado, como são registros de produção ambulatorial, poder-se-ia assumir que a ausência do dado corresponde a não realização do atendimento ou ação pelas eSB ou equipes da APS, sinalizando características da oferta das modalidades de ações individuais ou coletivas nos serviços públicos de saúde. Contudo, cabe destacar também que as notas técnicas do SISAB e orientações de preenchimento das fichas de coleta não descrevem sobre o registro da não realização de ações/atendimentos. Ao extrair o dado do SISAB, valores “zero” não são obtidos, ou seja, não é possível discriminar se determinado município não realizou determinada ação/atendimento no período, ou se os registros correspondentes não foram realizados. Portanto, a qualidade dos registros pode ser um dos desafios para uso desta fonte de dados, especialmente com relação à encaminhamentos de usuários para atenção secundária, e desenvolvimento de ações coletivas.
Esta pesquisa, até o momento, concentrou-se na validação de conteúdo dos indicadores propostos. No entanto, uma pesquisa de implementação dessa matriz avaliativa em contextos municipais deverá abranger a avaliação da aceitabilidade, adoção, viabilidade e adequabilidade dos indicadores pelos profissionais do SUS. Além disso, deve-se incluir uma análise da qualidade dos dados, considerando baixos índices de registros ou registros extremos e possíveis erros de classificação nos registros. Isso deve envolver a verificação da compatibilidade entre as informações registradas nas fichas de atendimento e os dados disponíveis no Sistema de Informação em Saúde para a Atenção Básica (SISAB). Recomenda-se também realizar uma revisão minuciosa dos documentos técnicos relacionados à classificação de variáveis e orientações de registros e a avaliação da compreensão e prática dos profissionais em relação e estes processos.
Estudo de caso prévio, realizado entre profissionais da ESF e gestor da saúde de um município brasileiro, investigou os principais problemas encontrados no registro e recuperação de informações no e-SUS AB. Os achados demonstraram fragilidade no processo de treinamento dos profissionais das equipes, dificuldades no preenchimento das fichas de registros de dados, bem como no uso do sistema eletrônico e significativo desconhecimento dos processos de armazenamentos das informações. Os autores concluíram sobre a necessidade de capacitações dos profissionais que atuam diretamente com a estratégia e-SUS AB, bem como sensibilização deles e dos gestores sobre a importância da qualidade da informação em saúde para promover melhorias no processo de registro e recuperação das informações27. Portanto, a capacitação dos profissionais de saúde envolvidos no processo, da obtenção ao registro do dado, pode contribuir para que os indicadores reflitam de forma válida a realidade dos serviços de saúde bucal na APS, permitindo uma avaliação mais robusta e eficaz do sistema de saúde. Acredita-se também que a implantação do e-SUS APS se consolide no país, contribuindo para qualificar o uso dos SISAB e dos dados rotineiros gerados. O progresso da implementação da estratégia e-SUS APS foi demonstrado, existindo em algum nível em 92,2% dos municípios em 201928. A consolidação do uso do PEC em território nacional, na perspectiva da Saúde Digital, deve possibilitar, no futuro, a integração e padronização dos registros na APS, evitando-se erros de digitação ou mesmo incompatibilidade de variáveis quando municípios utilizam sistemas próprios.
Como limitação deste estudo, destaca-se a falta de participação de painelistas na 2ª rodada de validação, reduzindo a taxa de resposta e a possibilidade destes profissionais apresentarem contribuições adicionais em relação à versão revisada da matriz avaliativa. Nestes casos, adotou-se ponto de corte mais alto para o percentual de concordância para manutenção ou não do indicador na matriz avaliativa21. Outro aspecto é que a mensurabilidade dos indicadores foi afetada pelas caraterísticas da fonte de dados, tendo em vista que nem todas as variáveis registradas nas fichas de atendimento do usuário na APS são disponibilizadas no SISAB. Este aspecto comprometeu principalmente estimativas de indicadores pertinentes para determinados grupos específicos, definidos pela idade ou pela condição de saúde (PNE). Contudo, o uso de dados secundários se mostrou potente, tendo em vista que a fonte é um sistema de informação de base nacional público, que contém registros contínuos dos atendimentos odontológicos realizados na APS e de ações coletivas em território nacional. Espera-se que o uso dos indicadores nas ações de monitoramento das equipes também contribua com a qualidade dos dados gerados, a partir do envolvimento dos atores no processo de discussão dos resultados observados em cada município.
Os indicadores apresentaram validade de conteúdo e foram mensuráveis, podendo apoiar a gestão, o planejamento e a avaliação de políticas públicas no âmbito do SUS. Isso pode contribuir para aprimorar a Política Nacional de Saúde Bucal, melhorar a qualidade dos serviços, reduzir desigualdades e fortalecer o controle social. Os indicadores criados podem também ser empregados para pesquisas avaliativas que caracterizem os serviços de saúde bucal no SUS, busquem compreender diferentes níveis de resultados observados, incluindo analises comparativas segundo determinantes geográficos e temporais. O baixo percentual de municípios com indicador estimado pode sinalizar sub-registros de procedimentos individuais ou atividades coletivas em saúde bucal ou problemas na oferta destas ações aos usuários do SUS na APS.
Colaboradores
RCF trabalhou na concepção, delineamento, análise e interpretação dos dados, redação do artigo e aprovou a versão a ser publicada. LLFHC trabalhou na concepção, delineamento, análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada. JHLA trabalhou na concepção, delineamento, análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada. RSP trabalhou na análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada. JSS trabalhou na análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada. FLC trabalhou na análise e interpretação dos dados, redação do artigo e aprovou a versão a ser publicada. ELP trabalhou na análise e interpretação dos dados, redação do artigo e aprovou a versão a ser publicada. MIBS trabalhou na concepção, delineamento, análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada.
Agradecimentos
A Marina Fajardo e Debora Egg pela atuação no processo de validação da matriz de indicadores. Essa pesquisa foi realizada com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001, Fundação de Amparo à Pesquisa de Minas Gerais (APQ-00763-20, Programa de Pesquisa para o SUS: gestão compartilhada em saúde e PPM-00603-18, Programa Pesquisador Mineiro). RCF é bolsista de produtividade CNPq (310938/2022-8).
Referências
1. Hartz ZMA, Silva LMV. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Fiocruz; 2005.
2. Branco MAF. Sistema de informação em saúde no nível local. Cad Saude Publica 1996; 12(2):267-270.
3. OPAS. Indicadores de saúde: elementos conceituais e práticos. Washington, D.C.: Organização Pan-americana de Saúde; 2019.
4. Santos JLD, Ferreira RC, Amorim LP, Santos ARS, Chiari APG, Senna MIB. Oral health indicators and sociodemographic factors in Brazil from 2008 to 2015. Rev Saude Publica 2021; 55:25.
5. Brasil. Diretrizes da Política Nacional de Saúde Bucal [Internet]. Brasília: Ministério da Saúde; 2004 [cited 2023 Jun 06]. Available from: https://bvsms.saude.gov.br/bvs/publicacoes/analise_pacto.PDF
6. França MASA, Freire MCM, Pereira EM, Marcelo VC. Indicators proposed by the Brazilian Ministry of Health for monitoring and evaluating oral health actions in the National Health System: documentary research, 2000-2017. Epidemiol. Serv. Saúde 2020; 29(1):e2018406.
7. França MASA, Freire MCM, Pereira EM, Marcelo VC. Oral health indicators in the Interfederative Pacts of the Unified Health System: development in the 1998-2016 period. Rev Odontol UNESP 2018; 47(1):18-24.
8. Scherer CI, Scherer MD. Advances and challenges in oral health after a decade of the "Smiling Brazil" Program. Rev Saude Publica 2015; 49:98.
9. Agrasuta V, Thumbuntu T, Karawekpanyawong R, Panichkriangkrai W, Viriyathorn S, Reeponmaha T, Jaichuen W, Witthayapipopsakul W, Gaewkhiew P, Prasertsom P, Tangcharoensathien V. Progressive realisation of universal access to oral health services: what evidence is needed? BMJ Glob Health 2021; 6(7):e006556.
10. WHO. World Health Assembly resolution: WHA 74.5 Oral Health. [Internet]. 2021 [cited 2023 Oct 10]. Available from: https://apps.who.int/gb/ebwha/pdf_files/EB148/B148_R1-en.pdf
11. Coeli CM, Pinheiro RS, Carvalho MS. Neither better nor worse, simply different. Cad Saude Publica 2014; 30(7):1363-1375.
12. Brasil. e-SUS Atenção Básica: manual de uso do sistema com prontuário eletrônico - PEC (versão 4.2) [Internet]. Brasília: Ministério da Saúde; 2021 [cited 2023 Jun 06]. Available from: https://cgiap-saps.github.io/Manual-eSUS-APS/
13. Brasil. Política Nacional de Atenção Básica [Internet]. Brasília: Ministério da Saúde; 2012 [cited Available from: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/prt2436_22_09_2017.html
14. Nickel DA. Modelo de avaliação da efetividade da Atenção em Saúde Bucal [dissertação]. Florianópolis: Universidade Federal de Santa Catarina; 2008.
15. Colussi CF. Avaliação da qualidade da atenção em saúde bucal em Santa Catarina [tese]. Florianópolis: Universidade Federal de Santa Catarina; 2010.
16. Sistema de Informação em Saúde para a Atenção Básica - SISAB. [Internet]. Brasília: Ministério da Saúde; 2022 [cited 2023 Jun 06]. Available from: https://sisab.saude.gov.br/index.xhtml.
17. Brasil. Nota técnica explicativa: relatório de saúde (Produção) [Internet]. Brasília: Ministério da Saúde; 2021 [cited 2023 Jun 06]. Available from: https://sisab.saude.gov.br/resource/file/nota_tecnica_relatorio_saude_producao_210802.pdf
18. Brasil. Nota técnica explicativa: relatório de saúde (Atividade Coletiva) [Internet]. Brasília: Ministério da Saúde; 2021 [cited 2023 Jun 06]. Available from: http://189.28.128.100/dab/docs/portaldab/documentos/esus/sisab_nota_tecnica_relatorio_atividade_coletiva.pdf
19. Ferreira RC, Chalub LLFH. Dicionário de indicadores para avaliação dos serviços de saúde bucal na Atenção Primária à Saúde. Belo Horizonte: FAO UFMG; 2023.
20. Toronto C. Considerations when conducting e-Delphi research: a case study. Nurse Res 2017; 25(1):10-15.
21. Alexandre NM, Coluci MZ. Validade de conteudo nos processos de construcao e adaptacao de instrumentos de medidas. Cien Saude Colet 2011; 16(7):3061-3068.
22. Lima CR, Schramm JM, Coeli CM, da Silva ME. Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cad Saude Publica 2009; 25(10):2095-2109.
23. Ribeiro MF. Avaliação dos serviços de saúde bucal na Atenção Primária: desenvolvimento e validação de indicadores elaborados a partir de variáveis do e-SUS APS [Trabalho de Conclusão de Curso de graduação]. Belo Horizonte: Faculdade de Odontologia da UFMG; 2021.
24. Brasil. Portaria no. 526 de 24 de junho de 2020. Inclui, altera e exclui procedimentos da Tabela de Procedimentos, Medicamentos, Órteses, Próteses e Materiais especiais do SUS. Diário Oficial da União 2020; 02 jul. Available from: https://www.in.gov.br/en/web/dou/-/portaria-n-526-de-24-de-junho-de-2020-264666631
25. Jannuzzi PdM. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público 2005; 56(2):137-160.
26. Correia LO, Padilha BM, Vasconcelos SM. Metodos para avaliar a completitude dos dados dos sistemas de informacao em saude do Brasil: uma revisao sistematica. Cien Saude Colet 2014; 19(11):4467-4478.
27. Tenório-Filho L. Sistemas de informação em saúde: um estudo dos processos de registro, integração e recuperação da informação das bases SISAB e ESUS-AB [Mestrado]. Maceió: Universidade Federal de Alagoas; 2022.
28. Cielo AC, Raiol T, Silva END, Barreto JOM. Implementation of the e-SUS Primary Care Strategy: an analysis based on official data. Rev Saude Publica 2022; 56:5.
29. Donabedian A. The quality of medical care. Science 1978; 200(4344):856-64.
O monitoramento corresponde ao acompanhamento contínuo e sistemático dos serviços e deve ser realizado com base em informações1 sobre o processo saúde e doença da população e referentes às ações executadas2. O monitoramento por meio de indicadores consiste em ferramenta para a tomada de decisões e a definição de metas pelos gestores, para qualificar as intervenções em saúde3, além de refletir a repercussão de políticas e programas de saúde4.
No contexto brasileiro, a avaliação e o monitoramento dos serviços de saúde bucal estão entre as diretrizes da Política Nacional de Saúde Bucal (PNSB) brasileira5. O Ministério da Saúde tem estabelecido como responsabilidades dos municípios e estados o cumprimento de metas em relação a um elenco mínimo de indicadores na Atenção Primária à Saúde (APS). Indicadores de saúde bucal têm sido incluídos em metas pactuadas em diferentes modelos de gestão ao longo do tempo6, 7 e análises de sua evolução destacaram avanços e retrocessos, ressaltando a necessidade de novos indicadores que possam contribuir para a consolidação da prática avaliativa na área de saúde bucal no Sistema Único de Saúde (SUS)6, 7, 8. A fragmentação de sistemas de monitoramento e a falta de indicadores para avaliar e orientar as políticas são desafios globais reconhecidos9. Uma recente resolução da Assembleia Mundial de Saúde recomenda que os governos facilitem o desenvolvimento e a implementação de efetivos sistemas de vigilância e monitoramento10.
Este estudo propõe uma matriz avaliativa de indicadores que podem ser obtidos a partir dos dados gerados periodicamente nos serviços de saúde e disponibilizados nos Sistemas de Informação em Saúde (SIS), podendo ser estimados em nível nacional, estadual, municipal ou por equipes de saúde. No Brasil, os SIS são uma rede de informações composta por sistemas de racionalidade epidemiológica, de assistência à saúde (produção de serviços), monitoramento, gerenciamento de serviços, entre outros e tem sido cada vez mais utilizados na pesquisa e na avaliação em saúde. Possuem ampla cobertura populacional, disponibilidade, baixo custo para coleta dos dados e favorecem o seguimento longitudinal2, 11. Na APS, o Sistema de Informação em Saúde para a Atenção Básica (SISAB) e a estratégia e-SUS APS para sua operacionalização estão vigentes desde 201312. O uso desta fonte de dados favorece a periodicidade dentro de um ciclo avaliativo. Outra característica que qualifica um indicador é a mensurabilidade, que corresponde à possibilidade de calcular os indicadores a partir dos dados disponíveis e a complexidade do cálculo3.
A matriz avaliativa, embora inclua alguns indicadores já recomendados pelo Ministério da Saúde (exemplo: (i) Cobertura de primeira consulta odontológica, (ii) Razão entre tratamento odontológico concluído e primeira consulta odontológica e (iii) Atendimento odontológico à gestante), amplia o escopo da avaliação considerando aspectos do provimento e da gestão dos serviços de saúde bucal. Além disto, a proposta é que ela seja utilizada como ferramenta de monitoramento, contribuindo para mudar o enfoque da avaliação, da averiguação do alcance de metas para o uso regular e contínuo para o acompanhamento dos serviços de saúde e o planejamento nos vários níveis de gestão. Adicionalmente, o uso mais amplo de dados pode qualificar e fortalecer os SIS.
Desta forma, espera-se contribuir para o processo de avaliação no SUS, ampliando a capacidade avaliativa dos gestores nos níveis local e central, por meio de informações apoiadas em dados válidos e confiáveis que contribuam para a qualificação do cuidado com redução das iniquidades e a melhoria da saúde da população. Este estudo metodológico objetivou desenvolver, realizar a validade de conteúdo e avaliar a mensurabilidade de indicadores para o monitoramento dos serviços de bucal na APS a partir de dados do e-SUS APS.
MÉTODOS
Referencial teórico e conceitual
Este estudo metodológico adotou os princípios e diretrizes da PNSB5 e da Política Nacional da Atenção Básica (PNAB)13 como referência conceitual. Baseou-se também no modelo de avaliação da efetividade da Atenção em Saúde Bucal (Figura 1) adaptado do modelo proposto por Nickel (2008)14 e modificado por Colussi (2010)15. O modelo proposto por Nickel contempla duas dimensões da qualidade dos serviços de saúde bucal: Gestão de Saúde Bucal e Provimento de Serviços de Saúde Bucal. A Gestão de Saúde Bucal é a dimensão político-organizacional do modelo disposta em quatro subdimensões: Intersetorialidade, Participação Popular, Recursos Humanos e Infraestrutura.
A dimensão Provimento de Serviços de Saúde Bucal está diretamente relacionada à atenção ao indivíduo14 e incluiu as subdimensões: (i) Promoção, Prevenção e Diagnóstico, (ii) Tratamento, recuperação e reabilitação por ciclo de vida. Colussi (2010)15 incluiu os princípios e diretrizes do SUS ao modelo: integralidade, universalidade e equidade. No presente estudo, o modelo foi adaptado de acordo com a afinidade teórica dos indicadores à cada dimensão/subdimensão e para contemplar todos os aspectos avaliados pelos indicadores propostos (Quadro 1).
Fonte de dados
A fonte de dados compreende os relatórios de saúde (Produção) e de Atividade Coletiva na APS extraídos publicamente do SISAB16. Estes dados secundários são gerados a partir dos registros rotineiros de atendimentos e de atividades realizadas na APS nas Fichas de Atendimento Odontológico Individual e de Atividade Coletiva, lançados no e-SUS APS através de Coleta de Dados Simplificada (CDS) ou Prontuário Eletrônico do Cidadão (PEC), aplicativo e-SUS APS Atividade Coletiva em dispositivos Android® ou por meio de Sistema Próprio utilizando a tecnologia de transporte apache THRIFT17, 18. O SISAB permite a extração dos dados desagregados por munícipio, estado, região de saúde ou macrorregião brasileira (Norte, Nordeste, Sudeste, Sul e Centro-Oeste). Contudo, os indicadores podem ser estimados por equipe de saúde, usando como fonte os relatórios gerenciais no nível local.
A Ficha de Atendimento Odontológico Individual é o instrumento para o registro dos atendimentos clínicos odontológicos de cada usuário pela equipe de Saúde Bucal - eSB em relação a: identificação do profissional e da unidade de saúde onde o atendimento ocorreu, identificação do usuário e características do atendimento odontológico realizado (tipo de consulta, tipo de atendimento, ocorrência de agravos para vigilância em saúde bucal, procedimentos realizados, conduta e desfecho). Os registros são feitos individualmente para cada usuário e a cada novo atendimento12. A Ficha de Atividade Coletiva é o instrumento para o registro das ações realizadas em grupo pelas equipes e é utilizada por todos os profissionais das equipes de APS. Possui campo para preenchimento das ações coletivas de saúde para a população (Educação em Saúde, Atendimento em Grupo, Avaliação/Procedimento coletivo, Mobilização Social) e para a organização da equipe (Reunião de equipe, Reunião com outras equipes de saúde, Reunião intersetorial/Conselho Local de Saúde/Controle social). Os temas das reuniões de equipe podem ser: questões administrativas, processos de trabalho, diagnóstico/monitoramento de território, planejamento/monitoramento das ações de saúde, discussão de caso/projeto terapêutico singular, educação permanente. As ações voltadas para a população são caracterizadas quanto ao público alvo (comunidade em geral, de acordo com o ciclo de vida, por sexo, condições de saúde). Estas ações são ainda caracterizadas quanto aos temas e práticas em saúde. Os registros incluem também dados sobre a identificação do profissional responsável, identificação do local da atividade e dos participantes12
Desenvolvimento dos indicadores
Os indicadores foram desenvolvidos por ampla discussão e trabalho coletivo interinstitucional pelo Grupo de Trabalho (GT) composto por representantes da Faculdade de Odontologia da UFMG (cinco professores das áreas de Saúde Coletiva e Epidemiologia, com experiência em estudos de avaliação de políticas e serviços de saúde, duas alunas de graduação da Faculdade de Odontologia da UFMG, uma bolsista de apoio técnico), da Coordenação Estadual de Saúde da Secretaria de Estado de Saúde de Minas Gerais (servidora técnica, também doutoranda em Saúde Coletiva), e dois trabalhadores dos serviços de saúde bucal da APS.
Inicialmente, houve o estudo do referencial teórico, das fontes dos dados e do sistema e-SUS APS e SISAB. O GT buscou também compreender as orientações para preenchimento das Fichas de Atendimento Odontológico Individual e de Atividades Coletivas pelas equipes da APS. A fonte de consulta foi o Manual para Preenchimento das Fichas CDS12, além da experiência dos profissionais dos serviços de saúde bucal na APS. Neste processo, foram selecionados os dados de interesse para o monitoramento dos serviços de saúde bucal, definindo-se os numeradores e os denominadores, de acordo com a mensuração pretendida.
Uma avaliação interna da 1ª versão da matriz de indicadores foi conduzida por duplas de membros do GT, que apresentou suas considerações e a matriz foi revisada buscando o consenso do GT para obtenção da versão para validação de conteúdo.
A matriz avaliativa de indicadores foi organizada por dimensão e cada indicador foi definido em uma ficha de qualificação padronizada, quanto aos seguintes atributos: denominação do indicador, medida (informações que definem o indicador e a forma como ele se expressa, se necessário agregando elementos para a compreensão de seu conteúdo), interpretação do resultado (explicação do tipo de informação obtida e seu significado), usos (principais finalidades de utilização dos dados, a serem consideradas na análise do indicador), limitações (fatores que restringem a interpretação do indicador, referentes tanto ao próprio conceito quanto às fontes utilizadas), método de cálculo (fórmula utilizada para calcular o indicador, definindo as variáveis que a compõem), fonte de dados (instituições responsáveis pela produção dos dados utilizados no cálculo do indicador e pelos sistemas de informação a que correspondem), parâmetro (elemento ou característica definidos como referência para comparações, quando existentes. Caso contrário, as fichas de qualificação dos indicadores orientam que os parâmetros podem ser estabelecidos a partir da análise da série histórica em cada contexto ou dos valores médios nacionais, estaduais ou obtidos no nível local), observações (informações complementares sobre as fontes de dados ou sobre os dados utilizados no cálculo dos indicadores), referências (material consultado para a elaboração ou interpretação dos indicadores)3, 19.
Validação de conteúdo dos indicadores
O Método de e-Delphi modificado foi adotado para obter os pareceres de um painel de profissionais (painelistas) sobre os indicadores, com rodadas interativas e anônimas de avaliação20. Os painelistas foram pesquisadores na área de Saúde Pública e Epidemiologia (n=12), Gestores de serviços de saúde bucal (n=16) e Profissionais dos serviços de saúde bucal (n=19), com experiência tanto na produção de dados no nível local como na análise de dados e informações com objetivo de pesquisa ou na gestão de serviços de saúde. Em função do número grande de indicadores, grupos de painelistas foram compostos com representações de todos os perfis. Para cada grupo de indicadores, foram convidados, por e-mail, de 10 a 12 painelistas, buscando alcançar, no mínimo, a participação de sete em cada grupo. Mediante o aceite, o material para validação foi enviado ao painelista. Esta etapa aconteceu de 03/2020 a 06/2021.
O software Survey Monkey® foi utilizado para formatar a ferramenta de validação e para a gestão das respostas obtidas, gerando um link para acesso pelos painelistas. Na primeira seção desta ferramenta, apresentou-se uma descrição sobre a metodologia e referencial teórico utilizado para o desenvolvimento dos indicadores, sobre o processo de validação, seguido do Termo de Consentimento Livre e Esclarecido (TCLE), para que os painelistas registrassem o aceite em participar do processo. Na segunda seção, a ficha de qualificação de cada indicador foi apresentada, seguida do roteiro de validação para que o painelista inserisse sua avaliação. O roteiro incluiu as seguintes afirmativas 1) O indicador “x” é relevante para a avaliação da qualidade do serviço de saúde bucal; 2) O método de cálculo do indicador “x” é facilmente compreensível; 3) O método de cálculo do indicador “x” é facilmente reprodutível e 4) O indicador “x” mede aspectos da “dimensão y/subdimensão z”, com as opções de resposta em escala de Likert: 0 discordo, 1 discordo em parte, 2 concordo em parte e 3 concordo. Adicionalmente, um campo aberto foi incluído para registro de “observações, críticas ou sugestões em relação ao indicador avaliado” pelos painelistas.
O percentual de concordância dos painelistas, para as opções de resposta concordo em parte ou concordo, foi obtida para cada indicador em relação à relevância, método de cálculo compreensível, método de cálculo reprodutível, e mensuração de aspectos da dimensão. Para a permanência do indicador, adotou-se ponto de corte de 75% de concordância para cada aspecto avaliado21. Os indicadores com concordância < 75% foram reavaliados e, quando mantidos na matriz, foram submetidos a outra rodada de avaliação. Mesmo aqueles indicadores que obtiveram concordância ? 75% na rodada anterior, foram reenviados aos painelistas seguidos de um campo aberto para inserção de novos comentários e/ou sugestões, caso julgassem necessário. Quando houve a participação de cinco ou menos painelistas, adotou-se o critério de 100% de concordância para a manutenção do indicador21.
Entre uma rodada e outra, foi elaborado um relatório agrupando as sugestões e comentários similares, bem como as alterações realizadas na matriz com justificativas e o percentual de concordância para cada indicador. O relatório não possuía identificação dos painelistas e foi disponibilizado a todos nas rodadas subsequentes de validação, acompanhado da matriz de indicadores atualizada.
Avaliação da mensurabilidade e percentual de municípios com dados não nulos para cálculo dos indicadores
A mensurabilidade foi avaliada empregando os dados dos atendimentos odontológicos e de atividades coletivas realizados para cada município brasileiro, no ano de 2022, extraídos do SISAB, separadamente, para o numerador e denominador de cada indicador, conforme orientações descritas no Dicionário dos Indicadores19, 22. O código do IBGE para cada município, presente nas bases extraídas do SISAB, foi empregado para vinculação dos bancos de dados antes do cálculo. O percentual de municípios que possuíam dados não nulos para o cálculo do indicador foi obtido dividindo-se o número de municípios com ausência de dados no SISAB para o numerador e/ou denominador pelo número total de municípios (N=5565).
Todos os painelistas aceitaram participar do estudo mediante assinatura do TCLE (CAAE: 68646217.0.0000.5149).
RESULTADOS
Um total de 70 indicadores foram originalmente desenvolvidos, 58 compondo a dimensão Provimento de Serviços de Saúde Bucal (Acesso aos serviços de saúde bucal: 11, Vigilância em saúde bucal: 10, Diagnóstico, tratamento e reabilitação em saúde bucal: 22, Promoção e prevenção: 15) e 12 indicadores na dimensão Gestão da Saúde Bucal (Atuação intersetorial/Participação popular: 4, Estrutura dos serviços de saúde: 3, Processo de trabalho da eSB: 5). Foram convidados 62 painelistas para participarem do processo de validação, dos quais 46 (taxa de resposta: 74,2%) responderam na primeira rodada e 31 (taxa de resposta: 67,4%) na segunda rodada. Para cada conjunto de indicadores, houve participação de 5 a 9 painelistas nas rodadas de avaliação. As revisões realizadas nas duas rodadas foram descritas detalhadamente em publicação anterior23.
Dimensão Provimento de Serviços de Saúde Bucal
A validação dos 21 indicadores das subdimensões Acesso aos serviços de Saúde Bucal e Vigilância em saúde bucal foi realizada em duas rodadas. Concordância < 75% foi observada para três indicadores em, pelo menos, um dos aspectos avaliados e foram submetidos à 2ª rodada de validação (Tabela 1). As revisões realizadas foram, principalmente, referentes à inclusão de limitações (ind. 1, 2, 3 e 9), de observações para facilitar a interpretação ou para esclarecimentos sobre os dados usados para cálculo do indicador (ind. 5 e 11), modificação da denominação do indicador (ind. 5, 6, 7, 11, 12 e 14 a 21) e da redação da interpretação para maior clareza da medida (ind. 7). A descrição da medida dos indicadores 12, 14 a 21 foi modificada, pois trata-se de taxa de atendimento e não de uma proporção, como originalmente proposto. Para todos os indicadores, houve substituição da descrição da fonte dos dados na ficha de qualificação, de fichas de atendimento odontológico individual e de atividades coletivas para Relatórios de saúde do SISAB. Na segunda rodada, o indicador 10 foi excluído, por constituir-se em um número absoluto, impossibilitando avaliações comparativas dos resultados ao longo do tempo ou entre diferentes locais, limitando seu uso no monitoramento dos serviços de saúde bucal. Para os demais indicadores, foi obtida concordância > 85,7% e não foram necessárias novas revisões, sendo considerados validados na segunda rodada.
Na subdimensão Diagnóstico, tratamento e reabilitação em saúde bucal, três grupos de diferentes painelistas participaram de duas rodadas de validação dos 22 indicadores. Na 1ª rodada, foi obtida concordância < 75% para 10 indicadores em, pelo menos, um dos aspectos avaliados (Tabela 1). Os indicadores foram revisados para inclusão de limitações da medida (ind. 23, 28, 37 a 42), descrição de procedimentos que compõem o numerador/denominador e/ou para esclarecimentos sobre as fontes de dados (ind. 23, 24, 32, 34, 38, 39, 42), alteração do método de cálculo, principalmente em relação à delimitação dos grupos etários (ind. 25, 26, 30, 31, 38, 42), revisão do texto de interpretação da medida (ind. 30, 31, 36, 37, 39 a 42) e mudança na denominação do indicador (ind. 22 a 24 e 28). Nos indicadores 22 a 24, foi inserido o termo “odontológicos” na denominação para delimitar os tipos de procedimentos. No indicador 28, delimitou-se a dentição permanente na denominação do indicador. Na 2ª rodada, houve aumento do percentual de concordância para 9 indicadores. O indicador Taxa de alveolite foi excluído pois não alcançou a concordância, e as argumentações dos painelistas demonstraram sua pouca relevância. Embora tenha ocorrido aumento da concordância para o indicador Proporção de agendamentos para o NASF originados dos atendimentos realizados pela eSB, optou-se por excluí-lo pois deveria apresentar percentual de concordância = 100%, devido à redução do número de painelistas na segunda rodada (Tabela 1). A concordância quanto ao indicador medir aspectos da dimensão não aumentou na rodada 2 para o indicador Média de encaminhamentos para Prótese Dentária. Contudo, optou-se por mantê-lo e revisar o conceito da subdimensão, incluindo os cuidados para a reabilitação, conforme sugerido pelos painelistas. Houve introdução de um novo indicador Tratamento de lesões de mucosa na APS entre a 1ª e 2ª rodadas, a partir do comentário de um dos painelistas sobre a inclusão deste procedimento na tabela de Procedimentos, Medicamentos, Órteses, Próteses e Materiais Especiais (OPM) do SUS em meados de 2020.24
Dos 15 indicadores da subdimensão Promoção e prevenção originalmente criados, concordância > 75% foi obtida para 12 deles, por consenso entre oito painelistas participantes da 1ª rodada (Tabela 1). Três indicadores foram submetidos à 2ª rodada de validação e obtiveram aumento do percentual de concordância. Entre a 1ª e a 2ª rodadas, o método de cálculo de nove indicadores foi revisado para delimitar e descrever melhor os grupos etários ou os tipos de atividades/procedimentos incluídos no numerador e/ou denominador. Dois indicadores foram excluídos (Fornecimento de escova dental e Fornecimento de creme dental) e foi mantido o indicador que avalia o fornecimento concomitante de escova e creme dental, por ser considerado suficiente para medir a oferta destes insumos. Outras alterações de redação ou inclusão de texto foram realizadas para maior clareza da interpretação, da medida, das limitações e dos usos dos indicadores. Houve mudança na denominação do indicador 44 para melhor representar a medida. Após a 2ª rodada, por sugestão de um painelista, três novos indicadores foram criados para desmembrar e substituir o indicador 56, para cada um dos tipos de atividades coletivas (educação em saúde, atendimento em grupo e avaliação/procedimento coletivo). Os três indicadores mantiveram o mesmo método de cálculo, contudo, a variável do numerador passou a ser cada tipo de atividade coletiva, separadamente. Por serem muito semelhantes ao indicador 56, já validado pelos painelistas, optou-se por incluir estes indicadores sem revisão.
Dimensão Gestão da Saúde Bucal, Subdimensões Atuação Intersetorial/Participação popular, Estrutura dos serviços de saúde e Processo de trabalho da eSB
Houve concordância > 75% para todos os aspectos avaliados dos indicadores desta dimensão e a revisão foi concluída com uma única rodada de avaliação. Os comentários dos painelistas foram considerados na revisão e compreenderam inclusão de limitação para os indicadores 59, 63 e 65, correção na denominação do indicador 61 de acordo com a medida e os indicadores 67 e 68 tiveram o método de cálculo modificado, com melhor delimitação do denominador em relação aos temas pautados nas reuniões de equipe.
Matriz de indicadores validada
Dos 70 indicadores da matriz inicial, seis foram excluídos e 64 foram validados após revisões na 1ª e/ou 2ª rodadas. Um novo indicador foi criado na dimensão Diagnóstico, tratamento e reabilitação em saúde bucal e três novos foram desmembramentos de um na dimensão Promoção e Prevenção. Assim, a matriz final foi composta por 68 indicadores, sendo 56 referentes ao Provimento de serviços de saúde bucal, nas subdimensões: Acesso aos serviços de saúde bucal (10), Vigilância em Saúde Bucal (10), Diagnóstico, tratamento e reabilitação em saúde bucal (21), Promoção e Prevenção (15). A dimensão Gestão dos Serviços de Saúde Bucal incluiu 12 indicadores, quatro na subdimensão Atuação intersetorial/Participação Popular, três para avaliar Estrutura dos serviços de saúde e cinco referentes ao Processo de Trabalho da eSB.
Mensurabilidade
Quinze indicadores não foram mensuráveis por ausência de identificação de PNE no SISAB (Proporção de pessoas com necessidades especiais que realizam primeira consulta odontológica programática, Média de encaminhamentos PNE para atenção especializada), impossibilidade de extrair dados de população cadastrada por idade (Taxa de atendimento odontológico de crianças por traumatismo dentoalveolar, Taxa de atendimento odontológico de adolescentes por traumatismo dentoalveolar, Taxa de atendimento odontológico de adultos por traumatismo dentoalveolar, Taxa de atendimento odontológico de crianças com fluorose dentária moderada ou severa, Taxa de atendimento odontológico de adolescentes com fluorose dentária moderada ou severa, Taxa de instalação de próteses dentárias na população adulta, Taxa de instalação de próteses dentárias na população idosa, Média de exodontias de dentes permanentes, Média de exodontias de dentes decíduos), e ausência de registros de tratamento de lesão de mucosa no SISAB até maio de 2023 (Tratamento de lesões de mucosa na APS) e indisponibilidade de dados sobre o fornecimento de escovas e creme dental (Fornecimento de escova e creme dental).
Na Tabela 3, foram demonstrados os 53 indicadores mensuráveis, denominação e numeração final e descrição da medida, bem como o percentual de municípios com registros no numerador e/ou denominador, possibilitando o cálculo. Resultados dos indicadores calculados para cada município e Unidade da Federação brasileira foram demonstrados em planilhas, gráficos e mapas, disponíveis em dashboard de acesso público e as fichas de qualificação dos indicadores foram publicadas no Dicionário de Indicadores19. Para quinze indicadores, o percentual de municípios com dados não nulos foi > 70%. Percentual muito baixo de registros foi observado para o indicador Taxa de atendimento odontológico de usuários com fendas ou fissuras labiopalatais. Os indicadores referentes à média de encaminhamento para implantodontia, odontopediatria, ortodontia/ortopedia e apoio diagnostico em radiologia para procedimentos odontológicos e média de procedimentos de adaptação por prótese instalada foram obtidos em percentual baixo de municípios brasileiros (<10%). Para <20% de municípios, foi possível estimar os indicadores Agendamento de usuários para atividades em grupos pela eSB, Ação educativa para crianças na primeiríssima infância (0 a 3 anos), Ação educativa para controle do tabagismo e Práticas coletivas em saúde bucal. Todos os indicadores da dimensão Gestão dos Serviços de Saúde Bucal foram estimados em < 15,11% dos municípios brasileiros.
DISCUSSÃO
Os indicadores validados abrangem vários aspectos para monitorar e avaliar o desempenho dos serviços de saúde bucal na APS usando dados secundários, de um sistema de informação em saúde de abrangência nacional. No seu conjunto, a matriz avaliativa possibilitará o acompanhamento dos serviços de saúde bucal quanto à cobertura das ações na APS individuais e coletivas e da atenção especializada no SUS, à resolutividade do atendimento odontológico, à avaliação do modelo de atenção predominante, à análise da integração entre a eSB e eSF, além de obtenção de taxas de atendimento odontológico por agravos específicos. Esses indicadores poderão ser analisados levando em consideração variações geográficas e temporais, contribuindo para identificar desigualdades e tendências que requerem ações e estudos específicos. A inclusão de dados sobre a saúde bucal no SISAB/e-SUS APS representa, assim, um avanço na análise da situação de saúde bucal em nível local, nos territórios de atuação das eSB. Nesse sentido, a matriz de indicadores elaborada a partir desses dados é uma relevante contribuição para o processo de gestão, monitoramento e avaliação da APS.
A validação de conteúdo da matriz de indicadores utilizando o método e-Delphi contou com a contribuição dos painelistas para melhorar a clareza da medida e da denominação dos indicadores, bem como da transparência metodológica. Neste último aspecto, os painelistas manifestaram se os procedimentos de construção dos indicadores eram claros e transparentes e se as decisões metodológicas estavam justificadas. Esses atributos são essenciais para garantir a legitimidade dos indicadores nos meios técnicos e científicos, o que é crucial para sua aceitação política e social25. Profissionais apresentaram diferentes perspectivas sobre os indicadores, tendo por base suas variadas experiências e formações, demonstrando a relevância técnica e científica das medidas propostas. Os percentuais de concordância obtidos nas rodadas de revisão foram suficientes para a maioria dos indicadores, reconhecendo que eles podem medir aspectos da qualidade dos serviços conforme definido pelo modelo teórico conceitual adotado. O método e-Delphi permitiu a participação de profissionais de várias partes do Brasil e viabilizou a condução da pesquisa durante o período de isolamento social devido à pandemia da COVID-1920.
A mensurabilidade da maioria dos indicadores foi demonstrada, com exceção daqueles com dados indisponíveis no SISAB, mesmo que seu método de cálculo considere variáveis constantes das fichas de registro da APS. A não mensurabilidade de dois indicadores da dimensão estrutura dos serviços demonstrou que os dados gerados a partir dos registros rotineiros são insuficientes para avaliar as características dos espaços físicos e ambientes das Unidades Básicas de Saúde. Com relação ao indicador tratamento de lesões de mucosa na APS, a ausência desses dados pode ser justificada pelo fato deste procedimento ter sido incluído na tabela de Procedimentos, Medicamentos e OPM do SUS em meados de 202024. Assim, o cálculo deste indicador será possível a partir da disponibilização dos dados dos anos sequenciais a esta mudança na tabela. Embora a mensurabilidade tenha sido demonstrada para o ano de 2022, a extração de dados pode ser realizada por mês, possibilitando menor desagregação temporal. Os indicadores podem ser calculados tão logo a informação seja disponibilizada no sistema, garantindo regularidade na mensuração, contribuindo para avaliação e monitoramento tempestivo de políticas e programas sociais25.
A avaliação do percentual de municípios com dados não nulos referentes aos atendimentos odontológicos individuais e atividades coletivas (numerador e/ou denominador do indicador) pode sinalizar falhas no preenchimento dos instrumentos de coleta, apontando fragilidades e potencialidades dos dados produzidos pelo sistema de informação3, 26. Por outro lado, como são registros de produção ambulatorial, poder-se-ia assumir que a ausência do dado corresponde a não realização do atendimento ou ação pelas eSB ou equipes da APS, sinalizando características da oferta das modalidades de ações individuais ou coletivas nos serviços públicos de saúde. Contudo, cabe destacar também que as notas técnicas do SISAB e orientações de preenchimento das fichas de coleta não descrevem sobre o registro da não realização de ações/atendimentos. Ao extrair o dado do SISAB, valores “zero” não são obtidos, ou seja, não é possível discriminar se determinado município não realizou determinada ação/atendimento no período, ou se os registros correspondentes não foram realizados. Portanto, a qualidade dos registros pode ser um dos desafios para uso desta fonte de dados, especialmente com relação à encaminhamentos de usuários para atenção secundária, e desenvolvimento de ações coletivas.
Esta pesquisa, até o momento, concentrou-se na validação de conteúdo dos indicadores propostos. No entanto, uma pesquisa de implementação dessa matriz avaliativa em contextos municipais deverá abranger a avaliação da aceitabilidade, adoção, viabilidade e adequabilidade dos indicadores pelos profissionais do SUS. Além disso, deve-se incluir uma análise da qualidade dos dados, considerando baixos índices de registros ou registros extremos e possíveis erros de classificação nos registros. Isso deve envolver a verificação da compatibilidade entre as informações registradas nas fichas de atendimento e os dados disponíveis no Sistema de Informação em Saúde para a Atenção Básica (SISAB). Recomenda-se também realizar uma revisão minuciosa dos documentos técnicos relacionados à classificação de variáveis e orientações de registros e a avaliação da compreensão e prática dos profissionais em relação e estes processos.
Estudo de caso prévio, realizado entre profissionais da ESF e gestor da saúde de um município brasileiro, investigou os principais problemas encontrados no registro e recuperação de informações no e-SUS AB. Os achados demonstraram fragilidade no processo de treinamento dos profissionais das equipes, dificuldades no preenchimento das fichas de registros de dados, bem como no uso do sistema eletrônico e significativo desconhecimento dos processos de armazenamentos das informações. Os autores concluíram sobre a necessidade de capacitações dos profissionais que atuam diretamente com a estratégia e-SUS AB, bem como sensibilização deles e dos gestores sobre a importância da qualidade da informação em saúde para promover melhorias no processo de registro e recuperação das informações27. Portanto, a capacitação dos profissionais de saúde envolvidos no processo, da obtenção ao registro do dado, pode contribuir para que os indicadores reflitam de forma válida a realidade dos serviços de saúde bucal na APS, permitindo uma avaliação mais robusta e eficaz do sistema de saúde. Acredita-se também que a implantação do e-SUS APS se consolide no país, contribuindo para qualificar o uso dos SISAB e dos dados rotineiros gerados. O progresso da implementação da estratégia e-SUS APS foi demonstrado, existindo em algum nível em 92,2% dos municípios em 201928. A consolidação do uso do PEC em território nacional, na perspectiva da Saúde Digital, deve possibilitar, no futuro, a integração e padronização dos registros na APS, evitando-se erros de digitação ou mesmo incompatibilidade de variáveis quando municípios utilizam sistemas próprios.
Como limitação deste estudo, destaca-se a falta de participação de painelistas na 2ª rodada de validação, reduzindo a taxa de resposta e a possibilidade destes profissionais apresentarem contribuições adicionais em relação à versão revisada da matriz avaliativa. Nestes casos, adotou-se ponto de corte mais alto para o percentual de concordância para manutenção ou não do indicador na matriz avaliativa21. Outro aspecto é que a mensurabilidade dos indicadores foi afetada pelas caraterísticas da fonte de dados, tendo em vista que nem todas as variáveis registradas nas fichas de atendimento do usuário na APS são disponibilizadas no SISAB. Este aspecto comprometeu principalmente estimativas de indicadores pertinentes para determinados grupos específicos, definidos pela idade ou pela condição de saúde (PNE). Contudo, o uso de dados secundários se mostrou potente, tendo em vista que a fonte é um sistema de informação de base nacional público, que contém registros contínuos dos atendimentos odontológicos realizados na APS e de ações coletivas em território nacional. Espera-se que o uso dos indicadores nas ações de monitoramento das equipes também contribua com a qualidade dos dados gerados, a partir do envolvimento dos atores no processo de discussão dos resultados observados em cada município.
Os indicadores apresentaram validade de conteúdo e foram mensuráveis, podendo apoiar a gestão, o planejamento e a avaliação de políticas públicas no âmbito do SUS. Isso pode contribuir para aprimorar a Política Nacional de Saúde Bucal, melhorar a qualidade dos serviços, reduzir desigualdades e fortalecer o controle social. Os indicadores criados podem também ser empregados para pesquisas avaliativas que caracterizem os serviços de saúde bucal no SUS, busquem compreender diferentes níveis de resultados observados, incluindo analises comparativas segundo determinantes geográficos e temporais. O baixo percentual de municípios com indicador estimado pode sinalizar sub-registros de procedimentos individuais ou atividades coletivas em saúde bucal ou problemas na oferta destas ações aos usuários do SUS na APS.
Colaboradores
RCF trabalhou na concepção, delineamento, análise e interpretação dos dados, redação do artigo e aprovou a versão a ser publicada. LLFHC trabalhou na concepção, delineamento, análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada. JHLA trabalhou na concepção, delineamento, análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada. RSP trabalhou na análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada. JSS trabalhou na análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada. FLC trabalhou na análise e interpretação dos dados, redação do artigo e aprovou a versão a ser publicada. ELP trabalhou na análise e interpretação dos dados, redação do artigo e aprovou a versão a ser publicada. MIBS trabalhou na concepção, delineamento, análise dos dados, revisão crítica do artigo e aprovou a versão a ser publicada.
Agradecimentos
A Marina Fajardo e Debora Egg pela atuação no processo de validação da matriz de indicadores. Essa pesquisa foi realizada com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001, Fundação de Amparo à Pesquisa de Minas Gerais (APQ-00763-20, Programa de Pesquisa para o SUS: gestão compartilhada em saúde e PPM-00603-18, Programa Pesquisador Mineiro). RCF é bolsista de produtividade CNPq (310938/2022-8).
Referências
1. Hartz ZMA, Silva LMV. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Fiocruz; 2005.
2. Branco MAF. Sistema de informação em saúde no nível local. Cad Saude Publica 1996; 12(2):267-270.
3. OPAS. Indicadores de saúde: elementos conceituais e práticos. Washington, D.C.: Organização Pan-americana de Saúde; 2019.
4. Santos JLD, Ferreira RC, Amorim LP, Santos ARS, Chiari APG, Senna MIB. Oral health indicators and sociodemographic factors in Brazil from 2008 to 2015. Rev Saude Publica 2021; 55:25.
5. Brasil. Diretrizes da Política Nacional de Saúde Bucal [Internet]. Brasília: Ministério da Saúde; 2004 [cited 2023 Jun 06]. Available from: https://bvsms.saude.gov.br/bvs/publicacoes/analise_pacto.PDF
6. França MASA, Freire MCM, Pereira EM, Marcelo VC. Indicators proposed by the Brazilian Ministry of Health for monitoring and evaluating oral health actions in the National Health System: documentary research, 2000-2017. Epidemiol. Serv. Saúde 2020; 29(1):e2018406.
7. França MASA, Freire MCM, Pereira EM, Marcelo VC. Oral health indicators in the Interfederative Pacts of the Unified Health System: development in the 1998-2016 period. Rev Odontol UNESP 2018; 47(1):18-24.
8. Scherer CI, Scherer MD. Advances and challenges in oral health after a decade of the "Smiling Brazil" Program. Rev Saude Publica 2015; 49:98.
9. Agrasuta V, Thumbuntu T, Karawekpanyawong R, Panichkriangkrai W, Viriyathorn S, Reeponmaha T, Jaichuen W, Witthayapipopsakul W, Gaewkhiew P, Prasertsom P, Tangcharoensathien V. Progressive realisation of universal access to oral health services: what evidence is needed? BMJ Glob Health 2021; 6(7):e006556.
10. WHO. World Health Assembly resolution: WHA 74.5 Oral Health. [Internet]. 2021 [cited 2023 Oct 10]. Available from: https://apps.who.int/gb/ebwha/pdf_files/EB148/B148_R1-en.pdf
11. Coeli CM, Pinheiro RS, Carvalho MS. Neither better nor worse, simply different. Cad Saude Publica 2014; 30(7):1363-1375.
12. Brasil. e-SUS Atenção Básica: manual de uso do sistema com prontuário eletrônico - PEC (versão 4.2) [Internet]. Brasília: Ministério da Saúde; 2021 [cited 2023 Jun 06]. Available from: https://cgiap-saps.github.io/Manual-eSUS-APS/
13. Brasil. Política Nacional de Atenção Básica [Internet]. Brasília: Ministério da Saúde; 2012 [cited Available from: https://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/prt2436_22_09_2017.html
14. Nickel DA. Modelo de avaliação da efetividade da Atenção em Saúde Bucal [dissertação]. Florianópolis: Universidade Federal de Santa Catarina; 2008.
15. Colussi CF. Avaliação da qualidade da atenção em saúde bucal em Santa Catarina [tese]. Florianópolis: Universidade Federal de Santa Catarina; 2010.
16. Sistema de Informação em Saúde para a Atenção Básica - SISAB. [Internet]. Brasília: Ministério da Saúde; 2022 [cited 2023 Jun 06]. Available from: https://sisab.saude.gov.br/index.xhtml.
17. Brasil. Nota técnica explicativa: relatório de saúde (Produção) [Internet]. Brasília: Ministério da Saúde; 2021 [cited 2023 Jun 06]. Available from: https://sisab.saude.gov.br/resource/file/nota_tecnica_relatorio_saude_producao_210802.pdf
18. Brasil. Nota técnica explicativa: relatório de saúde (Atividade Coletiva) [Internet]. Brasília: Ministério da Saúde; 2021 [cited 2023 Jun 06]. Available from: http://189.28.128.100/dab/docs/portaldab/documentos/esus/sisab_nota_tecnica_relatorio_atividade_coletiva.pdf
19. Ferreira RC, Chalub LLFH. Dicionário de indicadores para avaliação dos serviços de saúde bucal na Atenção Primária à Saúde. Belo Horizonte: FAO UFMG; 2023.
20. Toronto C. Considerations when conducting e-Delphi research: a case study. Nurse Res 2017; 25(1):10-15.
21. Alexandre NM, Coluci MZ. Validade de conteudo nos processos de construcao e adaptacao de instrumentos de medidas. Cien Saude Colet 2011; 16(7):3061-3068.
22. Lima CR, Schramm JM, Coeli CM, da Silva ME. Revisão das dimensões de qualidade dos dados e métodos aplicados na avaliação dos sistemas de informação em saúde. Cad Saude Publica 2009; 25(10):2095-2109.
23. Ribeiro MF. Avaliação dos serviços de saúde bucal na Atenção Primária: desenvolvimento e validação de indicadores elaborados a partir de variáveis do e-SUS APS [Trabalho de Conclusão de Curso de graduação]. Belo Horizonte: Faculdade de Odontologia da UFMG; 2021.
24. Brasil. Portaria no. 526 de 24 de junho de 2020. Inclui, altera e exclui procedimentos da Tabela de Procedimentos, Medicamentos, Órteses, Próteses e Materiais especiais do SUS. Diário Oficial da União 2020; 02 jul. Available from: https://www.in.gov.br/en/web/dou/-/portaria-n-526-de-24-de-junho-de-2020-264666631
25. Jannuzzi PdM. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público 2005; 56(2):137-160.
26. Correia LO, Padilha BM, Vasconcelos SM. Metodos para avaliar a completitude dos dados dos sistemas de informacao em saude do Brasil: uma revisao sistematica. Cien Saude Colet 2014; 19(11):4467-4478.
27. Tenório-Filho L. Sistemas de informação em saúde: um estudo dos processos de registro, integração e recuperação da informação das bases SISAB e ESUS-AB [Mestrado]. Maceió: Universidade Federal de Alagoas; 2022.
28. Cielo AC, Raiol T, Silva END, Barreto JOM. Implementation of the e-SUS Primary Care Strategy: an analysis based on official data. Rev Saude Publica 2022; 56:5.
29. Donabedian A. The quality of medical care. Science 1978; 200(4344):856-64.
