Artigos

Conteúdo (article):

Um instrumento para avaliar o letramento em saúde, em nível global, serve para todos? Um artigo crítico

Resumo:
O letramento em saúde (LS) tem sido considerado, pela Organização Mundial da Saúde (OMS), como importante determinante da saúde, de modo que diversos instrumentos têm sido elaborados e adaptados para mensurar esse constructo. Em 2022, um grupo de pesquisadores iniciou um projeto voltado ao desenvolvimento de um instrumento de avaliação do LS com aplicabilidade global, baseado em diferentes versões do European Health Literacy Survey Questionnaire (HLS-EU-Q). O objetivo deste artigo é analisar criticamente as características desses instrumentos, com o intuito de contribuir para o aprimoramento das práticas de avaliação em saúde e evitar a omissão de informações localmente relevantes, o que configura uma injustiça epistêmica. A análise identificou diversas limitações nos aspectos mencionados dos instrumentos e no modelo conceitual proposto pela OMS, as quais comprometem sua aplicabilidade como ferramenta global. Recomenda-se que os países desenvolvam instrumentos específicos para avaliar o LS de suas populações, considerando suas características socioculturais e particularidades dos respectivos sistemas de saúde, a fim de evitar decisões equivocadas que possam comprometer a efetividade das políticas públicas resultantes dessas avaliações.

Palavras-chave Letramento em Saúde; Psicometria; Determinantes Sociais da Saúde.

INTRODUÇÃO
Atualmente o Letramento em Saúde (LS) é reconhecido como um importante determinante da saúde das populações pela Organização Mundial da Saúde1. De acordo com o Glossário de Termos de Promoção da Saúde de 2021, o LS “representa o conhecimento e as competências pessoais que se acumulam por meio de atividades diárias, interações sociais e ao longo de gerações. O conhecimento e as competências pessoais são mediados pelas estruturas organizacionais e pela disponibilidade de recursos que permitem às pessoas acessar, compreender, avaliar e utilizar informações e serviços de modo a promover e manter a saúde e o bem-estar próprios e daqueles ao seu redor”1.
Os níveis de LS estão associados a diversos desfechos de saúde, razão pela qual a mensuração deste constructo em nível populacional tem sido objeto de interesse de pesquisadores, gestores e formuladores de políticas públicas ao longo dos anos2,3,4.
Os Estados Unidos foram o primeiro país a mensurar os níveis populacionais de LS por meio de inquéritos realizados desde a década de 1990, com ênfase em instrumentos focados na dimensão funcional do LS, ou seja, nas habilidades de leitura, escrita e numeramento no contexto da saúde. Nessa perspectiva, destacam-se instrumentos como o Test of Functional Health Literacy in Adults (TOFHLA) e o Rapid Estimate of Adult Literacy in Medicine (REALM)5.
O TOFHLA é um teste de compreensão de leitura com 50 itens e de numeramento com 17 itens, exigindo até 22 minutos para sua aplicação. Os itens de compreensão de leitura apresentam frases com palavras faltantes, nas quais a pessoa deve selecionar uma entre quatro opções de resposta para completar o enunciado. Os itens de numeramento incluem questões relacionadas a prescrições médicas, que devem ser respondidas verbalmente5. O REALM é um teste de reconhecimento de leitura composto, em sua versão original, por 125 palavras ou 66 palavras na versão revisada, organizadas em três colunas em ordem crescente de número de sílabas e grau de dificuldade. Esse instrumento avalia a capacidade do paciente de pronunciar termos médicos e palavras do vocabulário leigo relacionados ao corpo humano e a doenças5.
Na década de 2010, foram propostos à comunidade científica dois novos instrumentos que consideravam o LS como um constructo multidimensional: o European Health Literacy Survey Questionnaire (HLS-EU-Q) e o Health Literacy Questionnaire (HLQ)6-9. Ambos foram concebidos para avaliar o LS em nível individual, mas o HLQ adotou uma abordagem fundamentada e focou nos aspectos considerados relevantes pelos membros da comunidade8. O HLQ é um instrumento multidimensional composto por 44 itens que abrangem nove áreas conceitualmente distintas do LS, podendo ser autoadministrado ou aplicado por meio de entrevistas. As áreas de um a cinco utilizam uma escala Likert de quatro pontos, variando de "discordo totalmente (1)" a "concordo totalmente (4)", enquanto nas áreas de seis a nove as respostas variam de "sempre difícil (1)" a "sempre fácil (5)"8,9.
O HLS-EU-Q foi desenvolvido por pesquisadores do Consórcio HLS-EU e utilizado na primeira pesquisa sobre LS conduzida em 2011 com cidadãos com 15 anos ou mais de oito Estados-Membros da União Europeia7,10. Para esse propósito, elaboraram um modelo de LS com base em uma revisão sistemática e na análise de conteúdo de definições e modelos conceituais de LS publicados até o momento6,7. A partir desse modelo, foi desenvolvido o European Health Literacy Questionnaire (HLS-EU-Q47), composto por 47 questões que visam mensurar a dificuldade percebida pelo indivíduo em acessar, compreender, avaliar e aplicar informações relacionadas à saúde em contextos de cuidado em saúde, prevenção de doenças e promoção da saúde7,10,11.
Duas outras versões reduzidas foram desenvolvidas a partir do HLS-EU-Q47: HLS-EU-Q16 e HLS-EU-Q610,12. As três versões do HLS-EU-Q foram adaptadas para diferentes países e idiomas 5,10,12,13,14.
O relatório da OMS intitulado “Health literacy: the solid facts” recomendou a mensuração regular e padronizada do LS na população geral11. Em 2018, a OMS-Europa criou a Action Network on Measuring Population and Organizational Health Literacy - M-POHL, com a participação de 28 países-membros da OMS-Europa, com o objetivo de “apoiar a disponibilidade de dados internacionais de alta qualidade e comparabilidade acerca do LS populacional e organizacional” (p. 14)15. A rede M-POHL conduziu um estudo multinacional padronizado – the Health Literacy Population Survey 2019-2021 (HLS19) (Inquérito populacional para avaliar o Letramento em Saúde 2019-2021) - com 17 países-membros da OMS-Europa, utilizando três instrumentos fundamentados na pesquisa anterior HLS-UE para coleta de dados: HLS19-Q47 (com 47 itens) e duas versões reduzidas, o HLS19-Q16 e o HLS19-Q1215.
Além da pesquisa populacional, o projeto HLS19 apresentou objetivos específicos, tais como: "fornecer dados empíricos para subsidiar políticas de LS baseadas em evidências nos países participantes do HLS19, em outros países do M-POHL (com status de observador) e na Região Europeia ampliada da OMS", "utilizar os resultados para informar os formuladores de políticas de diferentes setores e níveis sobre a relevância do LS em seus campos de decisão" e "fornecer evidências para recomendações fundamentadas para intervenções em LS nos campos da promoção da saúde, prevenção de doenças e cuidados de saúde", entre outros15.
Com base nas experiências das pesquisas de LS na Europa e nas demandas da OMS por avaliações globais dos níveis de LS, um comitê de especialistas, incluindo participantes da M-POHL, coordenou discussões voltadas ao desenvolvimento de um instrumento com essa finalidade.
Nos dias 18 e 19 de maio de 2021, foi realizada uma reunião virtual intitulada “Consulta Informal de Especialistas sobre o Desenvolvimento de uma Ferramenta de Mensuração para Avaliar o Letramento em Saúde Populacional”, conduzida por pesquisadores europeus. Em dezembro de 2022, o comitê da OMS-Europa convidou representantes e pesquisadores das regiões da OMS para participarem de uma reunião virtual informal de consulta técnica sobre o desenvolvimento de um instrumento global da OMS para avaliação do letramento em saúde populacional, realizada por meio da plataforma Zoom. Antes da reunião, o comitê compartilhou com os representantes dos países um documento preliminar que apresentava os instrumentos de LS utilizados na última pesquisa europeia da OMS, solicitando comentários acerca do HLS19-Q47 quanto à possível utilização como ferramenta global capaz de atender às necessidades populacionais e específicas de cada região16. Embora as discussões tenham sido produtivas, não se chegou a um consenso. Os autores deste artigo participaram da referida reunião e, desde então, vêm debatendo o tema, suas potencialidades e limitações.
Embora a proposta de um instrumento global para mensurar o LS seja interessante do ponto de vista acadêmico, é fundamental que os pesquisadores adotem uma postura crítica ao considerar sua aplicação. A adoção de uma medida global de LS sem a devida reflexão sobre sua validade no contexto sociocultural em que será aplicada pode gerar vieses de mensuração e produzir injustiça epistêmica, ou seja, discriminação, marginalização e exclusão injustas de determinados grupos populacionais em sua condição de conhecedores ou detentores de conhecimento4.
No contexto da saúde, isso ocorre quando indivíduos em situação de vulnerabilidade “são considerados desprovidos de credibilidade ou autoridade para falar acerca de sua experiência de adoecimento ou suas preferências e interesses no processo de tomada de decisão médica”17.
Além disso, mensurações inadequadas, baseadas em modelos tendenciosos, podem conduzir a decisões equivocadas, o que compromete a efetividade das políticas públicas resultantes dessas pesquisas, não apenas na Europa, mas também na América Latina, África e Oceania, com suas distintas culturas, bem como entre a maioria dos povos indígenas ao redor do mundo. Portanto, torna-se um imperativo ético avaliar cuidadosamente a validade cultural e outras propriedades psicométricas dos instrumentos de LS antes de afirmá-los como ferramentas globais.
O objetivo deste artigo é analisar criticamente as características dos instrumentos propostos pela OMS como ferramentas globais para mensuração do LS, a partir das perspectivas da psicometria e das ciências sociais. A intenção é contribuir para o aprimoramento das práticas de avaliação em saúde e evitar a implementação de políticas públicas baseadas em informações tendenciosas.
Para tanto, o artigo foi dividido em quatro subseções inter-relacionadas, que esclarecem o leitor quanto aos processos cronológicos e metodológicos envolvidos no desenvolvimento dos instrumentos HLS-EU-Q. São elas: definição de LS e modelo conceitual adotado pelo M-POHL para propor um instrumento de avaliação global; o instrumento HLS-EU-Q47 e suas limitações; conteúdo do instrumento HLS19-Q12, proposto pelo grupo OMS-Europa como ferramenta inicial para avaliação do LS em nível global, e suas limitações; e, por fim, considerações acerca das propriedades psicométricas do HLS19-Q12.
Definição de LS e o modelo conceitual adotado pela M-POHL para propor um instrumento de avaliação global
O Comitê Técnico OMS-Europa sugeriu a construção de um instrumento global de LS baseada em uma versão adaptada e revisada de um dos instrumentos utilizados no Inquérito populacional para avaliar o Letramento em Saúde 2019-2021, ou seja, o HLS19-Q47 ou uma de suas versões abreviadas - o HLS19-Q16 ou o HLS19-Q1216. Todas essas três ferramentas foram desenvolvidas a partir dos instrumentos anteriores ao HLS-EU-Q, incluindo seus modelos conceituais e definições de LS subjacentes18. Portanto, antes de discutirmos o questionário sugerido pela OMS-Europa como referência para o desenvolvimento de um novo instrumento global, abordaremos, inicialmente, a definição e o modelo conceitual adotados por esse comitê.
A definição de LS utilizada pelo comitê europeu na pesquisa de 2019-2021 foi construída com base em uma revisão sistemática de estudos publicados nas bases de dados Medline (acessada via PubMed) e Web of Science, que identificaram definições e modelos conceituais de LS7. Para tanto, os autores adotaram os seguintes critérios de inclusão: “(1) estar redigido em inglês; (2) tratar do letramento em saúde em países desenvolvidos; e (3) apresentar conteúdo relevante no que se refere à definição ou conceituação de letramento em saúde, ou à combinação desses aspectos”.
A revisão identificou 17 definições publicadas entre 1998 e 2009, as quais foram então utilizadas pelos pesquisadores para elaborar uma definição “abrangente” de LS nos seguintes termos: “O letramento em saúde está vinculado ao letramento geral e abrange os conhecimentos, as motivações e as competências das pessoas para acessar, compreender, avaliar e aplicar informações a fim de formular julgamentos e tomar decisões em relação ao cuidado em saúde, à prevenção de doenças e à promoção da saúde, com o objetivo de melhorar a qualidade de vida ao longo do ciclo de vida”7. Tal definição, vale ressaltar, continua sendo amplamente utilizada em pesquisas na área de LS19. Além disso, os pesquisadores desenvolveram um modelo integrado de LS que reúne as principais dimensões dos modelos conceituais existentes até 20097. Esse modelo foi desenvolvido majoritariamente a partir de uma perspectiva norte-americana, uma vez que os Estados Unidos concentravam a maioria das publicações na época, além de incluir de alguns países da Europa Ocidental.
Sem dúvida, os pesquisadores europeus desenvolveram um trabalho importante e forneceram uma notável contribuição para o avanço do campo do LS. No entanto, a ciência é uma área em constante transformação, e a autocrítica de suas descobertas é o que garante sua evolução e aprimoramento em benefício da humanidade.
Embora revisões sistemáticas sejam uma estratégia válida para gerar definições e instrumentos, os estudos selecionados na referida revisão tratam de "conhecimento de fora", ou seja, da perspectiva apenas dos pesquisadores acerca de um determinado constructo, o que limita o surgimento e o desenvolvimento de itens adicionais. Revisar literatura derivada de um setor restrito e relativamente homogêneo (acadêmicos brancos da América do Norte e da União Europeia com capacidade de publicar em periódicos acadêmicos) pode resultar em uma perspectiva limitada e, sobretudo, excluir as vozes das populações mais vulneráveis à marginalização e ao estigma, incluindo grandes contingentes populacionais da Ásia e da América do Sul.
Além disso, essa metodologia restringe a possibilidade de críticas baseadas em dados empíricos mais recentes sobre a eficácia e a consistência do modelo, do conceito e da teoria propostos. É evidente que o uso exclusivo de revisões sistemáticas para elaborar tanto o conceito quanto a teoria é insuficiente para gerar precisão quanto à natureza da variável latente e à construção de itens uniformes. Outra limitação da referida revisão está no critério de incluir apenas estudos escritos em inglês e publicados nas bases de dados Medline (via PubMed) e Web of Science, o que restringe a validade externa para países e culturas não europeias.
Em relação ao modelo conceitual de LS adotado pelo Comitê Europeu para a construção de um instrumento global, este foi baseado em 12 modelos conceituais anteriores desenvolvidos até 2009 e ajustado para a formulação de um "modelo conceitual integrado de LS"6. De acordo com os autores, as pessoas precisam ter competências relacionadas ao processo de acessar, compreender, avaliar e aplicar informações relacionadas à saúde para tomar decisões voltadas à manutenção e à melhoria da saúde6. No entanto, segundo os autores, “esse processo gera conhecimentos e habilidades que permitem a uma pessoa transitar por três domínios do continuum da saúde: estar doente ou ser um paciente no sistema de saúde; ser uma pessoa em risco no sistema de prevenção de doenças; e ser um cidadão em relação aos esforços de promoção da saúde na comunidade”6.
Nossa primeira consideração em relação a esse modelo é: qual evidência científica valida a suposição de que as pessoas precisam, necessariamente, desenvolver essas quatro habilidades (acessar, compreender, avaliar e aplicar informações de saúde) e obrigatoriamente passar por todas elas para gerar conhecimento e habilidades relacionadas ao LS em seus contextos de vida? Além disso, qual é a robustez das evidências que sustentam a ideia de que pessoas com apenas algumas dessas habilidades individuais consideradas essenciais são incapazes de gerenciar aspectos de sua saúde, mesmo que sejam analfabetas e não compreendam conceitos de prevenção ou o funcionamento do sistema de saúde?
Segunda consideração: qual é a evidência científica de que esse processo gera conhecimentos e habilidades que capacitam as pessoas a transitarem entre os domínios do continuum da saúde propostos pelo modelo? A concepção ocidental do que constitui e promove a saúde, do que é considerado tratamento dentro do escopo da atenção à saúde e de quais comportamentos são aceitáveis ou inaceitáveis nesse contexto é, muitas vezes, promovida ou mesmo imposta por ideias de origem ocidental, ou por perspectivas oriundas de ex-colonizadores. Consequentemente, crenças, confiança ou desconfiança na medicina ocidental, também conhecida como medicina moderna, podem impedir a modificação de comportamentos relacionados à saúde ou a aceitação de cuidados oferecidos por sistemas de saúde influenciados por essa perspectiva.
Terceira consideração: nenhuma das questões do HLS-EU-Q47, tampouco os instrumentos derivados do HLS19, avalia explicitamente a "motivação" das pessoas, um dos componentes centrais descritos na definição de LS adotada pelo próprio modelo. De fato, trata-se de uma omissão séria incluir um conceito declarado no modelo conceitual e, ao mesmo tempo, ignorá-lo na ferramenta de avaliação que se propõe a mensurá-lo.
Quarta consideração: no que se refere ao domínio do modelo voltado à prevenção de doenças, que avalia a capacidade do indivíduo de acessar, compreender, interpretar e avaliar informações sobre fatores de risco e tomar decisões a partir disso, cabe o questionamento: e se o indivíduo não estiver interessado em acessar informações sobre riscos à saúde porque gosta de beber, fumar e ingerir alimentos ultraprocessados? Esse tipo de situação certamente tende a gerar viés nos escores do instrumento de LS.
O instrumento HLS-EU-Q47 e suas limitações
Conforme já descrito, a proposta do comitê europeu para o desenvolvimento de um instrumento global de mensuração do LS estabelece que ele deve se basear em uma versão adaptada e revisada do HLS19-Q47, que, por sua vez, é uma versão adaptada do instrumento HLS-EU-Q47. A validade de conteúdo do HLS-EU-Q47 foi avaliada por meio de um grupo focal composto por uma amostra de conveniência de estudantes e docentes de três universidades participantes. No entanto, a validade externa das opiniões desse grupo não foi testada para a população geral não universitária.
Novamente, o procedimento adotado evidencia uma das principais problemáticas na construção de instrumentos, especialmente aqueles com pretensões universais: a formulação de um modelo estabelecido por especialistas. Nesse caso, a variável latente em estudo encontra-se altamente ‘contaminada’ por aspectos culturais, sociais, econômicos e estruturais próprios do contexto dos pesquisadores. É necessário atentar-se ao uso de linguagem oral e escrita culturalmente apropriada, considerando as diferenças associadas a grupos minoritários urbanos, regionais ou culturais; estabelecer as relações esperadas entre os serviços e o público-alvo, incluindo a sincronia entre as intenções de ambas as partes; conhecer as metáforas existentes a respeito dos significados de símbolos e conceitos compartilhados por determinado grupo cultural; compreender os valores, costumes e tradições compartilhados por grupos étnicos e minoritários; avaliar os constructos do modelo teórico a ser utilizado; estabelecer procedimentos que devem ser seguidos para alcançar os objetivos pretendidos; e considerar os interesses sociais, econômicos e políticos mais amplos do público-alvo20,21,22. Utilizar materiais produzidos em outro país vai, portanto, muito além da simples tradução e adaptação cultural23.
Em síntese, como o modelo conceitual do instrumento HLS-EU-Q47 não foi validado com a população em geral, seu conteúdo pode representar apenas a visão dos pesquisadores sobre o campo e seus constructos, sem significado ou relevância no cotidiano das pessoas. Esse fato é reiterado por Osborne et al.4 ao descreverem que: “O desenvolvimento de um instrumento de mensuração é necessariamente influenciado pelo contexto e pelos valores dos autores do instrumento, bem como pelas definições de mensuração e de constructo nas quais ele se fundamenta. Até o momento, os instrumentos de LS baseiam-se em definições ocidentais de letramento em saúde e de mensuração, que podem ou não estar em harmonia com as visões de mundo de todos os participantes dos estudos que utilizam esses instrumentos”4.
Portanto, futuras definições e modelos conceituais de LS devem considerar as diferentes visões de mundo culturais e sociais das pessoas e utilizar métodos mistos em seu desenvolvimento, com o objetivo de compreender o fenômeno de forma mais ampla, no contexto envolvido 24.
Conteúdo do instrumento HLS19-Q12, proposto como ferramenta inicial para mensurar o LS em nível global pelo grupo OMS-Europa, e suas limitações
No documento preliminar compartilhado pelo Comitê Técnico da OMS-Europa, consta a seguinte recomendação: “É fortemente recomendado que a ferramenta global inclua, no mínimo, a escala HLS19-Q12 em sua forma original para facilitar a comparação com os dados existentes”22. Na mesma página, outro parágrafo afirma: “Sugerimos fortemente que esses itens permaneçam inalterados para garantir a comparabilidade entre regiões e países, como uma ferramenta global de base populacional para medir o letramento em saúde. Os países que desejarem incluir mais questões do instrumento HLS-EU-Q47 poderão fazer alterações nos demais itens (questões) [...]”16. Apesar da intenção do grupo, uma reflexão fundamental que deve preceder a definição do objetivo de “facilitar a comparação com os dados existentes” é se o conteúdo do instrumento utilizado para a coleta de dados é válido e relevante para a cultura na qual será aplicado.
Considerando que todas as versões adaptadas do HLS19-Q12 foram baseadas em itens do HLS19-Q47, cujos itens, por sua vez, foram escolhidos a partir de exemplos existentes na literatura ou elaborados por meio de um procedimento Delphi entre membros do consórcio ou por consulta a especialistas7, há um risco significativo de que os itens do HLS19-Q12 representem apenas um ajuste estatístico às amostras da pesquisa HLS-EU-Q47, fazendo pouco ou nenhum sentido para os respondentes. Assim, o arcabouço teórico atualmente recomendado como base para o desenvolvimento de novos instrumentos de LS pode não ser socioculturalmente representativo do que é válido e significativo para as populações em termos de tomada de decisão relacionada à saúde e aos serviços de saúde em seus contextos cotidianos. Em vez disso, tende a refletir apenas aquilo que os pesquisadores "acreditam" que é ou deveria ser significativo. Nas ciências sociais, essa perspectiva é considerada uma abordagem etic do fenômeno, isto é, a interpretação de aspectos relacionados à saúde com base nas categorias de seus observadores25. Apesar das diretrizes internacionais desenvolvidas para promover boas práticas na tradução e adaptação transcultural desses instrumentos, a relevância cultural das medidas, ainda que orientadas por uma abordagem do tipo etic, permanece com um potencial de viés26. Inconsistências entre o conteúdo dos itens do HLS-EU-Q47 e sua relevância na vida real das pessoas foram demonstradas por Domanska et al.27, em estudo com adolescentes alemães. Segundo a maioria dos entrevistados, as questões do instrumento não apresentavam relação com suas realidades. Além disso, eles relataram ter pouca ou nenhuma experiência na realização de algumas das tarefas relacionadas à saúde abordadas pelo HLS-EU-Q4727. Portanto, os itens se mostraram culturalmente inadequados ou inválidos para essa população27. Infelizmente, esse tipo de avaliação da validade de conteúdo não foi realizado com a população europeia que respondeu à versão original do HLS-EU-Q47, tampouco com os participantes que responderam ao HLS19, caracterizando, assim, uma abordagem etic na construção dos instrumentos de LS.
Por outro lado, a abordagem emic busca compreender um fenômeno com base em referências da própria população. Sob essa perspectiva, pesquisadores adeptos desta abordagem partem do princípio de que fatores como linguagem, origem cultural, valores sociais, moral e estilos de vida interferem diretamente no desenvolvimento de instrumentos para mensurar fenômenos em saúde, os quais se manifestam no próprio contexto cultural. Assim, diferentes formas de avaliação foram desenvolvidas por distintos grupos culturais com o objetivo de compreender os ambientes culturais, sociais, políticos, econômicos e naturais em que vivem28. Além disso, é contraproducente adotar uma postura ideológica sobre a presença ou ausência de diferenças culturais e defender, de maneira exclusiva, métodos emic ou etic29. Analisar um instrumento apenas com base no consenso entre pesquisadores impõe fortes limitações. Mais preocupante ainda, ao considerarmos apenas a abordagem etic e ignorarmos a emic, acabamos por construir imagens transnacionais de sociedades mais homogêneas do que realmente são, gerando retratos superficiais de cada sociedade em particular30.
Identificamos, mediante leitura crítica dos itens do HLS19-Q12, diversos problemas, tanto em relação a possíveis vieses de interpretação por diferentes populações quanto à sua relevância para a mensuração do LS.
A Tabela 1 apresenta algumas considerações críticas sobre as questões do HLS19-Q12, considerando o contexto brasileiro e latino-americano, bem como muitos grupos na América do Norte e em regiões não europeias.
[inserir Tabela 1]
Na versão em inglês (original), o instrumento apresenta uma pergunta introdutória nos seguintes termos: “Nem sempre é fácil obter informações compreensíveis, confiáveis e úteis sobre temas relacionados à saúde. Com as perguntas a seguir, gostaríamos de descobrir quais tarefas relacionadas ao manejo de informações em saúde são mais fáceis ou mais difíceis. Em uma escala de “muito fácil” a “muito difícil”, quanto é fácil para você...”
Como observado na Tabela 1, alguns itens parecem irrelevantes, visto que a maioria das pessoas já possui conhecimento sobre os temas abordados; outros foram redigidos de forma confusa e incompleta, dificultando a compreensão adequada. Outros violam a premissa de que cada pergunta deve avaliar apenas um fator; e alguns reforçam uma visão biomédica tendenciosa da doença, ou apresentam termos/conteúdos incapazes de representar o mesmo constructo para pessoas de diferentes partes do mundo.
Diante das críticas expostas, o uso acrítico do instrumento em diferentes contextos revela-se metodologicamente inadequado. Assim, os aspectos identificados fornecem argumentos claros que tornam altamente questionável a validade de conteúdo dos itens que o compõem.
Considerações sobre as propriedades psicométricas do conteúdo do instrumento HLS19-Q12
As críticas ao instrumento HLS19-Q12 não se restringem apenas ao conteúdo, mas também se estendem às suas propriedades psicométricas. De acordo com os autores32 responsáveis por seu desenvolvimento, “a validade de constructo das medidas gerais e específicas do LS foi estabelecida utilizando métodos da Teoria Clássica dos Testes (por exemplo, alfa de Cronbach para consistência interna e análise fatorial confirmatória para estrutura fatorial) e da Teoria de Resposta ao Item (por exemplo, o modelo de Rasch)”. Primeiramente, pesquisas demonstram que o coeficiente alfa de Cronbach pode ser uma medida imprecisa da confiabilidade, pois é altamente influenciado pelo número de itens do instrumento, o que pode aumentar artificialmente a sua precisão33,34,35. Esse coeficiente foi utilizado tanto no desenvolvimento dos instrumentos HLS-EU-Q do primeiro inquérito de 2011 quanto na construção dos instrumentos do inquérito HLS-19 (2019-2021).
Segundo Pelikan e Straßmayr15, “inspirado nas versões curtas asiática e norueguesa e, com o objetivo de superar as limitações do HLS-EU-Q16 e do HLS-EU-Q6, uma nova versão curta, o HLS19-Q12 com 12 itens, um para cada célula da matriz conceitual do HLS-EU, foi construída utilizando os dados originais do HLS-EU para oito países e de outros dois países adicionais, com base nas análises Rasch[...]”. Importante ressaltar que a análise de Rasch está limitada aos modelos 1PL (one parameter logistic), e a aplicação isolada dessa técnica também apresenta limitações frente aos atuais conceitos de evidência de validade3,6,37. Consequentemente, há um salto nas etapas de evidência, visto que, antes de aplicar técnicas de evidência de estrutura interna, é essencial verificar se os itens são, de fato, adequados para avaliar o letramento em saúde em diferentes populações. Uma estrutura interna ajustável não elimina possíveis vieses estabelecidos na fase de elaboração do conteúdo, nem a necessidade de alterações para adaptação cultural e adequação às populações-alvo.
De acordo com Iliescu38, a adaptação de testes é um processo científico complexo e, portanto, deve ser orientada pelos princípios do método científico, sendo o mais proeminente deles a necessidade de fornecer evidências para a adequação dessa transformação linguística, tanto do ponto de vista da linguagem quanto das demais características psicométricas. Não é apenas a tradução que permitirá avaliar a adequação do instrumento para determinada cultura. Da mesma forma, van de Vijver29 ressalta que traduzir um teste para outro idioma requer diferentes tipos de conhecimento, incluindo habilidades linguísticas, culturais e psicométricas. Para Cheung26, as variações culturais afetam a equivalência linguística, conceitual e de mensuração das avaliações psicológicas quando essas medidas são traduzidas e aplicadas a diferentes grupos culturais, o que impõe desafios à sua confiabilidade e validade.
A equipe de pesquisadores também parece abordar de forma suficiente a validade de conteúdo diretamente. O instrumento HLS19-Q47 tinha 47 itens; com a redução do número de itens, é questionável como (e se) a validade de conteúdo foi realmente preservada. No documento M-POHL´s International Report on the Methodology of European Health Literacy Population Survey 2019-2021 (HLS19), os autores declararam que a correlação de Pearson entre o HLS19-Q12 (versão reduzida) e o HLS19-Q47 apresentou valores entre 0,898 e 0,949 e, portanto, "o HLS19-Q12 se comporta de maneira suficientemente equivalente ao HLS19-Q47 ou ao HLS19-Q16, podendo ser utilizado como versão substituta reduzida, e os resultados das publicações usando as diferentes medidas podem ser comparados até certo ponto"32. No entanto, altos valores de correlação de Pearson não garantem a equivalência entre conteúdo ou as métricas dos instrumentos. Essa hipótese é confirmada quando os autores afirmaram: “deve-se observar, no entanto, que, como o HLS19-Q47 não é comprovadamente uma escala unidimensional, não há garantia de que o HLS19-Q47 e a HLS19-Q12 mensurem, de forma estrita, o mesmo constructo latente”32. Nesse caso, não é possível comprovar a existência de equivalência de conteúdo ou de métricas, pois as versões reduzidas do instrumento apresentam comportamento psicométrico diferente da versão longa, especialmente em relação à dimensionalidade teórica, visto que as versões reduzidas não seguem a dimensionalidade do instrumento original. Assim, a equivalência de mensuração somente pode ser assumida se houver comprovação de que ambas as versões produzem interpretações semelhantes à luz da teoria estabelecida.
Além disso, muitos processos de validação dos instrumentos HLS-EU utilizaram apenas a análise fatorial confirmatória (AFC) para avaliar a estrutura interna do instrumento e suas dimensões. Essa escolha pode ser problemática, pois se “assume” a existência de alguma conformidade prévia na estrutura interna do instrumento. A aplicação direta da AFC impossibilita a identificação de outras configurações interpretáveis, reforçando o viés etic, anteriormente discutido. Além disso, essa abordagem limita a busca por evidências de validade da estrutura interna. Análises mais robustas devem ser conduzidas para testar as propriedades psicométricas dos instrumentos, como observado nos estudos que utilizaram o HLS-EU-Q6 e o HLS-EU-Q16 aplicados a adultos brasileiros13,14.
Também destacamos aspectos da invariância escalar dos instrumentos HLS-EU-Q. De acordo com Osborne et al.4, a “invariância configural das estruturas fatoriais, a invariância métrica para cargas fatoriais e a invariância escalar para interceptos dos itens” são critérios fundamentais para que os dados nacionais e de grupos minoritários possam ser comparados de forma válida. Além disso, segundo os autores, “a geração de tais evidências exigiria que cada país, demonstrasse, primeiramente, a utilidade e a aceitabilidade da medida dentro do próprio país e, em seguida, demonstrasse, qualitativa e quantitativamente, nos níveis de item e de constructo, que as perguntas são compreendidas (e respondidas) da mesma forma, apesar dos diferentes contextos, tais como os sistemas de saúde, os direitos de acesso a serviços e as práticas culturais”. Na pesquisa HLS19, os autores utilizaram modelos da Teoria de Resposta ao Item (TRI) para avaliar a invariância dos itens em relação a diferentes fatores sociodemográficos, como gênero, nível de escolaridade e estado de saúde40. Para tanto, realizaram análises de differential item functioning (DIF), utilizando as variáveis gênero e os critérios dicotômicos idade (divisão pela mediana) e escolaridade (< qualificação para ingresso no ensino superior vs. pelo menos qualificação para ingresso no ensino superior). De acordo com os resultados das análises de DIF, os itens foram influenciados pelas variáveis analisadas40. Segundo os próprios autores, “as possíveis razões são múltiplas e incluem, por exemplo, diferenças sutis de significado dos itens decorrentes da tradução, do contexto social e cultural e das particularidades dos sistemas de saúde”40. Fica evidente, portanto, que os autores não conseguiram estabelecer a invariância escalar, com evidências consideráveis de que os instrumentos HLS tendem a fornecer informações imprecisas aos usuários.
Outra crítica diz respeito à ausência de evidências de que a categorização de escores sugerida pelos autores para classificar os níveis de LS individuais seja válida para diferentes populações. A classificação inadequada dos níveis de LS dos indivíduos pode ter implicações importantes para o planejamento e os gastos em saúde pública. Estudo investigou dados normativos do instrumento HLS-EU-Q6 em adultos brasileiros e demonstrou que os critérios de classificação a serem utilizados com essa população deveriam diferir daqueles propostos no estudo original, a fim de evitar vieses na mensuração dos níveis de letramento em saúde39. Adicionalmente, no questionário HLS19, os pesquisadores observaram um elevado efeito de teto e relativa facilidade das tarefas propostas no HLS19-Q12 em relação à distribuição dos escores.15 Assim, a aplicabilidade e a sensibilidade dessas questões para identificar indivíduos com diferentes níveis de LS tornam-se questionáveis.
Considerações Finais
O desenvolvimento de um instrumento global requer uma compreensão aprofundada das nuances relacionadas à variável latente nos mais diversos países, culturas, idiomas e subgrupos populacionais. No entanto, o processo de desenvolvimento dos instrumentos gerais de LS utilizados no inquérito HLS-19 não apresenta estudos exploratórios qualitativos realizados em diferentes contextos e países que subsidiem, sequer, a inclusão de itens específicos das culturas nas quais o instrumento foi aplicado. Diversos estudos têm demonstrado que desconsiderar o equilíbrio entre as abordagens etic e emic resulta em instrumentos menos precisos.
Tal desequilíbrio gerará, inexoravelmente, vieses na configuração e padronização dos escores, bem como na capacidade de validar a interpretação dos resultados obtidos. Ademais, deve-se considerar a provável inviabilidade de desenvolver um instrumento verdadeiramente transcultural. Um instrumento eficaz exigiria, antes de sua construção, garantir que o conceito de LS seja, pelo menos, equivalente entre as culturas, a fim de assegurar possível equivalência de mensuração nos mais diversos países. No entanto, esse aspecto parece ausente na definição de LS, no modelo conceitual e nos instrumentos gerais desenvolvidos pelos pesquisadores da OMS Europa, o que limita aplicá-los, incluindo a versão resumida do HLS19-Q12, como ferramentas válidas para facilitar a comparação com os dados existentes da pesquisa HLS-19.
Portanto, os níveis de LS somente devem ser comparados quando o constructo estiver solidamente estabelecido em todos os países e as propriedades psicométricas dos instrumentos permitirem comparações imparciais. Os países (e as diversas culturas e grupos vulneráveis dentro deles) devem, primeiramente, assegurar que as mensurações produzam dados éticos e reprodutíveis. Somente então, as equipes de pesquisa poderão verificar, com respaldo metodológico, se o instrumento de avaliação apresenta invariância entre países, ao menos para alguns dos subconstructos avaliados.
A proposta de realizar comparações entre países e regiões utilizando o HLS19-Q12 contraria o princípio emic, ao tratar a variável latente como universal. Esse fato pode ocorrer, mas deveria incluir nuances regionais que obriguem a modificação, inclusão ou exclusão de itens, caso os pesquisadores desejem um instrumento preciso.
Apesar das inestimáveis contribuições do Consórcio Europeu para o desenvolvimento da área de LS, incluindo seu modelo conceitual, definições e instrumentos para mensuração deste constructo, o instrumento HLS19-Q12 não deve ser aplicado de forma acrítica em países que não participaram da pesquisa HLS19-Q12, com base apenas na justificativa da OMS de "garantir a comparabilidade entre regiões e países"16.
Como o modelo conceitual não foi devidamente validado por meio de pesquisas qualitativas com populações de diferentes regiões do mundo, sua capacidade de explicar o letramento em saúde permanece claramente sob risco, podendo gerar vieses em sua conceituação e constructos nos níveis individual, populacional e organizacional, além de contribuir para injustiças epistêmicas. Para aumentar a transferibilidade do conceito entre diferentes contextos, os pesquisadores deveriam fornecer descrições abrangentes do contexto da pesquisa, utilizar amostragem intencional para incorporar diversas perspectivas, adotar uma postura reflexiva para reconhecer e lidar com vieses, empregar a triangulação de dados para aumentar a credibilidade e contextualizar suas descobertas visando à aplicabilidade em contextos diversos, incluindo medicina de família e ambientes de saúde comunitária em todo o mundo.
O presente artigo centrou-se nos instrumentos HLS-EU-Q, visto que seu conteúdo foi claramente proposto pelo grupo OMS-Europa para uso como um instrumento de aplicação global. No entanto, críticas semelhantes ou iguais podem ser dirigidas a qualquer instrumento que reivindique validade universal.
Para concluir, o valor de um instrumento padronizado para mensuração do letramento em saúde em nível global é altamente questionável, tendo em vista seu potencial impacto negativo ao aumentar o risco de marginalização e estigmatização, especialmente em países em desenvolvimento e populações vulneráveis. Isso pode levar à produção de registros imprecisos e ao uso inadequado de recursos públicos.

REFERÊNCIAS

1. WHO - World Health Organization. Health promotion glossary of terms 2021 [Internet]. 2021. [cited 2024 jan 14]. Available from: https://www.who.int/publications/i/item/9789240038349.
2. Lorini C, Caini S, Ierardi F, Bachini L, Gemmi F, Bonaccorsi G. Health Literacy as a Shared Capacity: Does the Health Literacy of a Country Influence the Health Disparities among Immigrants? Int J Environ Res Public Health 2020;17(4):1149.
3. Sørensen K. Health literacy is a political choice: a health literacy guide for politicians [Internet]. 2017. [cited 2024 apr 20]. Available from: https://www.globalhealthliteracyacademy.org/post/2016/12/06/health-literacy-is-a-political-choice-a-health-literacy-guide-for-politicians.
4. Osborne RH, Cheng CC, Nolte S, Elmer S, Besancon S, Debussche X, Dias S, Kolarckik P, Loureiro MI, Maindal H, O DN, Smith JA, Wahl A, Elsworth GR. Health literacy measurement: embracing diversity in a strengths-based approach to promote health and equity, and avoid epistemic injustice. BMJ Global Health 2022;7:e009623.
5. Tavousi M, Mohammadi S, Sadighi J, Zarei F, Kermani RM, Rostami R, Montazeri A. Measuring health literacy: a systematic review and bibliometric analysis of instruments from 1993 to 2021. PLoS One 2022;17(7):e0271524.
6. Sørensen K, Van den Broucke S, Fullam J, Doyle G, Pelikan J, Slonska Z, Brand H. Health literacy and public health: a systematic review and integration of definitions and models. BMC Public Health 2012; 12:80.
7. Sørensen K, Van den Broucke S, Pelikan JM, Fullam J, Doyle G, Slonska Z, Kondilis B, Stoffels V, Osborne RH, Brand H. HLS-EU Consortium. Measuring health literacy in populations: illuminating the design and development process of the European Health Literacy Survey Questionnaire (HLS-EU-Q). BMC Public Health 2013;13:948.
8. Osborne RH, Batterham RW, Elsworth GR, Hawkins M, Buchbinder R. The grounded psychometric development and initial validation of the Health Literacy Questionnaire (HLQ). BMC Public Health 2013;13:658.
9. Batterham RW, Buchbinder R, Beauchamp A, Dodson S, Elsworth GR, Osborne RH. The OPtimising HEalth LIterAcy (Ophelia) process: study protocol for using health literacy profiling and community engagement to create and implement health reform. BMC Public Health 2014;14:694.
10. Pelikan. JM, Ganahl K. Measuring health literacy in general populations: Primary findings from the HLS-EU Consortium’s health literacy assessment effort. Stud Health Technol Inform 2017; 240: 34-59.
11. Kickbusch I, Pelikan JM, Apfel A, Tsouros AD. Health literacy: the solid facts [Internet]. 2013. [cited 2024 apr 14]. Available from: https://apps.who.int/iris/handle/10665/326432.
12. Pelikan JM, Roethlin F, Ganahl K. Measuring comprehensive health literacy in general populations - the HLS-EU instruments [Internet]. 2014 [cited 2024 apr 20]. Available from: https://www.bumc.bu.edu/healthliteracyconference/files/2014/06/Pelikan-et-al-HARC-2014-fin.pdf
13. Mialhe FL, Moraes KL, Bado FMR, Brasil VV, Sampaio HAC, Rebustini F. Psychometric properties of the adapted instrument European Health Literacy Survey Questionnaire short-short form. Rev Lat Am Enfermagem 2021;29:e3436.
14. Mialhe FL, Sampaio HAC, Moraes KL, Brasil VV, Rebustini F. Psychometric properties of the Brazilian version of the European Health Literacy Survey Questionnaire short form. Health Promot Int 2022;37(4):daac130.
15. Pelikan JM, Straßmayr C. Background of the HLS19. In: The HLS19 Consortium of the WHO Action Network M-POHL: International Report on the Methodology, Results, and Recommendations of the European Health Literacy Population Survey 2019–2021 (HLS19) of M-POHL [Internet]. 2021. [cited 20 apr 2024]. Available from: https://m-pohl.net/NB1
16. WHO - World Health Organization. WHO Global Survey of Population Health Literacy in countries across WHO regions. Instructions for commenting on the health literacy questionnaire. DRAFT, 2022.
17. Watson JC. Talking the talk: enhancing clinical ethics with health literacy best practices. HEC Forum 2019;31(3):177-199.
18. Straßmayr C, Pelikan JM, Link T. The HLS19 instruments. In: The HLS19 Consortium of the WHO Action Network M-POHL: International Report on the Methodology, Results, and Recommendations of the European Health Literacy Population Survey 2019–2021 (HLS19) of M-POHL [Internet]. 2021. [cited 20 apr 2024]. Available from: https://m-pohl.net/NB1
19. Larsen MH, Mengshoel AM, Andersen MH, Borge CR, Ahlsen B, Dahl KG, Eik H, Holmen H, Lerdal A, Mariussen KL, Thoresen L, Tschamper MK, Urstad KH, Vidnes TK, Wahl AK. “A bit of everything": Health literacy interventions in chronic conditions - a systematic review. Patient Educ Couns 2022;105(10):2999-3016
20. Bernal G, Jiménez-Chafey MI, Domenech Rodríguez MM. Cultural adaptation of treatments: a resource for considering culture in evidence-based practice. Prof Psychol Res Pr 2009; 40(4): 361–368.
21. Helms JE. An examination of the evidence in culturally adapted evidence-based or empirically supported interventions. Transcult Psychiatry 2015;52(2):174-97.
22. Salamanca-Sanabria A, Richards D, Timulak L, Castro-Camacho L, Mojica-Perilla M, Parra-Villa Y. Assessing the efficacy of a culturally adapted cognitive behavioural internet-delivered treatment for depression: protocol for a randomised controlled trial. BMC Psychiatry 2018; 18(1):53.
23. Menezes JCL, Nobre-Sandoval LA, Murta SG. Local Adaptations to Implement the Strengthening Families Program in Northeastern Brazil. Int J Ment Health Addict 2020; 18(2): 407-421.
24. Creswel J, Plano Clark VL (eds.) Designing and conducting mixed methods research, 3rd ed. Thousand Oaks: Sage Publications; 2018.
25. Galperin BL, Punnett BJ, Ford D, Lituchy TR. An emic-etic-emic research cycle for understanding context in under-researched countries. Int J Cross Cultural Managem 2022; 22(1): 7-35.
26. Cheung F. Culture and Personality Assessment. Oxford Research Encyclopedia of Psychology [Internet]. 2023. [cited 12 mar 2024]. Available from: https://oxfordre.com/psychology/view/10.1093/acrefore/9780190236557.001.0001/acrefore-9780190236557-e-455.
27. Domanska OM, Firnges C, Bollweg TM, Sørensen K, Holmberg C, Jordan S. Do adolescents understand the items of the European Health Literacy Survey Questionnaire (HLS-EU-Q47) - German version? Findings from cognitive interviews of the project "Measurement of Health Literacy Among Adolescents" (MOHLAA) in Germany. Arch Public Health 2018; 76:46.
28. Rosa M, Orey DC. The field of research in ethnomodeling: emic, ethical and dialectical approaches. Educ Pesq 2012; 38(4): 865-879.
29. van de Vijver PJR. Test adaptations. In: Leong FTL, Bartram D, Cheung KF, Iliescu D, organizers. The ITC international handbook of testing and assessment. New York: Oxford University Press, 2016. p. 364–376.
30. Smith TW. Improving multinational, multiregional, and multicultural (3MC) comparability using the total survey error (TSE) paradigm. In: Jonhson TP, Pennell BE, Stooop IAL, Dorer B, organizers. Advances in Comparative Survey Methods: Multinational, Multiregional, and Multicultural Contexts (3MC). New York: John Wiley & Sons, 2018. p.13-43.
31. Papen U. Literacy, learning and health – a social practices view of health literacy. Literacy & Numeracy Studies, 2009; 16(2): 19–34
32. The HLS19 Consortium of the WHO Action Network M-POHL. International Report on the Methodology, Results and recommendations of the European Health Literacy Population Survey 2019–2021 (HLS19) of M-POHL. Austrian National Public Health Institute; Vienna, Austria: 2021. [Internet]. 2021. [cited 20 apr 2024]. Available from: https://m-pohl.net/NB1
33. Schmitt N. Uses and abuses of coefficient Alpha. Psychol Assess 1996; 8: 350.
34. Vaske JJ, Beaman J,Sponarski CC. Rethinking internal consistency in Cronbach\'s alpha. Leisure Sciences 2016; 39: 163–173.
35. McDonald RP. Test theory: a unified treatment. Mahwah, NJ: Lawrence Erlbaum, 1999.
36. American Educational Research Association. American Psychological Association & National Council on measurement in education. Standards for educational and psychological testing [internet]. 2014. [cited 2024 dec 18]. Available from: https://www.apa.org/science/programs/testing/standards
37. American Educational Research Association. American Psychological Association & National Council on measurement in education. Standards for educational and psychological testing [internet]. 2019. [cited 2024 dec 18]. Available from: https://www.aera.net/Publications/Books/Standards-1999-Ed
38. Iliescu D. Adapting tests in linguistic and cultural situations. Cambridge University Press, 2017.
39. Mialhe FL, Rebustini F. Evaluation of normative data of the instrument European Health Literacy Survey Questionnaire short-short form (HLS-EU-Q6) in Brazilian adults. Rev Eletr Acervo Saude 2023; 23(6): e12305 Available from: https://acervomais.com.br/index.php/saude/article/view/12305/7706
40. Pelikan JM, Link T, Straßmayr C, Waldherr K, Alfers T, Bøggild H, Griebler R, Lopatina M, Mikšová D, Nielsen MG, Peer S, Vrdelja M; HLS19 Consortium of the WHO Action Network M-POHL. Measuring Comprehensive, General Health Literacy in the General Adult Population: The Development and Validation of the HLS19-Q12 Instrument in Seventeen Countries. Int J Environ Res Public Health 2022;19(21):14129.