Prezados Editores da Revista CoDAS,
A proposta dessa carta é a apresentação de algumas considerações sobre a validação de testes em Fonoaudiologia. A validação de um teste diagnóstico não é um momento, é um processo de complexidade crescente. Esse processo pode ser dividido em duas etapas: validação interna de desempenho desse novo teste e a validação de desempenho desse novo teste num ensaio clínico diagnóstico.
A validação interna de desempenho de um novo teste é um mecanismo de controle sobre a coerência interna do protocolo desenvolvido. Nessa etapa é elaborado um protocolo, cuja relevância é justificada em dados epidemiológicos, na existência ou não de testes específicos, etc. Os itens desse protocolo são fundamentados na literatura disponível, preferencialmente internacional, e devem ser submetidos a juízes isentos para análise dos itens e procedimentos de aplicação.
Nessa etapa, a primeira avaliação do protocolo é sobre a sua variabilidade intraobservador (a mesma pessoa analisa os resultados obtidos pelo teste repetidas vezes, sendo observada a proporção de vezes que essa pessoa concordará com as suas próprias interpretações anteriores) e interobservadores (duas ou mais pessoas capacitadas analisam os resultados obtidos pelo teste, sendo observada a proporção de vezes que essas pessoas concordarão com as interpretações do primeiro analista das respostas). Há testes estatísticos específicos para a determinação de concordância, de maneira geral, menos de 50% de concordância indica baixa reprodutibilidade, ou seja, o teste deve ser modificado ou abandonado. Entre 50% e 75% de concordância indica média reprodutibilidade; entre 75% e 83%, boa reprodutibilidade; e acima de 83%, ótima reprodutibilidade. Havendo índice de reprodutibilidade adequado o teste entra então em aplicação.
A etapa da validação de desempenho do teste em ensaios clínicos diagnósticos é a forma indicada e rigorosa para estudar um teste. Os ensaios clínicos diagnósticos são realizados em “fases”. Cada uma dessas fases, com finalidades diferentes, tem objetivos determinados. Em cada uma dessas fases devem ser considerados:
-
•
definição da população alvo;
-
•
critérios de inclusão;
-
•
critérios de exclusão;
-
•
estratégias da seleção da amostragem (espectro da amostra pesquisada representar o que é esperado para a população em geral);
-
•
randomização da amostra (escolha aleatória dos participantes);
-
•
cegamento ou mascaramento (evitar que quem interpretar os resultados do teste tenha acesso às informações dos participantes, evitando viéses, preconceitos e demais informações que possam afetar o julgamento).
ENSAIO DIAGNÓSTICOS DE FASE I
O objetivo dessa fase é avaliar a segurança e identificar possíveis efeitos indesejáveis do teste. Nessa fase é testada a adequação dos procedimentos, a segurança e os possíveis efeitos indesejáveis do teste. Nessa fase o teste é aplicado num pequeno grupo de pessoas (20-100) a partir de pacientes com o espectro da doença a ser diagnosticada.
ENSAIOS DE FASE II
O objetivo dessa fase é expandir o tamanho da amostra da primeira fase e, se possível, variar o grupo de pesquisa (outra cidade, outro grupo de risco, etc.). Nessa fase o teste é aplicado num grupo maior de pessoas (100-300) para determinar sua eficácia e avaliar ainda mais sua segurança.
ENSAIOS DE FASE III
O objetivo dessa fase é comparar o novo teste com um teste já existente ou melhor ainda, comparar o novo teste com um teste considerado padrão-ouro, para determinar a acurácia do novo teste diagnóstico. Um novo teste só poderá ser considerado validado quando dos resultados obtidos em sua aplicação, comparados com um teste de referência da verdade, se discrimine, com segurança, quem apresenta realmente a doença e quem não apresenta realmente a doença. As equações para cálculo de desempenho do teste diagnóstico no ensaio de fase III são:
-
1
Sensibilidade – é considerado que o teste é sensível quando identificar como positivo a pessoa que realmente tem a doença;
-
2
Especificidade – é considerado que o teste é específico quando identificar como negativo a pessoa que realmente não tem a doença;
-
3
Valor preditivo positivo - é a proporção de pessoas verdadeiramente positivas em relação às diagnosticadas pelo teste como positivas;
-
4
Valor preditivo negativo – é a proporção de pessoas verdadeiramente negativas em relação às diagnosticadas pelo teste como negativas;
-
5
Curva ROC (RECEIVER OPERATOR CHARACTERISTICS) - a Curva ROC estabelece os pontos de corte, com base nos valores de especificidade e de sensibilidade. Esses pontos serão definidos, formando uma área sob a curva (variável entre 0,5(teste inútil) até 1,0(teste perfeito)). A qualidade do teste é definida pelo traçado da curva, quanto mais próximo do canto superior esquerdo do gráfico melhor o desempenho do teste.
ENSAIOS DE FASE IV
O objetivo dessa fase é aplicar o novo teste em grandes grupos de pessoas (1.000-3.000), com diferentes aplicadores, em diferentes instituições para confirmar sua eficácia e monitorar seus efeitos colaterais. Depois que um teste é submetido a todas essas fases, é esperado que os pesquisadores iniciem os estudos sobre o rendimento diagnóstico, ou seja, o efeito direto do resultado de um teste sobre as decisões clínicas.
Na Fonoaudiologia existem poucos testes que possam ser considerados padrão-ouro. Algumas vezes o único indicador de desfecho será o acompanhamento do paciente que poderá confirmar a presença ou ausência da doença. Outras vezes o teste padrão-ouro é imperfeito (no caso dos distúrbios da linguagem o padrão-ouro é um teste validado em outra língua). Na inexistência de um teste padrão-ouro para detecção precoce de um distúrbio da comunicação, é necessário o rastreamento dos fatores de risco para o diagnóstico precoce e para a estimativa do prognóstico do caso.
A Fonoaudiologia está iniciando seus ensaios clínicos diagnósticos. Poucos fonoaudiólogos estão familiarizados com esses conceitos, metodologias e possuem formação específica para a interpretação dos testes diagnósticos. Grande parte dos fonoaudiólogos não considera relevante a precisão diagnóstica. Essa atitude perpetua um padrão precário de decisão clínica que é falha porque é baseada no próprio juízo (aqui entra a tão famosa “prática clínica” que pode estar errada), em alguma base de literatura (quase sempre nacional e muitas vezes defasada em sua qualidade) e numa abordagem rápida e informal que podem, em grande porcentagem, induzir ao erro. A adoção dos ensaios clínicos – no caso os ensaios clínicos diagnósticos – permitirá elevar o índice de acerto da atividade clínica, com uma abordagem mais precisa, registrando como positivo o que realmente é positivo e negativo quando realmente é negativo.
BIBLIOGRAFIA
- ASHA: American Speech-Language-Hearing Association [Internet]. Evidence-based practice in communication disorders. Rockville: ASHA; 2005 [citado em 2003 Nov 14]. Disponível em: www.asha.org/policy
- Clinical Trials [Internet] Statement Bethesda National Institutes of Health 2003 citado em 2003 Nov 14 Disponível em: www.clinicaltrials.gov
- Gehan EA, Lemak NA. Statistics in medical research: developments in clinical trials. New York: Plenum Medical Book Co.; 1994.
- Giffels JJ. Clinical trials: what you should know before volunteering to be a research subject. New York: Demos Vermande; 1996.
- Hegde MN. Clinical research in communicative disorders: principles and strategies. 2nd ed. Austin: Pro-Ed.; 1994.
- Hulley SB, Cummings SR, Browner WS, Grady DG, Newman TB. Delineando a pesquisa clínica. 3. ed. Porto Alegre: Artmed; 2008. 384 p.
- Luna B Fo. A ciência e a arte de ler artigos médicos. São Paulo: Atheneu; 2010. 176 p.
- Maxwell DL, Satake E. Research and statistical methods in communication sciences and disorders. Canada: Thompson; 2006. 561 p.
- Meinert CL. Clinical trials: design, conduct, and analysis. New York: Oxford University Press; 1986.
- NIH: National Institutes of Health [Internet]. An introduction to clinical trials. Bethesda: NIH; 2003 [citado em 2003 Nov 14]. Disponível em: http://clinicaltrials.gov/ct/info/whatis
» http://clinicaltrials.gov/ct/info/whatis - Robey RR. A five-phase model for clinical-outcome research. J Commun Disord. 2004;37(5):401-11. PMid:15231420. http://dx.doi.org/10.1016/j.jcomdis.2004.04.003
» http://dx.doi.org/10.1016/j.jcomdis.2004.04.003 - Schulz KF, Altman DG, Moher D. CONSORT 2010 statement: updated guidelines for reporting parallel group randomized trials. BMJ. 2010;340:c332. PMid:20332509. http://dx.doi.org/10.1136/bmj.c332
» http://dx.doi.org/10.1136/bmj.c332
Disponibilidade de dados
Citações de dados
Clinical Trials [Internet] Statement Bethesda National Institutes of Health 2003 citado em 2003 Nov 14 Disponível em: www.clinicaltrials.gov
Datas de Publicação
-
Publicação nesta coleção
2017
Histórico
-
Recebido
11 Ago 2016 -
Aceito
11 Ago 2016
