Ir para o conteúdo

Guia de referência

Como avaliar a tomada de decisão clínica do estudante

Por Caio Hailton

Publicado em . Última revisão em . Leitura de 25 minutos.

Médica de jaleco e estetoscópio escreve num notebook, com pastas de arquivo ao fundo

Resposta direta

Nenhum instrumento basta sozinho para garantir competência em decisão clínica, e a confiabilidade da nota depende mais da quantidade de casos e itens do que do formato. A prova com casos simulados em tela e pontuação automática teve consistência interna de 0,82 a 0,89 com cinco casos, em duas séries de uma mesma escola israelense; o teste de concordância de scripts variou de 0,43 a 0,84 em estudos de 30 a 158 itens, e tem crítica séria ao método de pontuação. A ligação entre nota e prática real foi medida num exame de licença dos Estados Unidos, em médicos já licenciados: cada desvio padrão a mais se associou a chance 11% menor de punição disciplinar na parte de casos simulados e 17% menor na de múltipla escolha, e a parte de casos trouxe informação própria. Para decidir aprovação, combine instrumentos e some casos ao longo do período; para retorno formativo, que pede menos evidência, uma prova curta pode bastar.

Para quem este texto vale

Para quem coordena curso de medicina ou residência e precisa escolher como avaliar se o estudante decide bem diante de um caso: que instrumento usar, com quantos itens ou casos, como pontuar e para que decisão a nota serve. Os estudos citados avaliaram estudantes de graduação, residentes e médicos, quase todos fora do Brasil, e os estudos primários avaliaram, em geral, um instrumento numa única instituição ou num único exame. O exame por estações, que mede também anamnese, exame físico e comunicação, é tema de outro guia e aparece aqui só como termo de comparação.

Tomada de decisão clínica, neste texto, é a parte do raciocínio clínico em que o estudante escolhe o que perguntar, que exame pedir, qual diagnóstico sustentar e que conduta adotar. Confiabilidade é o grau em que a nota se repetiria numa prova equivalente, numa escala de 0 a 1; o alfa de Cronbach, usado na maior parte dos estudos citados, estima a consistência interna, isto é, quanto os itens de uma mesma prova concordam entre si. Avaliação formativa é a que serve para orientar o estudante; somativa, ou de alto risco, é a que decide aprovação, progressão ou certificação.

A validade da nota depende da decisão que ela sustenta

Validade não é propriedade do instrumento. Para Cook e Hatala, em texto de 2016 escrito para quem avalia com simulação, ela é propriedade das notas, das interpretações e das decisões, e um instrumento não é válido em si mesmo [1]. Validar é reunir evidência de que a interpretação pretendida se sustenta. Os autores organizam essa evidência em quatro inferências, na proposta de Kane: a pontuação, que transforma de modo consistente o desempenho observado em número; a generalização, que diz se a nota de uma prova representa o desempenho em provas equivalentes; a extrapolação, que liga a nota ao desempenho no mundo real; e as implicações, ou decisão, que dizem se a avaliação tem efeitos importantes e favoráveis sobre estudantes, programas ou pacientes, com efeitos negativos mínimos [1].

A consequência prática é que a mesma prova pode ter evidência suficiente para dar retorno ao estudante e insuficiente para reprová-lo. Cook e Hatala afirmam que avaliações de impacto ou risco maior pedem padrão mais alto de quantidade, qualidade e abrangência de evidência [1]. Para o colegiado, a pergunta é se há evidência para usar aquela nota naquela decisão.

O que cada instrumento consegue medir da decisão clínica

Cada instrumento alcança etapas diferentes do raciocínio. A revisão de escopo de Daniel e colaboradores, publicada em 2019, analisou 377 artigos sobre avaliação de raciocínio clínico de estudantes, residentes e médicos e listou 19 métodos [2]. Os autores atribuíram a cada método uma nota de 0 a 2 para cada uma de sete etapas do raciocínio, da coleta de dados à conduta, em que 0 indica etapa não abordada, 1 etapa secundária e 2 foco principal; as médias de 1,6 a 2,0 entram na faixa que eles chamam de muito boa [2]. As notas são a média do juízo dos autores, obtido por questionário, e não medida psicométrica.

Quanto cada instrumento alcança das sete etapas do raciocínio clínico, na escala de 0 a 2 da revisão de 2019 Etapas na ordem: coleta de dados, geração de hipóteses, representação do problema, diagnóstico diferencial, diagnóstico principal, justificativa diagnóstica, conduta e tratamento. Múltipla escolha: 0,9; 0,3; 0,0; 0,6; 1,9; 0,0; 1,8. Aspectos-chave: 0,9; 0,5; 0,4; 1,5; 1,4; 0,6; 1,4. Concordância de scripts: 0,4; 0,8; 0,6; 0,8; 1,3; 0,9; 1,1. Simulação com tecnologia: 1,6; 0,6; 0,5; 1,1; 1,7; 0,6; 1,9. Prova oral: 1,3; 1,3; 1,1; 1,8; 1,8; 1,9; 1,9. Coletade dados Geração dehipóteses Represen-tação doproblema Diagnósticodiferencial Diagnósticoprincipal Justificativadiagnóstica Conduta etratamento Múltipla escolhaAspectos-chaveConcordância de scriptsSimulação com tecnologiaProva oral 0,90,30,00,61,90,01,80,90,50,41,51,40,61,40,40,80,60,81,30,91,11,60,60,51,11,70,61,91,31,31,11,81,81,91,9 De 1,6 a 2,0: faixa muito boaAbaixo de 1,6Quanto maior o círculo, maior a nota (de 0 a 2)
Figura 1. Cinco dos 19 métodos da revisão de escopo de 2019, com a nota média que os autores deram à capacidade de cada um de medir cada etapa do raciocínio clínico [2]. As notas são juízo dos autores, e não medida psicométrica. Na revisão, a simulação com tecnologia reúne manequins de alta fidelidade, pacientes simulados e avatares de paciente virtual, e a prova oral não é separada entre estruturada e tradicional.

Na Figura 1, a múltipla escolha concentra a força no diagnóstico principal (1,9) e na conduta (1,8) e, na avaliação dos autores, não alcança a representação do problema nem a justificativa (0,0 nas duas). A prova oral é o único dos cinco métodos com nota acima de 1,0 nas sete etapas. A simulação com tecnologia tem a nota mais alta dos cinco em coleta de dados (1,6) e empata com a prova oral em conduta (1,9) [2]. Nenhum dos cinco fica na faixa muito boa em todas as etapas; a prova oral é a que chega mais perto, com quatro das sete nessa faixa e as outras três na faixa que os autores chamam de boa, de 1,1 a 1,5 [2]. A conclusão dos autores é que garantir competência em raciocínio exige um programa de avaliação, feito de métodos complementares [2]. O guia sobre como ensinar e avaliar raciocínio clínico com casos simulados mostra por que esse programa precisa de muitos casos: o desempenho num caso prevê mal o desempenho no seguinte, e a confiabilidade de sete formatos de prova sobe com as horas de teste.

Questão de múltipla escolha com vinheta clínica

A questão de múltipla escolha com vinheta apresenta um caso curto e pede a melhor decisão entre alternativas. Van der Vleuten e Schuwirth, em 2005, descrevem a passagem das provas escritas para vinhetas curtas e focadas, que exigem decisões-chave e aplicação do conhecimento em vez de memória, e afirmam que, para medir habilidade cognitiva mais alta, o formato da resposta (menu, resposta escrita, aberta ou associação) importa pouco [3].

Entre as provas escritas, a múltipla escolha é a que mais rende por hora. Na compilação de van der Vleuten e Schuwirth, a confiabilidade foi de 0,62 com uma hora de prova e de 0,93 com quatro horas, acima dos outros métodos escritos da mesma tabela [3]. Os autores lembram que cada linha da tabela vem de um único estudo e que a comparação não deve ser lida com rigor demais, e que 0,80 costuma ser tomado como o mínimo aceitável, valor que pode subir ou descer conforme a finalidade do exame [3]. A revisão de 2019 registra a contrapartida: as alternativas dão pistas ao candidato, problema que afeta o processo de resposta, isto é, o caminho mental pelo qual o estudante chega à marcação [2].

A múltipla escolha também tem evidência de extrapolação. Cuddy e colaboradores, em 2022, acompanharam 275.392 médicos com certificação de especialidade que passaram no Step 3, a última etapa do exame de licença dos Estados Unidos, entre 2000 e 2017; 1% deles recebeu ao menos uma punição de conselho estadual por cuidado inadequado ou incompetente [4]. Cada desvio padrão a mais na parte de múltipla escolha se associou a chance 17% menor de punição, num modelo que incluía também a nota da parte de casos simulados [4]. O estudo é observacional, e os autores registram limites: só entraram médicos aprovados e certificados, o que pode ter subestimado as associações, e todas as punições foram tratadas como iguais, qualquer que fosse a gravidade [4].

Questões de aspectos-chave (key features)

A questão de aspectos-chave, do inglês key features, parte de um caso clínico e pergunta só pelas decisões críticas para resolvê-lo. Farmer e Page, no guia prático de 2005, definem os aspectos-chave como os passos críticos para a solução do problema, que podem estar na coleta de dados, no diagnóstico, na conduta ou na prevenção [5]. A maioria dos problemas tem um caso seguido de duas ou três perguntas. A resposta é escrita em poucas palavras ou escolhida numa lista curta, que precisa conter todas as respostas certas e os erros mais prováveis, com pelo menos quatro ou cinco opções incorretas para cada item correto [5].

O mesmo guia define a pontuação. Recomenda crédito parcial com pesos simples, porque sistemas mais complexos não melhoram a confiabilidade, e não usa pontuação negativa. O candidato que dá respostas demais numa pergunta não pontua nela, e uma resposta perigosa ou negligente pode custar a pontuação da pergunta inteira [5].

O formato pede horas de prova: Farmer e Page citam confiabilidade potencial de 0,8 com quatro horas, e registram que o Conselho Médico do Canadá aplicava, à época, uma prova de quatro horas nesse formato [5]. Na tabela de van der Vleuten e Schuwirth, os casos de aspectos-chave com resposta escrita saem de 0,32 com uma hora, chegam a 0,66 com quatro e a 0,79 com oito [3]. Dois estudos com provas curtas mostram o efeito. Na Alemanha, uma prova formativa de neurologia com 12 problemas e 60 minutos, feita por estudantes do terceiro e quarto anos, teve alfa de 0,53 entre os 81 que a concluíram (0,73 quando entram os três que a abandonaram nos primeiros problemas); os autores atribuem o limite à prova curta e à amostra de estudantes motivados, e registram que não se sabe se nota maior corresponde a desempenho clínico melhor [6]. Na Austrália, uma prova piloto com 21 casos para médicos teve alfa de 0,83, e a versão final de 11 casos, recalculada sobre as mesmas respostas, de 0,82; foram só dez participantes, e os autores consideraram sustentada a inferência de pontuação e apenas em parte a de generalização, a de extrapolação e a de implicações [7].

Teste de concordância de scripts

O teste de concordância de scripts mede a interpretação de dados clínicos sob incerteza. Scripts, na teoria que dá nome ao teste, são as estruturas de conhecimento que ligam informação clínica a categorias de doença e se refinam com a experiência. Cada item apresenta um caso curto e uma hipótese, acrescenta uma informação nova e pergunta, numa escala de cinco pontos, quanto ela torna a hipótese mais ou menos provável. A pontuação é agregada: a resposta mais escolhida pelo painel de especialistas vale 1, e cada uma das outras vale o número de especialistas que a escolheram dividido pelo número dos que escolheram a mais votada. Num painel de 15 em que 8, 5 e 2 especialistas escolhem três respostas diferentes, elas valem 1; 0,625 e 0,25 [8]. O guia da AMEE, associação europeia de educação médica, de 2013, recomenda cerca de 25 casos com três perguntas cada, em prova de 60 a 90 minutos, com alfa típico de 0,75 a 0,80, e painel de ao menos 15 especialistas para exame de alto risco, com ganho marginal acima de 20 [8]. O mesmo guia reconhece que o teste não mede a capacidade de gerar hipóteses, que a nota de corte não traduz competência de forma bem definida e que o melhor uso é como complemento de outras medidas [8].

A crítica mais séria é ao método de pontuação. Lineberry, Kreiter e Bordage reanalisaram em 2013 um teste de 50 itens aplicado a 85 residentes e 16 especialistas, com alfa de 0,76, e concluíram que a pontuação agregada não pode ser recomendada [9]. No conjunto de dados, um candidato que marcasse o ponto neutro da escala em todos os itens teria 59,5% de crédito, mais do que a média dos examinados (49,2%), porque a escala dá mais crédito esperado às respostas do meio do que às extremas. Quando os autores recodificaram as respostas como se os examinados tivessem sido orientados a evitar os dois extremos da escala, a média subiu para 60,8%, um efeito de 1,07 desvio padrão. Os autores afirmam também que as alegações de confiabilidade aceitável são prematuras, porque os estudos ignoram o erro que vem da troca de painel e do reteste, e propõem uma escala de três pontos com gabarito apoiado em consenso e em evidência [9].

O painel muda a nota. Num estudo de 2020 em escolas médicas francesas, um teste de 30 itens feito por 985 estudantes do quinto ano, dos quais 935 entraram na análise, foi pontuado por painéis de residentes, de médicos com pouca experiência e de médicos experientes; as medianas diferiram de forma significativa entre painéis, com diferenças pequenas, e o alfa ficou entre 0,43 e 0,53 [10]. O teste era opcional e sem consequência para o estudante.

O teste já foi usado em prova de alto risco. Duggan e Charlin relataram em 2012 uma prova somativa do quinto ano na Universidade de Adelaide, na Austrália, com 51 casos, 158 perguntas e três horas de duração, pontuada por sete painéis de 10 a 16 especialistas [11]. Das 832 perguntas escritas, só 436 (52%) foram consideradas aptas. O alfa foi de 0,62 nos 132 estudantes e subiu para 0,76 num novo cálculo sem 40 itens de correlação negativa com o total, sem mudar o número de reprovados. A nota de corte, fixada em quatro desvios padrão abaixo da média dos especialistas, reprovou quatro estudantes (3%), e os autores descrevem essa escolha como, no fim, arbitrária. A correlação com a prova de múltipla escolha foi de 0,5 e com o exame por estações, de 0,41 [11]. A conclusão deles é que o teste pode ser útil numa avaliação somativa multidisciplinar, desde que se invista em formação de docentes e estudantes e na produção das perguntas.

Caso simulado em tela com conduta registrada

No caso simulado em tela, o estudante conduz o atendimento de um paciente virtual: pergunta, examina, pede exames e prescreve, em texto livre ou em listas amplas, sem as quatro ou cinco alternativas de uma questão de múltipla escolha, e cada ação fica registrada e pontuada. O formato da resposta varia de um programa para outro.

A série mais longa vem de Israel. Na Faculdade de Medicina do Technion, Oliven e colaboradores aplicaram, de 2015 a 2019, uma prova com cinco casos de paciente virtual a 586 estudantes do quarto ano, ao fim do estágio de clínica médica. O estudante escrevia perguntas em texto livre e pedia exame físico, exames laboratoriais, imagem e tratamento, os exames a partir de listas semelhantes às dos sistemas de pedido dos hospitais; cada caso levava de 25 a 45 minutos, e a nota saía automaticamente ao fim da prova [12]. O alfa médio foi de 0,86. O sistema dava pontuação negativa a condutas inseguras, como prescrever um fármaco ao qual o paciente era alérgico. A nota correlacionou-se com a da prova de múltipla escolha (r de 0,452) e de forma mínima com a da prova oral à beira do leito (r de 0,101). Com nota de corte de 70, a prova reprovou 17 estudantes (3%), contra um na prova oral [12]. Os autores leem as correlações como sinal de que as duas provas medem habilidades diferentes, e registram que o paciente virtual não avalia exame físico real nem comunicação, e que o estudante precisa praticar com o sistema antes da prova [12]. Num estudo anterior da mesma escola, com 262 estudantes de 2008 a 2010, cinco casos em tela tiveram alfa de 0,82 a 0,89 por ano, contra 0,65 a 0,74 de cinco estações do exame por estações convencional, e as duas notas se correlacionaram entre 0,65 e 0,71 [13]. A comparação com o exame por estações e o que esses números significam para quem monta um está no guia sobre como montar um OSCE com estações de simulação.

O caso simulado em computador também tem evidência de extrapolação. Na parte de casos do Step 3, o médico conduz uma série de pacientes virtuais em atendimento dinâmico e interativo, e a parte é desenhada para avaliar a abordagem de manejo, com diagnóstico provisório, tratamento e monitoramento [4]. No estudo de Cuddy e colaboradores, cada desvio padrão a mais nessa parte se associou a chance 11% menor de punição disciplinar, num modelo que incluía a nota de múltipla escolha, e os autores concluem que ela traz informação própria, além da que a múltipla escolha oferece [4]. É uma associação observada em médicos já licenciados e não prova que a nota cause o cuidado melhor.

A forma de apresentar o paciente também muda a nota. Fink e colaboradores, em 2021, aplicaram a 86 estudantes de medicina alemães três casos com paciente simulado por ator e três com paciente virtual, no qual as perguntas de anamnese eram escolhidas num menu de até 69 opções. A acurácia diagnóstica média foi de 0,51 com o ator e de 0,41 com o paciente virtual. Em análise exploratória, a qualidade da coleta de dados foi maior com o paciente virtual, e só nele essa qualidade se correlacionou com o acerto do diagnóstico [14]. Os autores avisam que o formato virtual pode produzir notas de acurácia menores, com efeito sobre a nota do estudante, e não descartam que a diferença venha de apoio adicional dos atores: a avaliação com ator pode superestimar o desempenho, e a com paciente virtual, subestimá-lo [14]. A acurácia foi pontuada por um único avaliador, sem estimativa de confiabilidade.

Na revisão de 2019, as avaliações em ambiente clínico simulado, grupo que reúne o exame por estações e a simulação com tecnologia, de manequins de alta fidelidade a avatares de paciente virtual, aparecem como razoavelmente fiéis à prática clínica e capazes de captar várias etapas do raciocínio; o principal problema prático é o custo de desenvolver e aplicar, e a simulação com tecnologia é usada sobretudo em avaliação formativa [2].

Prova oral estruturada

A prova oral alcança etapas que as provas escritas não alcançam, sobretudo a justificativa do diagnóstico, em que teve 1,9 na Figura 1 [2]. O ponto fraco é a confiabilidade. Na tabela de van der Vleuten e Schuwirth, a prova oral tem 0,50 com uma hora e 0,82 com quatro [3]. Na série israelense, a prova oral à beira do leito tinha um examinador e um paciente por estudante, e os autores lembram que esse formato tem confiabilidade baixa conhecida [12].

A prova oral estruturada, com perguntas definidas antes e critério de pontuação comum, tem números melhores. A revisão sistemática de Abuzied e Nabag, de 2023, incluiu 24 estudos sobre esse formato [15]. Num estudo incluído, o alfa foi de 0,80 na prova estruturada e de 0,50 na tradicional; em outros dois, de 0,75 e 0,79. Um quarto estudo registra coeficiente de 0,7 a 0,8 com pontuação estruturada, contra 0,3 a 0,4 sem ela, e a correlação entre pares de examinadores ficou entre 0,78 e 0,91 em um dos estudos. A aceitação dos estudantes, a única medida combinada, foi de 79,8% em 12 estudos, com heterogeneidade alta [15]. Poucos estudos relataram validade e confiabilidade de forma sistemática, o que impediu calcular efeito combinado para esses desfechos, segundo os autores.

Quanto confiar na nota de cada instrumento

Faixa de consistência interna relatada para cada instrumento nos estudos citados Alfa de Cronbach. Concordância de scripts, cinco estudos, de 30 a 158 itens: 0,43, 0,53, 0,62, 0,64, 0,76 e 0,84. Aspectos-chave, dois estudos, de 12 a 21 casos: 0,53 e 0,83. Caso simulado em tela, dois estudos com cinco casos por prova: 0,82, 0,85, 0,86 e 0,89. Prova oral estruturada, três estudos de uma revisão: 0,75, 0,79 e 0,80. Prova oral tradicional, um estudo da mesma revisão: 0,50. Uma linha marca 0,80, valor que costuma ser tomado como mínimo aceitável. 0,4 0,5 0,6 0,7 0,8 0,9 1,0 Alfa de Cronbach relatado em cada estudo0,80, mínimo usual Concordância de scriptsAspectos-chaveCaso simulado em telaProva oral estruturadaProva oral tradicional 5 estudos, de 30 a 158 itens2 estudos, de 12 a 21 casos2 estudos, 5 casos por prova3 estudos de uma revisão1 estudo da mesma revisão 0,430,840,530,830,820,890,750,800,50
Figura 2. Alfa de Cronbach relatado nos estudos citados, um círculo por valor da prova como foi aplicada, com os participantes que a concluíram; recálculos depois de retirar itens ou casos ficam de fora [6, 7, 9, 10, 11, 12, 13, 15, 16, 17]. A faixa vai do menor ao maior valor de cada instrumento. Os estudos diferem em população, tamanho da prova e finalidade, e o alfa mede só a concordância entre itens da mesma prova, sem o erro que vem da troca de painel, de examinador ou de casos; a figura dá ordem de grandeza, e não uma classificação. A múltipla escolha fica de fora porque os estudos citados não relatam alfa de uma prova só com esse formato; na compilação de 2005 ela teve 0,62 com uma hora de prova [3].

Na Figura 2, o teste de concordância de scripts vai de 0,43 a 0,84 conforme o tamanho da prova, o painel e a escola, e os aspectos-chave, de 0,53 a 0,83: nesses dois, a variação dentro do instrumento supera a diferença entre instrumentos. A prova com casos em tela ficou acima de 0,80 nos dois estudos, ambos de uma única escola israelense com o mesmo sistema [12, 13].

Tabela 1. Os cinco instrumentos, com o tamanho de prova e a confiabilidade relatados nos estudos citados e a evidência disponível para cada uso. Célula vazia: os estudos citados não trazem o dado para esse instrumento.

Instrumento Pontuação Tamanho relatado Confiabilidade relatada Uso formativo Decisão de alto risco
Múltipla escolha com vinheta Gabarito único 1 a 4 horas [3] Coeficiente de 0,62 com 1 hora e 0,93 com 4 horas, em compilação [3] Maior confiabilidade por hora entre as provas escritas [3] Usada em exame de licença, com associação à prática real [4]; alternativas dão pistas [2]
Aspectos-chave Crédito parcial, sem ponto negativo, perda por conduta danosa [5] 11 a 21 casos [6, 7]; 4 horas em exame nacional [5] Alfa de 0,53 a 0,83 [6, 7] Prova formativa de 12 problemas, com aceitação dos estudantes [6] Usada em exame nacional de 4 horas [5]; ligação com desempenho clínico não medida nos estudos [6]
Concordância de scripts Agregada, pelo painel [8] 30 a 158 itens [9, 10, 11, 16, 17]; painel de 15 a 20 [8] Alfa de 0,43 a 0,84 [9, 10, 11, 16, 17] Recomendado pelos proponentes como complemento [8] Usado em prova somativa [11]; pontuação agregada não recomendada pela crítica de 2013 [9]
Caso simulado em tela Automática, pelas ações registradas [12] 5 casos de 25 a 45 minutos [12] Alfa de 0,82 a 0,89 [12, 13] Uso principal da simulação com tecnologia, categoria ampla, na revisão de 2019 [2] Prova com nota de corte ao fim do estágio, com 17 reprovados em 586 [12]; parte de casos do exame de licença associada à prática real [4]; num experimento, acerto diagnóstico menor que com ator e coleta de dados melhor [14]
Prova oral estruturada Perguntas e critérios definidos antes [15] Alfa de 0,75 a 0,80 [15] Aceitação de 79,8% dos estudantes [15] Sem efeito combinado de validade nem de confiabilidade [15]

Entre os estudos citados, nenhum reúne, para um instrumento isolado, evidência nas quatro inferências de Kane. A associação medida entre nota e prática real existe só para a múltipla escolha e o caso simulado em tela, no mesmo exame de licença [4], e os dois estudos de prova com aspectos-chave são pequenos, com 84 e 10 participantes [6, 7].

Quantos itens e casos cada prova precisa ter

A quantidade de casos pesa mais que o formato. Van der Vleuten e Schuwirth concluem que nenhum método é intrinsecamente pouco confiável, que qualquer um pode ser confiável o bastante com amostragem adequada, e que a confiabilidade depende da amostragem, e não da estruturação ou da padronização [3]. Na ordem de grandeza, a múltipla escolha chega a 0,93 com quatro horas [3]; os aspectos-chave, a 0,8 com quatro horas [5] ou 0,79 com oito [3]; o teste de concordância de scripts pede cerca de 25 casos e painel de 15 a 20 especialistas [8]; a prova em tela teve alfa de 0,86 com cinco casos [12].

Esses números são de consistência interna: os alfas dos estudos e, na compilação de 2005, as linhas de múltipla escolha e de aspectos-chave, estimadas em desenho de uma faceta, com itens cruzados com pessoas [3]. Eles já contam a variação entre os itens ou casos da prova. Uma decisão sobre o estudante depende também de quanto a nota mudaria com outro painel, outro examinador ou outra ocasião, conta que raramente aparece nos estudos e que motiva a crítica de 2013 ao teste de concordância de scripts [9].

O que os estudos brasileiros mostram sobre o teste de concordância de scripts

Os dois estudos brasileiros com dados de prova usam o teste de concordância de scripts. Num estudo da Universidade Federal de Goiás publicado em 2016, os 550 estudantes do primeiro ao quinto ano foram convidados, e 159 fizeram um teste de dez casos e 50 itens de clínica médica, em 90 minutos, pontuado por um painel de dez professores voluntários, de um departamento de 42 [16]. Os estudantes da fase clínica tiveram média maior que os da fase pré-clínica (63,4% contra 51,6% do máximo), mas o alfa foi de 0,64, abaixo do esperado pelos autores. A conclusão foi que o instrumento é muito difícil de construir, aplicar e pontuar, e pode ser inviável em unidades com poucos recursos [16].

Num estudo da Universidade Federal de São Paulo publicado em 2010, um teste de geriatria com 13 casos foi respondido por 21 geriatras e 41 estudantes [17]. Os especialistas tiveram nota maior que os estudantes (p < 0,001), e o alfa foi de 0,842 com 104 itens e de 0,882 depois de retirados 43 itens com baixa correlação com o total. A interação entre pessoa e item respondeu pela maior parte da variância, o que os autores atribuem ao uso frequente de experiências educacionais e profissionais anteriores na resolução do teste. Eles concluem que o teste pode ser uma alternativa para avaliar o raciocínio clínico em contextos de incerteza, mas o tratam como método ainda experimental, sem clareza sobre se mede cognição ou desempenho clínico [17].

A revisão integrativa de Ellwanger e Tureck, de 2025, reuniu 122 estudos de avaliação de raciocínio clínico e encontrou o teste de concordância de scripts, o exame por estações e as questões de múltipla escolha como os formatos mais comuns. Sobre o teste de concordância de scripts, registra que ele distingue níveis de formação em vários estudos, teve confiabilidade baixa em outros e correlações fracas com outras provas, e que há indícios de que seja mais útil para ensinar do que para avaliar. Os pacientes virtuais e as simulações em computador aparecem em menos estudos. Num deles, uma prova com casos em computador teve boa consistência interna e mediu um construto relacionado ao do exame por estações e diferente do medido em encontros com pacientes reais; num estudo mais antigo, as notas automáticas de raciocínio diagnóstico de um programa desse tipo pareceram não ter validade de critério [18].

O que ainda não se sabe

  • A confiabilidade de cada instrumento quando se troca o painel, o examinador ou a ocasião. Os estudos de escola única citados relatam sobretudo consistência interna, e a crítica de 2013 sustenta que esse número sozinho não basta para afirmar confiabilidade aceitável [9].
  • Se a nota em questões de aspectos-chave ou no teste de concordância de scripts prevê o desempenho do estudante com pacientes reais. Os estudos citados não mediram essa relação [6, 7, 9].
  • A confiabilidade de uma prova com casos em tela em outras escolas. As duas séries com cinco casos vêm da mesma escola israelense, e a revisão brasileira registra boa consistência interna num outro programa [12, 13, 18].
  • A ligação entre a nota de graduação em casos simulados e a prática. A associação com a prática real vem de um exame de licença de médicos formados [4].
  • Quantos casos em tela uma decisão de aprovação pede. Nenhum estudo citado deriva esse número.
  • A confiabilidade desses instrumentos em escolas brasileiras. Os estudos citados trazem dois, ambos com o teste de concordância de scripts [16, 17].

Como escolher o instrumento na sua instituição

Comece pela decisão que a nota vai sustentar. Para retorno formativo, que pede menos evidência que a decisão de aprovação [1], uma prova curta pode bastar se o estudante receber devolutiva sobre cada decisão que tomou no caso, lembrando que, com uma hora de prova, nenhum formato da compilação de 2005 chegou a 0,80 [3]. O guia sobre como conduzir o debriefing depois da simulação reúne o que as revisões compararam sobre essa conversa. Para aprovação ou progressão, as revisões citadas apontam o programa de avaliação, e não uma prova isolada, como base da decisão [2, 3]. Some casos ao longo do período, combine instrumentos que alcancem etapas diferentes do raciocínio (Figura 1) e registre antes da prova como a nota será usada [1].

Escolha o instrumento pela etapa que precisa medir. Para diagnóstico principal e conduta com muitos itens por hora, a múltipla escolha com vinheta tem o melhor rendimento entre as provas escritas, com o cuidado de não deixar a resposta sugerida nas alternativas [2, 3]. Para as decisões críticas de um caso, com punição explícita da conduta perigosa, os aspectos-chave têm regra de pontuação descrita, mas pedem horas de prova [5]. Para a sequência de coleta de dados, exames e conduta, o caso simulado em tela registra cada ação e pontua automaticamente, sem depender do julgamento de um examinador [12]. Para a justificativa do diagnóstico, a prova oral estruturada [15]. O teste de concordância de scripts pede painel grande, produção de muitas perguntas e cuidado com a pontuação agregada; se for usado para nota, convém testar a escala de três pontos proposta na crítica de 2013 [9].

Depois da primeira aplicação, calcule a confiabilidade na própria turma, examine os itens de correlação baixa antes de retirá-los e confira se a lista de reprovados muda com a regra de corte. Retirar itens melhora o alfa, mas o guia do teste de concordância de scripts avisa que isso pode comprometer a cobertura do conteúdo [8]. Quando a nota apontar um estudante com dificuldade, o uso de casos simulados para diagnosticar a dificuldade e planejar a remediação está no guia sobre como identificar e apoiar o estudante de medicina com dificuldade.

Fovea™ é um simulador clínico em tela em que o estado do paciente evolui durante a sessão conforme as decisões do estudante. Na avaliação da tomada de decisão clínica, o docente recebe relatório por aluno e por turma com as decisões de cada estudante no caso, da pergunta feita ao exame pedido e à conduta adotada, o que permite somar casos ao longo do período e dar devolutiva sobre cada decisão. Os estudos citados avaliaram outros programas. Para ver o simulador com a sua equipe, solicite uma demonstração.

Referências

  1. Cook DA, Hatala R. Validation of educational assessments: a primer for simulation and beyond. Adv Simul (Lond). 2016;1:31. doi:10.1186/s41077-016-0033-y
  2. Daniel M, Rencic J, Durning SJ, Holmboe E, Santen SA, Lang V, et al. Clinical reasoning assessment methods: a scoping review and practical guidance. Acad Med. 2019;94(6):902-912. doi:10.1097/ACM.0000000000002618
  3. van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ. 2005;39(3):309-317. doi:10.1111/j.1365-2929.2005.02094.x
  4. Cuddy MM, Liu C, Ouyang W, Barone MA, Young A, Johnson DA. An examination of the associations among USMLE Step 3 scores and the likelihood of disciplinary action in practice. Acad Med. 2022;97(10):1504-1510. doi:10.1097/ACM.0000000000004775
  5. Farmer EA, Page G. A practical guide to assessing clinical decision-making skills using the key features approach. Med Educ. 2005;39(12):1188-1194. doi:10.1111/j.1365-2929.2005.02339.x
  6. Grumer M, Brüstle P, Lambeck J, Biller S, Brich J. Validation and perception of a key feature problem examination in neurology. PLoS One. 2019;14(10):e0224131. doi:10.1371/journal.pone.0224131
  7. McNamara LM, Scott KM, Boyd RN, Farmer EA, Webb AE, Novak IE. Constructing validity evidence from a pilot key-features assessment of clinical decision-making in cerebral palsy diagnosis: application of Kane's validity framework to implementation evaluations. BMC Med Educ. 2023;23:668. doi:10.1186/s12909-023-04631-4
  8. Lubarsky S, Dory V, Duggan P, Gagnon R, Charlin B. Script concordance testing: from theory to practice: AMEE Guide No. 75. Med Teach. 2013;35(3):184-193. doi:10.3109/0142159X.2013.760036
  9. Lineberry M, Kreiter CD, Bordage G. Threats to validity in the use and interpretation of script concordance test scores. Med Educ. 2013;47(12):1175-1183. doi:10.1111/medu.12283
  10. Peyrony O, Hutin A, Truchot J, Borie R, Calvet D, Albaladejo A, et al. Impact of panelists' experience on script concordance test scores of medical students. BMC Med Educ. 2020;20:313. doi:10.1186/s12909-020-02243-w
  11. Duggan P, Charlin B. Summative assessment of 5th year medical students' clinical reasoning by script concordance test: requirements and challenges. BMC Med Educ. 2012;12:29. doi:10.1186/1472-6920-12-29
  12. Oliven A, Nave R, Baruch A. Long experience with a web-based, interactive, conversational virtual patient case simulation for medical students' evaluation: comparison with oral examination. Med Educ Online. 2021;26(1):1946896. doi:10.1080/10872981.2021.1946896
  13. Oliven A, Nave R, Gilad D, Barch A. Implementation of a web-based interactive virtual patient case simulation as a training and assessment tool for medical students. Stud Health Technol Inform. 2011;169:233-237. doi:10.3233/978-1-60750-806-9-233
  14. Fink MC, Reitmeier V, Stadler M, Siebeck M, Fischer F, Fischer MR. Assessment of diagnostic competences with standardized patients versus virtual patients: experimental study in the context of history taking. J Med Internet Res. 2021;23(3):e21196. doi:10.2196/21196
  15. Abuzied AIH, Nabag WOM. Structured viva validity, reliability, and acceptability as an assessment tool in health professions education: a systematic review and meta-analysis. BMC Med Educ. 2023;23:531. doi:10.1186/s12909-023-04524-6
  16. Roberti A, Roberti MRF, Pereira ERS, Costa NMSC. Script concordance test in medical schools in Brazil: possibilities and limitations. Sao Paulo Med J. 2016;134(2):116-120. doi:10.1590/1516-3180.2015.00100108
  17. Piovezan RD, Custódio O, Cendoroglo MS, Batista NA. Teste de concordância de scripts: uma proposta para a avaliação do raciocínio clínico em contextos de incerteza. Rev Bras Educ Med. 2010;34(1):5-12. doi:10.1590/S0100-55022010000100002
  18. Ellwanger MP, Tureck F. Avaliação do raciocínio clínico de médicos e estudantes de Medicina: uma revisão integrativa. Rev Bras Educ Med. 2025;49(3):e087. doi:10.1590/1981-5271v49.3-2024-0089

Continue lendo

Acessibilidade

Ajuste a leitura ao seu conforto.

Tamanho do texto