Ir para o conteúdo

Guia de referência

O treino com simulação melhora o cuidado ao paciente?

Por Caio Hailton

Publicado em . Última revisão em . Leitura de 21 minutos.

Médica de jaleco trabalha diante de um computador em uma sala com pouca luz

Resposta direta

Na maior meta-análise sobre o tema, com 609 estudos, o treino com simulação comparado a nenhuma intervenção teve efeito que os autores classificam como grande em conhecimento, em habilidades e em comportamento com pacientes, e efeito moderado sobre o paciente, de 0,50 desvio padrão em 32 estudos; nos 14 ensaios randomizados o valor foi menor, 0,37. Os desfechos de paciente eram sucesso do procedimento, desconforto, complicações e sobrevida. Outra meta-análise, só de programas em que o aprendiz treina até atingir um padrão de domínio, estimou 0,73 em 11 estudos, e a comparação direta com o treino sem esse critério não alcançou significância. A meta-análise maior excluiu o paciente virtual em computador comum. Para a simulação em tela, as sínteses usaram como comparador o ensino tradicional: o paciente virtual teve efeito de 0,90 em habilidades e, em conhecimento, nenhuma diferença detectada, com intervalo largo e sem teste de equivalência, e a realidade virtual, na maioria não imersiva, teve 0,44 em conhecimento e 1,12 em habilidades cognitivas. Um ensaio relatou comportamento profissional diante de pacientes reais, com resultado favorável ao paciente virtual, e nenhum teve desfecho de paciente como medida principal. A escola pode prometer ganho de conhecimento e de habilidade, deve medir o comportamento no serviço quando puder, e só deve prometer desfecho de paciente onde ele foi medido.

Para quem este texto vale

Para quem dirige ou coordena curso de medicina, residência ou laboratório de simulação e precisa dizer, ao pedir verba ou ao prestar contas, que resultado o treino com simulação entrega. As meta-análises citadas reúnem estudantes, residentes, médicos e profissionais de enfermagem, e a maior delas traz 324 estudos com médicos em pós-graduação e 156 com estudantes de medicina [1]. O texto não se propõe a decidir entre formatos de simulação e não trata de custo.

Tamanho de efeito, neste texto, é a diferença em unidades de desvio padrão entre dois grupos, ou entre o antes e o depois do mesmo grupo. Zero indica nenhuma diferença, e a meta-análise de 2011 segue a convenção de chamar de moderado o efeito entre 0,5 e 0,8 e de grande o de 0,8 ou mais [1]. O intervalo de confiança de 95% (IC 95%) é a faixa de valores compatíveis com os dados: se inclui o zero, o estudo não permite excluir que não haja diferença. Meta-análise é o estudo que junta os resultados de vários outros sobre a mesma pergunta, e o I² mede quanto esses estudos discordam entre si, de 0% a 100%. Ensaio randomizado é o estudo em que um sorteio decide quem recebe o treino.

Os quatro níveis de desfecho de um treino com simulação

A pergunta “a simulação funciona?” tem quatro respostas possíveis, uma para cada nível do modelo de Kirkpatrick, que as revisões da área usam para classificar o que foi medido. O nível 1 é a reação: como o participante percebe a atividade. O nível 2 é a aprendizagem: conhecimento, habilidades e atitudes medidos fora do ambiente clínico. O nível 3 é o comportamento: o que muda na conduta do profissional no trabalho. O nível 4 são os resultados, que na saúde significam o efeito sobre o paciente [2]. O padrão de 2021 da International Nursing Association for Clinical Simulation and Learning (INACSL) sobre objetivos e resultados usa a mesma escala e descreve o nível 3 como o grau em que o participante aplica no trabalho o que aprendeu no treino [3].

A pesquisa translacional dá outros nomes aos mesmos degraus: T1 é o resultado medido no laboratório de ensino, T2 a melhora das práticas de cuidado ao paciente e T3 a melhora da saúde de pacientes e populações [4].

A pesquisa se concentra nos primeiros degraus. A maior meta-análise sobre o tema, publicada por Cook e colaboradores em 2011, reuniu 609 estudos e 35.226 participantes que compararam o treino com simulação a nenhuma intervenção [1]. Medidas de processo das habilidades, como a nota global de desempenho num teste em simulador, apareceram em 426 estudos. Conhecimento apareceu em 118. Outras medidas de comportamento durante o cuidado a pacientes, que não o tempo, como a nota de competência dada por um instrutor, apareceram em 50. O efeito direto sobre o paciente foi medido em 32 [1].

Número de estudos que mediram cada nível de desfecho na meta-análise de 2011 Pirâmide de quatro degraus, com largura proporcional ao número de estudos. Na base, habilidade em ambiente de teste, medida de processo: 426 estudos. Acima, conhecimento: 118 estudos. Depois, comportamento com pacientes, medida de processo: 50 estudos. No topo, efeito no paciente: 32 estudos. Largura proporcional ao número de estudos Efeito no pacienteComportamento com pacientesConhecimentoHabilidade em ambiente de teste 32 estudos50 estudos (medida de processo)118 estudos426 estudos (medida de processo)
Figura 1. Quantos dos 609 estudos da meta-análise de 2011 mediram cada desfecho [1]. Um estudo pode ter medido mais de um desfecho, e por isso os degraus não somam 609. Em habilidade e em comportamento, o degrau mostra a medida mais frequente, a de processo. Ficaram fora do desenho as medidas de tempo de habilidade (210 estudos), de produto da tarefa (54) e de tempo de comportamento (20). A figura conta estudos, sem tamanho de efeito.

O que as meta-análises mediram em cada nível de desfecho

Comparado a nenhuma intervenção, o treino com simulação teve efeito que os autores classificam como grande em conhecimento, em habilidades e em comportamento com pacientes, e moderado no efeito sobre o paciente [1]. A tabela 1 reúne os números de três sínteses: a de 2011, a de 2013 sobre aprendizagem para o domínio e a de 2019 sobre paciente virtual em computador.

Tabela 1. Tamanho de efeito por nível de desfecho em três meta-análises, com IC 95% e número de estudos quando a fonte informa [1, 5, 6]. Célula vazia indica dado não disponível na fonte. As colunas têm comparadores e conjuntos de estudos diferentes e não se comparam entre si.

Nível de desfecho Simulação com tecnologia contra nenhuma intervenção, 2011 Mesma comparação, só ensaios randomizados Aprendizagem para o domínio contra nenhuma intervenção, 2013 Paciente virtual em computador contra ensino tradicional, 2019
Conhecimento 1,20 (1,04 a 1,35), 118 estudos 0,63, 16 ensaios 0,11 (−0,17 a 0,39), 927 participantes
Habilidade em ambiente de teste, tempo 1,14 (1,03 a 1,25), 210 estudos 0,75, 47 ensaios
Habilidade em ambiente de teste, processo 1,09 (1,03 a 1,16), 426 estudos 0,98, 87 ensaios 1,29 (1,08 a 1,50), 41 estudos, habilidades em conjunto 0,90 (0,49 a 1,32), 897 participantes, habilidades em conjunto
Habilidade em ambiente de teste, produto 1,18 (0,98 a 1,37), 54 estudos 0,76, 15 ensaios
Comportamento com pacientes, tempo 0,79 (0,47 a 1,10), 20 estudos 1,01, 13 ensaios
Comportamento com pacientes, processo 0,81 (0,66 a 0,96), 50 estudos 0,85, 30 ensaios
Efeito no paciente 0,50 (0,34 a 0,66), 32 estudos 0,37, 14 ensaios 0,73 (0,36 a 1,10), 11 estudos

Os desfechos de paciente da meta-análise de 2011 incluíam sucesso do procedimento, desconforto do paciente, taxa de complicações e sobrevida [1]. Dos 32 estudos, dois tiveram tamanho de efeito negativo, e a discordância entre estudos foi alta, com I² de 67%. Nas habilidades, o I² ficou entre 84% e 89%, e em conhecimento chegou a 96% [1]. Com essa discordância, o número combinado indica a direção geral e não prevê o que uma escola em particular vai obter.

A coluna da aprendizagem para o domínio traz 0,73 no efeito sobre o paciente, em 11 estudos com 537 participantes, e I² de 55% [5]. Esse valor e o 0,50 de 2011 vêm de conjuntos diferentes de estudos, têm intervalos de confiança que se sobrepõem e não medem a vantagem do critério de domínio. A comparação direta entre treino com e sem esse critério está na seção sobre o desenho do treino.

Como ler o tamanho de efeito de um estudo de simulação

Quatro perguntas mudam o que um tamanho de efeito quer dizer. A primeira é o comparador. Os números da meta-análise de 2011 comparam o treino com nenhuma intervenção, e dois terços dos estudos eram de grupo único, com medida antes e depois: 405 dos 609. Esse desenho responde se treinar é melhor que não treinar. Os próprios autores questionam a necessidade de novos estudos com essa comparação e pedem comparações entre desenhos diferentes de simulação [1]. Uma meta-análise de 2023 usou outro comparador: reuniu só ensaios randomizados, publicados de 2011 a 2021, que compararam manequins de alta fidelidade, realidade virtual e pacientes virtuais com ensino tradicional equivalente sobre o mesmo tema. O efeito geral foi de 0,80 (IC 95% de 0,60 a 1,00), com I² de 84,6%, em 59 estudos. As medidas previstas eram desempenho avaliado por especialistas, desfecho de saúde do paciente, provas escritas e tempo, e a análise considerou só os resultados colhidos logo depois do treino. Os autores registram que faltou poder estatístico para comparações definitivas e pedem estudos sobre o efeito direto em pacientes [7].

A segunda pergunta é se houve sorteio. Na meta-análise de 2011, 137 dos 609 estudos eram randomizados. A figura 2 põe lado a lado, para cada desfecho, o efeito de todos os estudos e o efeito só dos ensaios randomizados [1].

Tamanho de efeito da simulação contra nenhuma intervenção: todos os estudos e só os ensaios randomizados Sete desfechos, cada um com dois pontos ligados por uma linha. Conhecimento: 1,20 em todos os estudos e 0,63 nos randomizados. Habilidade, tempo: 1,14 e 0,75. Habilidade, processo: 1,09 e 0,98. Habilidade, produto: 1,18 e 0,76. Comportamento, tempo: 0,79 e 1,01. Comportamento, processo: 0,81 e 0,85. Efeito no paciente: 0,50 e 0,37. 00,50,81,0 Tamanho de efeito, em desvios padrão Todos os estudosSó ensaios randomizados ConhecimentoHabilidade, tempoHabilidade, processoHabilidade, produtoComportamento, tempoComportamento, processoEfeito no paciente 1,200,63 1,140,75 1,090,98 1,180,76 0,791,01 0,810,85 0,500,37
Figura 2. Efeito combinado da simulação contra nenhuma intervenção, por desfecho, em todos os estudos (quadrado cheio) e só nos ensaios randomizados (quadrado vazado) [1]. A fonte só informa intervalo de confiança para o conjunto de todos os estudos, e a figura não os desenha. As linhas verticais em 0,5 e 0,8 marcam os limites convencionais de efeito moderado e grande.

Em conhecimento, o efeito cai de 1,20 para 0,63 quando ficam só os 16 ensaios randomizados. No efeito sobre o paciente, cai de 0,50 para 0,37 nos 14 ensaios. Nas duas medidas de comportamento, o valor dos ensaios randomizados é maior. Diante de um efeito de simulação, pergunte quantos dos estudos tinham sorteio e qual foi o resultado só deles.

A terceira pergunta é onde o desfecho foi medido. Habilidade, nas meta-análises, é desempenho em ambiente de teste. Na síntese de 2013, as habilidades eram em geral avaliadas no mesmo simulador usado no treino [5]. O que interessa ao serviço é o degrau seguinte, o desempenho com pacientes.

A quarta pergunta é quanto os estudos discordam entre si e quais deixaram de ser publicados. Além do I² alto, a meta-análise de 2011 encontrou sinal de possível viés de publicação em conhecimento e nas três medidas de habilidade, e gráfico de funil simétrico em comportamento e no efeito sobre o paciente. Corrigidos pelo método trim-and-fill, os efeitos ficaram menores e ainda grandes, 0,86 em conhecimento e de 0,94 a 1,10 nas habilidades, e os autores avaliam que o viés de publicação dificilmente altera suas conclusões. Os avaliadores desconheciam o grupo do participante em 55% das medidas de desfecho [1]. Os autores concluem que as inferências ficam limitadas pela qualidade dos estudos disponíveis.

De que habilidades e de que simuladores vem a evidência de desfecho no paciente

Os desfechos de paciente reunidos nas meta-análises são, em boa parte, resultados de procedimentos, como sucesso e complicações. No conjunto dos 609 estudos de 2011, o tema mais frequente foi a cirurgia minimamente invasiva, com 158, seguida de reanimação e trauma, com 87, e as tecnologias iam de simuladores de realidade virtual em computador a manequins, modelos plásticos, animais e cadáveres [1]. Na síntese de 2013 sobre aprendizagem para o domínio, cirurgia minimamente invasiva respondeu por 40 dos 82 estudos, e os desfechos de paciente eram sucesso do procedimento, satisfação do paciente e complicações [5].

A meta-análise de McGaghie e colaboradores sobre prática deliberada, de 2011, tem o mesmo perfil: os 14 estudos tratavam de suporte avançado de vida, cirurgia laparoscópica, exame cardiológico à beira do leito, inserção de cateter venoso central e de hemodiálise, ausculta cardíaca e toracocentese. Os autores escrevem que ela trata principalmente de habilidades procedimentais e que não se sabe se o modelo serve a outras habilidades clínicas [8].

Um dos programas relatados pela revisão de 2011 sobre desfechos translacionais é o de inserção de cateter venoso central em que residentes treinavam em simulador até atingir um padrão de domínio. Num estudo observacional de antes e depois, a taxa de infecção de corrente sanguínea associada a cateter na unidade de terapia intensiva atendida por esses residentes foi de 0,50 por 1.000 cateteres-dia, contra 3,20 na mesma unidade antes do programa e 5,03 numa unidade de comparação do mesmo hospital [4]. A revisão avisa que seus 15 estudos são uma seleção representativa e aponta o que esses programas têm em comum: aprendizagem para o domínio, prática deliberada e pesquisa temática mantida por anos [4].

Fora dos procedimentos, a evidência existe e é menor. Uma revisão sistemática de 2014 buscou estudos de treino simulado de habilidades não técnicas em situações de crise, como comunicação e liderança, que tivessem medido os níveis 3 ou 4 de Kirkpatrick. De 5.105 registros triados, entraram nove estudos: quatro chegaram, no máximo, à transferência para o ambiente clínico, e cinco ao desfecho de paciente. Nos quatro primeiros, o treino foi efetivo em três, e num destes o ganho não se mantinha depois de um mês. Dos outros cinco, um relatou melhora de 37% no desfecho perinatal no hospital que recebeu o treino com simulação, sem mudança significativa nos dois hospitais de comparação, e outro, queda significativa da taxa de complicações. Um terceiro, coorte de um único hospital sem grupo de controle, relatou aumento da sobrevida em parada cardíaca pediátrica de 33% para 50% em um ano, e dois acharam melhora na eficiência do cuidado, sem efeito sobre a mortalidade. Os revisores concluem, com base em poucos estudos, que as habilidades treinadas se transferem ao ambiente clínico e podem se traduzir em melhor desfecho do paciente. Classificaram o risco de viés como intermediário ou alto, não fizeram meta-análise pela variedade de desenhos e não encontraram ensaio randomizado multicêntrico sobre o tema [2].

Uma meta-análise de 2024 sobre treino com simulação de equipes que atendem o acidente vascular cerebral agudo mediu um indicador de processo do hospital: o tempo entre a chegada do paciente e o início do tratamento. Nos 11 estudos, o tempo caiu em média 14,2 minutos depois do treino (IC 95% de 7,7 a 20,6), com I² de 98%. Os estudos da revisão compararam o antes com o depois, só um era randomizado, e em cinco dos 19 estudos incluídos o treino entrou junto com a revisão do protocolo do serviço, o que dificulta separar os dois efeitos. Os autores registram assimetria no gráfico de funil, sinal de viés de publicação. Entre os 19 estudos da síntese qualitativa da revisão, manequins apareceram em cinco, pacientes simulados em quatro e funcionários do hospital no papel de paciente em quatro, e seis não informaram a modalidade. Os desfechos secundários eram do aprendiz, como conhecimento e comunicação [9].

O que foi medido para a simulação em tela

O número de 0,50 no efeito sobre o paciente não fala da simulação em tela. A meta-análise de 2011 excluiu por desenho os pacientes virtuais que rodam em computador comum, que já tinham revisão própria, e os pacientes representados por atores [1]. Neste texto, simulação em tela é o paciente virtual em computador e a realidade virtual vista em tela; os simuladores de realidade virtual que pedem equipamento além do computador comum ficam no grupo da seção anterior.

As meta-análises dedicadas à tela usaram outro comparador, o ensino tradicional. A de Kononowicz e colaboradores, de 2019, reuniu 51 ensaios randomizados e 4.696 participantes sobre pacientes virtuais, e deixou de fora a comparação com nenhuma intervenção porque meta-análises anteriores já tinham mostrado, nesse caso, efeito grande a favor do paciente virtual. Contra o ensino tradicional, o efeito foi de 0,11 em conhecimento (IC 95% de −0,17 a 0,39) e de 0,90 em habilidades (IC 95% de 0,49 a 1,32). Os autores concluem, com evidência de qualidade baixa a moderada e resultados mistos, que o paciente virtual melhora habilidades mais que o ensino tradicional e conhecimento pelo menos tanto quanto, com benefício para o raciocínio clínico, e avisam que o resultado não justifica reduzir o ensino à beira do leito [6].

As habilidades foram avaliadas em manequins em nove estudos, com pacientes simulados em oito, em tarefa escrita em seis e com pacientes reais em um. Os autores registram dois ensaios em que os participantes foram observados com pacientes reais. Num deles, estudantes de odontologia do primeiro ano colheram a história clínica, e a nota de comportamento profissional foi maior no grupo que teve um caso virtual a mais (P < 0,01), sem medida da perspectiva do paciente. No outro, a nota com pacientes entrou numa avaliação composta e não foi relatada em separado. Nenhum ensaio tinha o desfecho do paciente como medida principal [6].

A revisão do mesmo grupo sobre realidade virtual, também de 2019, incluiu 31 ensaios e 2.407 participantes, a maioria sobre realidade virtual não imersiva. Contra o ensino tradicional, o efeito foi de 0,44 em conhecimento (IC 95% de 0,18 a 0,69, oito estudos) e de 1,12 em habilidades cognitivas (IC 95% de 0,81 a 1,43, quatro estudos e 235 participantes), com certeza moderada da evidência nos dois casos. Nenhum estudo relatou desfecho de paciente ou mudança de comportamento [10]. Na meta-análise de 2023, os pacientes virtuais tiveram a maior estimativa entre as modalidades, 1,28 (IC 95% de 0,46 a 2,10), calculada a partir de sete tamanhos de efeito. Os autores pedem cautela com esse valor, pela amostra pequena e pela qualidade abaixo da média dos estudos [7].

Para a simulação em tela, portanto, as sínteses têm medidas de conhecimento e de habilidade, várias delas colhidas fora da tela, em manequim ou com paciente simulado, um ensaio com medida de comportamento diante de pacientes reais, favorável ao paciente virtual, e nenhum ensaio com desfecho de paciente como medida principal. Sobre o efeito no paciente, a pergunta segue sem dado nos dois sentidos. A comparação direta da tela com o manequim e com a pessoa real está no guia Simulação virtual ensina tanto quanto o manequim?, e o desenho do caso em tela para o raciocínio clínico, em Como ensinar e avaliar raciocínio clínico com casos simulados.

Prática deliberada e aprendizagem para o domínio no desenho do treino

Dois desenhos de treino aparecem nos programas que chegaram ao desfecho no paciente: a prática deliberada e a aprendizagem para o domínio [4]. Prática deliberada, na descrição de McGaghie e colaboradores, reúne objetivos bem definidos, repetição concentrada, medida rigorosa do desempenho, feedback informativo, correção de erros e avanço para a tarefa seguinte [8]. Aprendizagem para o domínio (em inglês, mastery learning) é o modelo em que o aprendiz só avança depois de atingir um nível de proficiência definido para cada unidade, e o tempo de treino varia de pessoa para pessoa [5].

A meta-análise de 2011 sobre prática deliberada reuniu 14 estudos, com 633 aprendizes, publicados de 1990 a abril de 2010, todos com aquisição de habilidade como desfecho. Dez compararam a simulação com esse desenho à educação clínica tradicional e quatro, ao desempenho dos mesmos aprendizes antes do treino. O resultado combinado foi de 0,71 (IC 95% de 0,65 a 0,76) a favor da simulação, medido em habilidade [8]. Esse número é uma correlação de tamanho de efeito, fora da régua de desvios padrão da tabela 1. Dos dez estudos com grupo de comparação, seis eram randomizados, três eram coortes e um era caso-controle. Os autores apontam como limites o número pequeno de estudos e o viés dos desenhos sem sorteio [8].

A síntese de 2013 sobre aprendizagem para o domínio reuniu 82 estudos e 3.498 participantes. Contra nenhuma intervenção, o efeito foi de 1,29 em habilidades e de 0,73 no paciente [5]. A quem desenha o currículo interessa a outra comparação, entre o treino com critério de domínio e o treino sem ele. Cinco estudos fizeram essa comparação. Nos três que mediram habilidades, o modelo de domínio teve efeito de 1,17 (IC 95% de 0,29 a 2,05), e num deles tomou mais tempo de instrução. Nos três que mediram comportamento e efeito no paciente, o resultado apontou na mesma direção sem alcançar significância: 0,26 (IC 95% de −0,07 a 0,58) [5]. Os autores concluem que evidência limitada sugere superioridade do modelo de domínio, ao preço de mais tempo.

Na meta-análise de 2011, a análise por características do treino aponta na mesma direção, com ressalvas. A aprendizagem para o domínio se associou a efeitos maiores na maioria dos desfechos e a efeito menor nas medidas de produto da tarefa. O treino distribuído por mais de um dia se associou a efeito maior em vários desfechos, entre eles o efeito sobre o paciente. As intervenções com muito feedback tiveram com frequência efeitos menores, o que os autores atribuem a possível confusão entre variáveis. Eles avisam que as análises de subgrupo não mostraram interações consistentes e pedem cautela, pelo número de comparações feitas [1].

O feedback depois do cenário é assunto do guia Debriefing: como conduzir a conversa depois da simulação, que traz o que as meta-análises mediram sobre roteiro, vídeo e facilitador. O tempo a mais que o critério de domínio exige entra na conta do laboratório, e o guia Quanto custa uma hora de laboratório de simulação? mostra um estudo que calculou o custo por estudante de um treino até o domínio.

O que os padrões e a pesquisa brasileira dizem sobre medir desfecho

Os padrões de boa prática pedem que a escola decida de antemão que nível vai medir. O padrão britânico da Association for Simulated Practice in Healthcare (ASPiH), de 2023, recomenda que avaliação e pesquisa sejam consideradas já no planejamento da atividade, e que uma avaliação completa mapeie os resultados aos níveis de Kirkpatrick ou da ciência translacional e escolha os desfechos mais importantes [11]. O padrão da INACSL estabelece que toda experiência simulada parta de objetivos mensuráveis e que os resultados esperados do aprendiz sejam influenciados por exigências de acreditação, do programa, do currículo ou de necessidades do cuidado ao paciente [3].

No Brasil, a pesquisa publicada mede sobretudo os dois primeiros níveis. Um editorial de 2023 da revista einstein buscou na Web of Science os artigos sobre educação baseada em simulação e encontrou 7.113 no mundo, 168 deles de autores brasileiros. Segundo os autores, muitos estudos brasileiros investigam se os participantes gostaram do treino ou se aprenderam com ele, os níveis 1 e 2 de Kirkpatrick. Eles recomendam medir os níveis 3 e 4, usar a ciência da implementação para entender as barreiras locais e fazer estudos experimentais que comparem estratégias de simulação [12]. As barreiras que inquéritos com escolas já mediram e os indicadores que a ciência da implementação propõe para o primeiro ano de um programa estão no guia Como implantar um programa de simulação, do piloto à rotina.

O que as diretrizes curriculares de 2025 dispõem sobre simulação e prática nos serviços está no guia Quanto da prática clínica pode ser feito em simulação?.

O que ainda não se sabe

  • Se a simulação em tela muda o desfecho do paciente, e quanto muda o comportamento no serviço. Um ensaio de paciente virtual relatou comportamento com pacientes reais, com resultado favorável; nenhum teve desfecho de paciente como medida principal, e os de realidade virtual não relataram uma coisa nem outra [6, 10].
  • Se o treino com critério de domínio melhora o comportamento e o desfecho do paciente mais do que o treino de simulação sem esse critério. Nos três estudos que mediram os dois em conjunto, a diferença não foi significativa (0,26) [5].
  • Se a prática deliberada produz o mesmo resultado em habilidades não procedimentais [8].
  • Quanto do efeito dura. A meta-análise de 2023 avaliou só os resultados medidos logo depois do treino [7].
  • O efeito do treino de equipes sobre a mortalidade, em ensaio randomizado multicêntrico [2].
  • O efeito da simulação em escolas brasileiras, medido em comportamento ou em desfecho de paciente [12].

O que medir e o que prometer ao investir em simulação

Prometa o que foi medido muitas vezes: ganho de conhecimento e de habilidade em ambiente de teste. Esse é o resultado com mais estudos, e ele se mantém, menor, quando ficam só os ensaios randomizados [1]. Meça esse ganho com instrumento definido antes do treino e, de preferência, fora do simulador usado para treinar. O guia Como montar um OSCE com estações de simulação mostra como estruturar essa medida com estações, avaliadores e nota de corte.

Trate o comportamento no serviço como algo a medir antes de prometer. Um caminho viável é escolher um ou dois indicadores que o internato ou a residência já registram, definir a medida antes de começar e comparar turmas, sabendo que esse desenho não separa o efeito do treino de outras diferenças entre as turmas. Os estudos que chegaram aos níveis 3 e 4 mediram dentro do serviço de saúde, e isso pede acordo com ele [2, 4].

Prometa desfecho de paciente só onde ele foi medido e onde a escola consegue medi-lo: em procedimentos, com treino até um padrão de domínio, como nos programas que chegaram a esse desfecho, e com registro do serviço [4, 5]. O efeito combinado é moderado, menor nos ensaios randomizados, vem de poucos estudos e varia muito entre eles [1]. Para raciocínio clínico e comunicação, a promessa sustentável é de aprendizagem. No trabalho em equipe há estudos de transferência ao serviço e de desfecho, com risco de viés intermediário ou alto e sem ensaio multicêntrico, e a promessa de efeito no paciente pede medida própria [2, 9].

No desenho do treino, o critério de domínio e a prática deliberada são as características com algum apoio, em poucos estudos, e as análises de subgrupo da meta-análise de 2011 não mostraram interações consistentes [1, 5, 8]. O critério de domínio pede mais tempo de instrução [5]. O treino distribuído por mais de um dia também se associou a efeito maior [1]. Para a simulação em tela, as sínteses sustentam ganho de habilidade maior que o do ensino tradicional [6, 10]. Em conhecimento, a de realidade virtual mediu ganho de 0,44 [10], e a de pacientes virtuais não detectou diferença, com intervalo que admite vantagem para qualquer dos lados e sem desenho de equivalência ou de não inferioridade [6]. Vale medir esse ganho fora da tela, em manequim ou com paciente simulado, como fizeram vários dos ensaios [6].

Fovea™ é um simulador clínico em tela para o ensino médico, em que o estado do paciente evolui durante a sessão conforme as decisões do estudante. O docente recebe um relatório por aluno e por turma com as decisões de cada estudante no caso, registro que serve à medida de aprendizagem, o nível 2 da escala usada neste texto, e se soma à avaliação feita fora do simulador, como o OSCE. Os estudos citados avaliaram outros programas. Para ver o simulador com a sua equipe, solicite uma demonstração.

Referências

  1. Cook DA, Hatala R, Brydges R, Zendejas B, Szostek JH, Wang AT, et al. Technology-enhanced simulation for health professions education: a systematic review and meta-analysis. JAMA. 2011;306(9):978-988. doi:10.1001/jama.2011.1234
  2. Boet S, Bould MD, Fung L, Qosa H, Perrier L, Tavares W, Reeves S, Tricco AC. Transfer of learning and patient outcome in simulated crisis resource management: a systematic review. Can J Anaesth. 2014;61(6):571-582. doi:10.1007/s12630-014-0143-8
  3. INACSL Standards Committee, Miller C, Deckers C, Jones M, Wells-Beede E, McGee E. Healthcare Simulation Standards of Best Practice: Outcomes and Objectives. Clin Simul Nurs. 2021;58:40-44. doi:10.1016/j.ecns.2021.08.013
  4. McGaghie WC, Draycott TJ, Dunn WF, Lopez CM, Stefanidis D. Evaluating the impact of simulation on translational patient outcomes. Simul Healthc. 2011;6(Suppl):S42-S47. doi:10.1097/SIH.0b013e318222fde9
  5. Cook DA, Brydges R, Zendejas B, Hamstra SJ, Hatala R. Mastery learning for health professionals using technology-enhanced simulation: a systematic review and meta-analysis. Acad Med. 2013;88(8):1178-1186. doi:10.1097/ACM.0b013e31829a365d
  6. Kononowicz AA, Woodham LA, Edelbring S, Stathakarou N, Davies D, Saxena N, Tudor Car L, Carlstedt-Duke J, Car J, Zary N. Virtual Patient Simulations in Health Professions Education: Systematic Review and Meta-Analysis by the Digital Health Education Collaboration. J Med Internet Res. 2019;21(7):e14676. doi:10.2196/14676
  7. Mitchell AA, Ivimey-Cook ER. Technology-enhanced simulation for healthcare professionals: a meta-analysis. Front Med (Lausanne). 2023;10:1149048. doi:10.3389/fmed.2023.1149048
  8. McGaghie WC, Issenberg SB, Cohen ER, Barsuk JH, Wayne DB. Does simulation-based medical education with deliberate practice yield better results than traditional clinical education? A meta-analytic comparative review of the evidence. Acad Med. 2011;86(6):706-711. doi:10.1097/ACM.0b013e318217e119
  9. Aljuwaiser S, Abdel-Fattah AR, Brown C, Kane L, Cooper J, Mostafa A. Evaluating the effects of simulation training on stroke thrombolysis: a systematic review and meta-analysis. Adv Simul (Lond). 2024;9:11. doi:10.1186/s41077-024-00283-6
  10. Kyaw BM, Saxena N, Posadzki P, Vseteckova J, Nikolaou CK, George PP, et al. Virtual Reality for Health Professions Education: Systematic Review and Meta-Analysis by the Digital Health Education Collaboration. J Med Internet Res. 2019;21(1):e12959. doi:10.2196/12959
  11. Diaz-Navarro C, Laws-Chapman C, Moneypenny M, Purva M. The ASPiH Standards 2023: guiding simulation-based practice in health and care. Association for Simulated Practice in Healthcare; 2023. Abrir a fonte
  12. Cecilio-Fernandes D, Peccin MS, Sandars J, Couto TB, Mazzo A. Advancing simulation-based education in Brazil: bridging research and practice for healthcare excellence. Einstein (Sao Paulo). 2023;21(Suppl 3):eEDS3. doi:10.31744/einstein_journal/2023EDS3

Continue lendo

Acessibilidade

Ajuste a leitura ao seu conforto.

Tamanho do texto