Avaliação de utilidade e acurácia de aplicativo móvel no planejamento de artroplastias totais do joelho^☆

RESUMO

Objetivo:

Avaliar a utilidade de aplicativo no planejamento de artroplastias totais do joelho (ATJ), além da acurácia em relação à aferição do ângulo anatômico-mecânico femoral (AAMF), e comparar o tempo dispendido no planejamento de ATJ através da forma manual e do aplicativo.

Métodos:

Uma equipe interdisciplinar das áreas de saúde e ciências da computação estabeleceu um fluxo de atividades, a fim de desenvolver um aplicativo. Após desenvolvido, 24 médicos participaram de um teste de utilidade desse. Cada usuário planejou uma cirurgia de ATJ, inicialmente, de forma convencional e, posteriormente, através do aplicativo. Foram coletados dados de aferição do AAMF e do tempo dispendido durante o planejamento entre as duas formas. Os testes de Mann-Whitney e Wilcoxon foram usados para avaliar a significância estatística entre os resultados de medição de ângulo e tempo.

Resultados:

Os usuários julgaram importantes a aferição do AAMF e o traçado de linhas de corte ósseo ortogonais aos eixos mecânicos, no âmbito do planejamento de ATJ. Também avaliaram que o aplicativo poderia ser útil para cirurgiões em formação e especialistas. Não houve diferença estatisticamente significante entre o AAMF aferido através do aplicativo e da forma convencional. O tempo de planejamento foi menor quando o aplicativo foi usado (39% do tempo gasto pela forma manual).

Conclusões:

O aplicativo evidenciou-se útil no contexto de planejamento de ATJ, mostrou-se acurado quanto à medição do AAMF. Foi capaz de diminuir em mais da metade o tempo de planejamento, mostrou-se, mesmo assim, confiável quanto à medição do AAMF.

Palavras-chave:
Aplicativos móveis; Artroplastia do joelho; Tempo de cirurgia

ABSTRACT

Objective:

To evaluate the usefulness of an application when planning total knee arthroplasties (TKA), besides the accuracy when measuring the anatomical-mechanical femoral angle (AMFA), comparing, also, the time spent during planning a TKA manually and by using the application.

Methods:

An interdisciplinary team involving health and computer science areas established activities in order to develop the application. After development, 24 physicians underwent an application usability test. Each one planned a primary total knee arthroplasty (TKA) initially, in a conventional manner and then by using the application. Data concerning AMFA measurement and time spent during planning were collected, in both manners. The Mann-Whitney and Wilcoxon tests were used to evaluate statistical significance related to angle and time.

Results:

Users considered it important checking AMFA and drawing the bone cut lines orthogonal to the mechanical axis, when planning TKAs. They also assessed that the application could be useful for training surgeons and for specialists. There was no statistically significant difference between the AMFA, as measured by the application and by the conventional manner. The planning time was shorter when the application was used (39% of the time spent manually).

Conclusions:

The application has proved to be useful in planning TKAs and has revealed accuracy when measuring the AMFA when it was compared to the manual form of preoperative planning. The application was able to reduce planning time by more than half and it demonstrated reliability in measuring the AMFA.

Keywords:
Mobile applications; Arthroplasty, replacement, knee; Operative time

Introdução

A cirurgia de artroplastia total do joelho (ATJ) é uma das intervenções mais feitas no meio ortopédico. Tem muitos objetivos. Destacam-se a diminuição de dor e o ganho de mobilidade articular.^1,2 A principal causa de insucesso em ATJ continua a ser, ao longo dos anos, o mau alinhamento dos componentes protéticos.³

Um planejamento cirúrgico pré-operatório pode contribuir para menor duração do tempo de procedimento cirúrgico e maior sobrevida dos implantes protéticos. Durante o planejamento, comumente, o cirurgião estima os eixos anatômico e mecânico dos ossos do fêmur e da tíbia. Afere, ainda, o ângulo formado entre os eixos anatômico e mecânico do fêmur (AAMF), além de estimar planos de cortes ósseos.⁴

Existem vários métodos de estimativa do alinhamento ósseo, que incluem exame clínico, uso de tomografia computadorizada (TC), ressonância magnética (RNM), radiografias convencionais de joelho (RCJ), fluoroscopia e navegação intraoperatória. O uso de radiografia panorâmica de membros inferiores (RPMI) é um método consagrado para medição do alinhamento ósseo.⁵ Durante um planejamento pré-operatório, manual, usam-se instrumentos de marcação e medição, como um lápis de ponta 2 B, uma régua milimetrada de 50 cm, um transferidor e um negatoscópio, além de radiografias impressas. Sabe-se que essas ferramentas podem não estar amplamente disponíveis em todos os ambientes em que ocorre o planejamento cirúrgico.

Por outro lado, com a disseminação de recursos de computação aplicados à saúde, mHealth, várias soluções têm sido desenvolvidas, a fim de auxiliar o médico em sua rotina. Nesse sentido, propôs-se avaliar se o aplicativo móvel, desenvolvido pelos autores deste estudo, tinha utilidade no contexto de planejamento cirúrgico de ATJ e se é capaz de fazer uma medição acurada do AAMF. O tempo de planejamento pré-operatório feito da forma manual e através do aplicativo foi, também, comparado, e avaliou-se, em última análise, a rapidez de planejamento através do aplicativo.

Material

Foram incluídos no estudo 24 médicos, divididos em três grupos: oito cirurgiões de joelho, membros da Sociedade Brasileira de Cirurgia do Joelho (SBCJ); oito ortopedistas não membros da SBCJ; e oito residentes de ortopedia e traumatologia, que cursavam o terceiro ano de residência médica. Ortopedistas não membros da Sociedade Brasileira de Ortopedia e Traumatologia (SBOT) não participaram do estudo, esse foi o critério de exclusão adotado para seleção da amostra.

Um negatoscópio convencional e uma radiografia impressa de RPMI, advinda de um caso de consultório do autor, não modificada a seu pedido de exame e nem em sua execução, com finalidade de adequar-se, de qualquer maneira, ao estudo, foram oferecidos aos participantes do estudo. Além disso, ferramentas de planejamento pré-operatório manuais, como lápis de ponta 2 B, régua de 40 cm, transferidor, goniômetro e borracha, estiveram disponíveis durante um teste de utilidade.

Um celular do tipo smartphone, com sistema operacional Android e aplicativo desenvolvido instalado, foi oferecido aos usuários e permitiu, então, o planejamento a partir da maneira proposta.

Métodos

Com a finalidade de desenvolvimento do aplicativo App ATJ®, uma equipe interdisciplinar das áreas de saúde e ciências da computação estabeleceu um fluxo de atividades. Foram listadas características que deveriam ser agregadas a essa solução: exposição de campo de coleta de dados cadastrais; possibilidade de aquisição de imagem a partir de câmera fotográfica do dispositivo móvel; oferecimento de tutorial, capaz de auxiliar o usuário durante cada fase de planejamento pré-operatório; permissão de marcação de pontos e traçado de linhas; habilidade de reconhecimento automático, a partir dos traçados, do tipo de deformidade de joelho, entre as opções varo e valgo; capacidade de posicionar linhas móveis, perpendiculares aos eixos mecânicos do fêmur e da tíbia, que representaram linhas de corte ósseo; competência de antecipar ao usuário possíveis dificuldades a serem encontradas no transoperatório, com orientação quanto ao balanço de partes moles, para cada tipo de deformidade. A organização simplificada, através de diagrama, dessas funcionalidades está disposta na figura 1. Foram usadas, para programação em si, as seguintes ferramentas: IDE (Integrated Development Environment) Android Studio; Biblioteca SDK (Software Development Kit) do Android; Sistema Emulador do Android com APIs (Application Programming Interface), do Google; e a biblioteca OpenCV (Open Source Computer Vision Library).

Figura 1
Diagrama simplificado de telas e de funcionalidades do aplicativo proposto.Fonte: Elaborada pelo autor.

Após a criação, o aplicativo App ATJ® foi submetido a um teste de utilidade, baseado no modelo de aceitação de tecnologia de Davis (Davis' Technology Acceptance Model - TAM), 1989, que permite quantificar o grau de utilidade percebida pelos usuários de uma determinada aplicação.⁶ Um questionário de avaliação foi, então, criado e adaptado ao contexto de planejamento de ATJ (fig. 2).

Figura 2
Questionário de utilidade, baseado no modelo de aceitação de tecnologia, de Davis, 1989.Fonte: Elaborada pelo autor.

Durante a aplicação do teste de utilidade, perceberam-se momentos distintos. Em uma primeira fase, o usuário recebia explicações a respeito da metodologia adotada, através de um tutorial impresso em folhas de ofício (fig. 3). Notou-se a participação de dois autores: o avaliador, autor deste estudo, e o médico voluntário. O processo iniciava-se com a apresentação de um modelo padronizado de planejamento pré-operatório em ATJ, através de um passo a passo lógico, que deveria ser inicialmente seguido em um planejamento manual, com o uso de um filme impresso de RPMI. Além de aferir AAMF, o usuário deveria posicionar uma linha de corte ósseo perpendicular ao eixo mecânico dos ossos fêmur e tíbia. O exato posicionamento, em uma ATJ primária, costuma corresponder à espessura do implante femoral para o osso do fêmur (ex: 9 mm acima do primeiro ponto de contato ósseo femoral) e cerca de 10 mm a partir do primeiro ponto de contato ósseo tibial, considerando a região de convexidade da deformidade tibial.

Figura 3
Tutorial proposto com intenção de explicar de forma sumarizada o passo a passo adotado na metodologia de planejamento proposta. Oferecido aos participantes do estudo antes do planejamento em si, através da forma convencional e do aplicativo.Fonte: Elaborada pelo autor.

Esses parâmetros podem ser ajustados para a necessidade de cada caso planejado. Durante o planejamento convencional, a fim de posicionar as linhas de corte na altura desejada, o cirurgião deve considerar a magnificação adotada em cada RPMI. Após o planejamento manual, o avaliador apagava os traçados feitos na radiografia impressa de RPMI e dava-se, então, a próxima fase, de planejamento através do aplicativo (fig. 4). O aplicativo considerava a magnificação impressa na RPMI para o posicionamento das linhas de corte ósseo (fig. 5). O tempo e o AAMF foram registrados, durante o planejamento convencional e durante o uso do aplicativo. Essas duas fases de planos de ação estão expostas na fig. 6.

Figura 4
Procedimento para avaliação do aplicativo.Fonte: Elaborada pelo autor.

Figura 5
Reconhecimento da magnificação usada no exame de RPMI.Legenda: A. Informação ao aplicativo sobre a magnificação adotada na impressão de RPMI. B. Ao informar a quantidade de osso a ser ressecado, o aplicativo faz cálculo automático, posiciona a linha de corte ósseo na altura correspondente ao tamanho real. C. Posicionamento da linha de corte ósseo tibial a partir da informação pelo usuário. O aplicativo é capaz de posicionar a linha de forma automática, dispensa conversões matemáticas entre a altura real da linha de corte e a altura magnificada em escala de tamanho.Fonte: Elaborada pelo autor.

Figura 6
Fotos que evidenciam o planejamento pré-operatório feito de forma tradicional e através do uso do aplicativo desenvolvido.Legenda: A. Planejamento convencional, manual. B. Uso do aplicativo para aquisição de imagem e início de planejamento. C. Aferição automática pelo aplicativo, após marcação de pontos pelo usuário, do AAMF. D. Planejamento de cortes ósseos perpendiculares aos eixos mecânicos do fêmur e da tíbia.Fonte: Elaborada pelo autor.

Para análise estatística, foi usado o teste de normalidade de Kolmogorov-Smirnov para avaliar a parametrização da amostra. Também foram usados os testes de Wilcoxon e Mann-Whitney para análise do tempo de uso do aplicativo e da acurácia de medição do ângulo AAMF. O teste exato de Fisher foi usado para o cruzamento de questões do questionário de utilidade do aplicativo.

Foram respeitados os princípios básicos da ética em pesquisa com humanos, como autonomia, justiça, beneficência e não maleficência, orientados pela Resolução 466/12. O estudo foi submetido ao Comitê de Ética em Pesquisa em humanos (CEP), através da Plataforma Brasil, direcionado para o Centro Universitário Christus e aceito sob o número de protocolo 1.764.812.

Resultados

O aplicativo foi desenvolvido e as exigências estabelecidas durante o fluxo de atividades foram atendidas, o que tornou possível uma avaliação do aplicativo App ATJ® através de um teste de utilidade.

Os usuários concordaram que a aferição do AAMF e o traçado de linhas de corte ósseo, perpendiculares ao eixo mecânico dos ossos do fêmur e da tíbia, poderiam auxiliar o cirurgião no âmbito de planejamento pré-operatório.

Quando perguntados se o planejamento proposto pelo aplicativo poderia auxiliar no aprendizado de residentes de ortopedia, de estagiários de cirurgia do joelho e de cirurgiões de joelho, os usuários concordaram com essas sentenças.

Ao ser perguntados se o aplicativo parecia útil ao planejamento de ATJ e ajudaria a compreender melhor os conceitos relacionados ao planejamento cirúrgico, os usuários, favoravelmente, apontaram que sim.

A tabela 1 representa um quadro sinóptico das respostas às questões do questionário avaliação de utilidade.

Tabela 1
Dados expressos em forma de frequência absoluta e percentual para as respostas das perguntas do questionário de avaliação de utilidade

	n	%
Reconhecimento linhas corte ósseo pode ajudar decisões
Contribui muito	24	100,0
Medição ângulos pode ajudar decisões
Contribui muito	24	100,0
Passo a passo pode ajudar residentes ortopedia
Contribui muito	18	75,0
Contribui	6	25,0
Passo a passo pode ajudar estagiários ortopedia
Contribui muito	18	75,0
Contribui	6	25,0
Passo a passo pode ajudar cirurgiões ortopedia
Contribui muito	15	62,5
Contribui	9	37,5
Me parece tecnologia útil planejamento ATJ
Discordo	1	4,2
Concordo	10	41,7
Concordo totalmente	13	54,2
Ajudou compreender conceitos planeamento ATJ
Indiferente	2	8,3
Concordo	10	41,7
Concordo totalmente	12	50,0

Ao cruzar as perguntas 6 e 7, observou-se correlação estatisticamente significante, avaliada pelo teste exato de Fisher, entre as questões supracitadas. Isso evidenciou que os participantes que entenderam que a tecnologia era útil ao planejamento de ATJ também concordaram que o aplicativo ajudou a compreender melhor os conceitos relacionados ao planejamento de uma ATJ.

Com relação à medição do AAMF, observou-se que 17 avaliadores (70,8%) obtiveram a mesma medida de ângulo, tanto através da forma convencional quanto do aplicativo. Seis avaliadores encontraram diferença de um grau entre as formas de aferição e um avaliador observou diferença de dois graus. Após a análise estatística dos resultados, por meio dos testes de Mann-Whitney e Wilcoxon, não foi observada diferença estatisticamente significante entre as duas formas de medição (p = 0,240). A análise dessa variável reforça a utilidade do aplicativo, na medida em que se mostrou capaz de reduzir drasticamente o tempo de planejamento, sem perder, entretanto, a eficácia, pelo menos no que diz respeito à medição do AAMF (fig. 7).

Houve redução do tempo de planejamento pré-operatório, quando se comparou a forma manual com o método através do aplicativo. O tempo médio entre os 24 participantes dispendido para fazer o planejamento da forma manual foi de 7,2 ± 1,6 minutos, enquanto que com o aplicativo essa média reduziu-se para 2,9 ± 0,7 minutos. A partir da análise dos tempos de planejamento usados pelos 24 participantes do teste de utilidade, observou-se que o uso do aplicativo pôde reduzir o tempo de planejamento em 4,4 ± 1,8 minutos, aproximadamente 39% do tempo gasto em relação ao procedimento manual. Essa diferença foi considerada estatisticamente significante, com p < 0,001. A fig. 8 representa a diferença de tempo no planejamento com o uso do método convencional e através do aplicativo.

Figura 7
Medição do AAMF através da forma convencional e do aplicativo. Não houve diferença estatisticamente significativa entre as duas formas após os testes de Mann-Whitney e Wilcoxon (p = 0,240).Fonte: Elaborada pelo autor.

Figura 8
Tempo, em minutos, gasto no planejamento de ATJ, com o método manual e através do aplicativo. Resultados dispostos em gráfico após os testes de Mann-Whitney e Wilcoxon (p < 0,001).Fonte: Elaborada pelo autor.

A tabela 2 complementa essa análise, estratifica os valores aferidos em segundos em: limite superior, 3° quartil, mediana, média, 1° quartil e limite inferior. Pôde-se observar que os valores das medianas foram inferiores às médias, mas a proporção de redução para 39% manteve-se. Essa constatação é importante porque reforça os resultados do estudo, tendo em vista que, diferentemente da média, a mediana é uma medida de tendência central e não é tão influenciada por valores individuais erráticos e não significativos.

Tabela 2
Valores relacionados ao tempo de planejamento, aferido em segundos, pela forma manual e através do aplicativo. (n = 24)

	Planejamento tradicional	Planejamento com o App ATJ
Limite superior	10,5	3,7
3º Quartil	8,5	3,4
Mediana	6,6	26
Média	7,2	2,9
1º Quartil	6,2	2,3
Limite inferior	4,1	1,9

Discussão

O planejamento manual continua a ser uma forma corrente de planejamento em ATJ. Para tanto, o cirurgião necessita de uma radiografia impressa e um negatoscópio, no ambiente em que planeja a cirurgia. Deve ainda portar um aparato de ferramentas, como lápis, réguas, transferidores, goniômetros e borracha. Com uma estratégia de planejamento em mente, marca pontos, traça linhas e, através desses parâmetros, estima o alinhamento e planeja cortes ósseos. Essa modalidade de planejamento tem como principal vantagem o baixo custo. Por outro lado, exige conhecimento de uma metodologia racional pré-definida e tem como fator limitante o fato de que nem sempre o cirurgião carrega consigo, em todos os ambientes em que ocorre o planejamento cirúrgico, o aparato de ferramentas de planejamento manual. Isso poderia ter consequência danosa, na medida em que algum cirurgião decida não planejar, induzido por falta de material necessário. Além disso, o cirurgião deve atentar para o fato de que a maioria das radiografias se encontra modificada em sua escala de tamanho, deve considerar esse ajuste matemático entre o tamanho real e o impresso, ao posicionar as linhas de cortes ósseos.

Alguns estudos comparam o planejamento pré-operatório manual ao digital em ATJ. Quando se estima o tamanho do componente protético, tanto o planejamento manual como o digital apresentam boa confiabilidade,⁷ porém quando se estima o AAMF o planejamento manual é mais preciso do que o digital.⁸ Os autores deste estudo desenvolveram aplicativo que dispensa o uso do aparato de planejamento manual, além de considerar a magnificação usada em cada exame, evita que o cirurgião precise fazer conversões, através de cálculos, com medição automática do AAMF e posicionamento de linhas de cortes ósseos a partir de barra milimetrada, o que diminui consideravelmente o tempo de planejamento.

A influência da tecnologia no aprendizado médico é uma tendência que tem ganhado espaço com o surgimento do m-learning. Através do uso de dispositivos móveis, como tabletes e smartphones, o médico tem, então, à sua disposição, uma série de benefícios potenciais de aprendizado.⁹ Aplicativos proporcionam ao médico ferramentas de aprendizado de cunho prático e auxiliam em decisões médicas. Os aplicativos mais usados, nesse sentido, são guias de medicações e calculadoras médicas. Vantagens como conveniência, eficiência, potencial de aceleração do aprendizado são facilmente notadas pelos usuários. Contudo, desvantagens como distração, dependência e pouca regulação do conhecimento podem tornar o aprendizado e o uso dos aplicativos para dispositivos móveis questionáveis.¹⁰

Uma revisão sistemática sobre aplicativos na área médica cirúrgica demonstra vasta utilidade dos aplicativos em contextos pré, intra e transoperatórios. Apesar de a maioria dos estudos apontar para inúmeros benefícios do uso de aplicativos para smartphones e tablets, estudos com maior nível de evidência precisam ser desenvolvidos para analisar de forma mais profunda o impacto de uma adoção generalizada desse tipo de ferramenta.¹¹

No meio ortopédico, estudo avaliou a confiabilidade do uso de aplicativo previamente existente, que simula um goniômetro, para smartphone. O aplicativo mostrou-se confiável quando se considerou a medição de ângulos de arcos de movimento. Contudo, nesse estudo um aplicativo não foi desenvolvido, apenas o testaram.¹²

Na área de ATJ, o aplicativo App ATJ® vem aumentar as possibilidades de planejamento pré-operatório. A maior parte dos aplicativos desenvolvidos na área de ortopedia destina-se à medição de ângulos e à estimativa de tamanho dos componentes protéticos, mas, até então, nenhum aplicativo ofertou uma forma de planejamento cirúrgico padronizada, baseada em um passo a passo, o que permite ao usuário acionar “atalho” ajuda, com aprofundamento teórico sobre cada passo em questão, apoiado por literatura confiável. Além desses fatores, o aplicativo App ATJ® antecipa possíveis situações a serem encontradas diante de cada deformidade e oferece um tutorial em forma de “dicas”. Esses recursos podem direcionar o usuário para uma metodologia de planejamento pré-operatório segura e auxiliá-lo no entendimento da cirurgia de ATJ como um todo.

Este estudo apresenta algumas limitações, uma vez que alguns recursos poderiam ter tornado o aplicativo mais substancial, como a possibilidade de carregamento remoto de imagem a partir de um banco de dados. Com relação à aplicação do teste de utilidade, destacamos o viés de o autor conhecer uma parte dos participantes, fato que pode ter inibido a postura crítica de alguns. Além disso, por iniciar o planejamento pela forma manual, os participantes podem ter levantado dúvidas e questionamentos a respeito da metodologia nessa fase, o que pode ter contribuído para maior consumo de tempo nessa etapa. Não foi aplicado teste de concordância intra e interobservador para essa fase do estudo.

Conclusão

O aplicativo desenvolvido mostrou-se útil no contexto de planejamento de ATJ. Apresenta-se como uma forma segura de medição do AAMF, é capaz de reduzir o tempo de planejamento pré-operatório e, mesmo assim, preservar a acurácia em relação à medição do AAMF.

• ☆
  Trabalho feito na Santa Casa da Misericórdia de Fortaleza, CE, Brasil.

Agradecimentos

Ao Laboratório de Inovações Tecnológicas (LIT) da Unichristus, que ofertou ferramentas para o desenvolvimento do aplicativo, em si.

Ao Serviço de Ortopedia da Santa Casa de Misericórdia de Fortaleza, que estimulou o desenvolvimento do estudo desde sua fase inicial.

Ao Prof. Dr. Marco Kawamura Demage por possbilitar interação interinstitucional, contribuindo também com sua vasta experiência no assunto.

References

• ¹
  Donaldson J, Joyner J, Tudor F. Current controversies of alignment in total knee replacements. Open Orthop J. 2015;30(9):489-94.
• ²
  Widmer KH, Zich A. Ligament-controlled positioning of the knee prosthesis components. Orthopade. 2015;44(4):275-81.
• ³
  Molicnik A, Naranda J, Dolinar D. Patient-matched instruments versus standard instrumentation in total knee arthroplasty: a prospective randomized study. Wien Klin Wochenschr. 2015;127(Suppl. 5):S235-40.
• ⁴
  Cherian JJ, Kapadia BH, Banerjee S, Jauregui JJ, Issa K, Mont MA. Mechanical, anatomical, and kinematic axis in TKA: concepts and practical applications. Curr Rev Musculoskelet Med. 2014;7(2):89-95.
• ⁵
  Babazadeh S, Dowsey MM, Bingham RJ, Ek ET, Stoney JD, Choong PF. The long leg radiograph is a reliable method of assessing alignment when compared to computer-assisted navigation and computer tomography. Knee. 2013;20(4):242-9.
• ⁶
  Davis FD. Perceived usefulness, perceived ease of use, and user acceptance. MIS Q. 1989;13(3):319-39.
• ⁷
  The B, Diercks RL, van Ooijen PM, van Horn JR. Comparison of analog and mdigital preoperative planning in total hip and knee arthroplasties. A prospective study of 173 hips and 65 total knees. Acta Orthop. 2005;76(1):78-84.
• ⁸
  van Groningen B, den Teuling JW, Houterman S, Janssen RP. Femoral mechanical-anatomical angle measurements in total knee arthroplasty: analog versus digital. J Knee Surg. 2015;28(4):315-9.
• ⁹
  Marçal E, Andrade R, Rios R. Aprendizagem utilizando dispositivos móveis com sistemas de realidade virtual. RENOTE Rev Novas Tecnol Educ [Internet]. 2005;3:1-11. Available from: http://seer.ufrgs.br/renote/article/view/13824
  » http://seer.ufrgs.br/renote/article/view/13824
• ¹⁰
  Bullock A, Webb K. Technology in postgraduate medical education: a dynamic influence on learning? Postgrad Med J. 2015;91(1081):646-50.
• ¹¹
  Mobasheri MH, Johnston M, Syed UM, King D, Darzi A. The uses of smartphones and tablet devices in surgery: a systematic review of the literature. Surgery. 2015;158(5):1352-71.
• ¹²
  Pereira LC, Rwakabayiza S, Lécureux E, Jolles BM. Reliability of the Knee Smartphone-Application Goniometer in the Acute Orthopedic Setting. J Knee Surg. 2016:[Epub ahead of print].

Datas de Publicação

• Publicação nesta coleção
  Mar-Apr 2018

Histórico

• Recebido
  7 Dez 2016
• Aceito
  1 Fev 2017