INVESTIGACIÓN BÁSICA

 

¿Cuál es el porcentaje de utilización de herramientas de evaluación de competencias quirúrgicas en las residencias de ortopedia y traumatología de la Argentina?

 

Virginia M. Cafruni,* Julián Romagnoli,** Sergio Barcia,# Bibiana Dello Russo,# Mauro R. Vivas,# Horacio S. Herrera,# Lucas Piantoni,# Rodrigo Remondino,** María Gala Santini Araujo#

*Subcomité de Investigaciones de la AAOT

**Comité de Residencias y Sistemas Equivalentes en Ortopedia y Traumatología

#Comité de Investigaciones de la AAOT

 

Resumen

Objetivo: El objetivo primario fue conocer la actual aplicación de instrumentos de evaluación de competencias quirúrgicas en las residencias acreditadas por la AAOT. Como objetivos secundarios, se describieron los tipos de herramientas utilizadas, el conocimiento de los diferentes instrumentos de evaluación y qué tipo de evaluación se utiliza para la promoción de año. Se analizó si existen diferencias en las características entre las residencias que evalúan las competencias quirúrgicas y las que no. Materiales y Métodos: Se realizó un estudio descriptivo, para lo cual se diseñó una encuesta enfocada en mostrar cuántas residencias evalúan las competencias quirúrgicas con una herramienta formal. Además, a través de ella, se logró responder a los objetivos secundarios. La encuesta se envió a los responsables docentes de las 123 residencias acreditadas por la AAOT. Resultados: Se obtuvieron 105 (85,4%) respuestas, el 59% utiliza algún tipo de herramienta para evaluar las competencias quirúrgicas. Solo el 12,9% de las herramientas utilizadas evalúan las competencias quirúrgicas en forma específica y el resto lo hace con un puntaje general. Un 61% conoce las herramientas disponibles. Para la promoción de año, la mayoría utiliza evaluaciones periódicas múltiples para competencias clínicas y quirúrgicas (63,8% y 67,6%, respectivamente). No hubo diferencias significativas en las características de las residencias que evalúan las competencias quirúrgicas y las que no. Conclusión: El 59% de las residencias implementa algún puntaje o formulario para evaluar las competencias quirúrgicas, solo el 12,9% las evalúa en forma específica, y el resto lo hace con un puntaje subjetivo global.

Palabras clave: Residencia; Ortopedia; competencias quirúrgicas; herramientas de evaluación; Argentina.

Nivel de Evidencia: IV

 

What Is the Percentage of Use of Surgical Skills Assessment Tools in Orthopedic and Traumatology Residencies in Argentina?

 

Abstract

Objective: The primary objective was to evaluate the current application of surgical competency (SC) assessment tools in residences accredited by the AAOT. There was also interest in knowing the types of assessment tools used, the knowledge of the different evaluation instruments and what type of evaluation they use for the promotion of the year. We analyzed whether there were differences in the characteristics between the residences that evaluate the SCs and those that do not. Materials and Methods: A descriptive study was carried out, for which a survey was developed focused on assessing how many residences evaluate the SCs with a formal tool. In addition, through the survey it was possible to answer the secondary objectives. It was sent to the chief of residency of the 123 accredited residencies. Results: 105 (85.4%) responses were obtained, 59% (62) used some type of tool for the evaluation of the SC. Only 12.9% (8/62) of the tools used evaluate the SC in a specific way but the majority assed them with a general score. 61% (64/105) know the tools available. For the promotion of the year, the majority use multiple periodic evaluations for clinical and surgical competencies (63.8% and 67.6% respectively). No significant differences were found in the characteristics of the residences that evaluate SC and those that do not. Conclusions: 59% of the residences implement some score or tool for the evaluation of SC, the majority perform the evaluation with a subjective global score. Only the 12.9% evaluate the SC specifically.

Key words: Residency; Orthopedics; surgical competencies; assessment tools; Argentina.

Level of Evidence: IV

 

Introducción

Una residencia resulta de la necesidad e interés de un médico general por ampliar su desarrollo profesional de manera que pueda profundizar sus conocimientos sobre una especialidad médica.1 El sistema de residencias médicas constituye la base de la educación médica de posgrado y es el proceso educativo idóneo que permite al estudiante graduado la transición de médico general a especializado.2 Esto incluye no solo conocimientos teóricos, sino también, en el caso de las especialidades quirúrgicas, la adquisición de habilidades técnicas que son un pilar central en la formación de todo cirujano. La evaluación de las competencias es un proceso primordial de retroalimentación para un sistema de formación y capacitación, que permite la mejora continua. En lo que respecta a las residencias de ortopedia y traumatología en la Argentina, cada institución tiene la potestad de decidir qué herramientas de evaluación incluirá en sus programas formativos.3 Probablemente este es el motivo por el cual no existe un registro uniforme y estandarizado de los instrumentos de evaluación que se emplean para objetivar la adquisición y mejora de las competencias quirúrgicas adquiridas por el residente a lo largo de su programa de formación.

En nuestro país, no hay un registro claro de los instrumentos de evaluación utilizados en las residencias de ortopedia y traumatología; por ello, se realizó este estudio descriptivo buscando indagar en el proceso educativo de los residentes. Nuestro objetivo principal fue conocer el porcentaje actual de la aplicación de instrumentos de evaluación de competencias quirúrgicas en las 123 residencias acreditadas por Asociación Argentina de Ortopedia y Traumatología (AAOT).4 Como objetivos secundarios, se describieron los tipos de herramientas utilizadas para evaluar las destrezas quirúrgicas, el conocimiento de los diferentes instrumentos de evaluación existentes y qué instrumento de evaluación utilizan para la promoción de año de residencia. Además, se analizó si existen diferencias en las características entre las residencias que evalúan las competencias quirúrgicas y las que no lo hacen.

 

Materiales y Métodos

Se llevó a cabo un estudio descriptivo para analizar el uso de herramientas de evaluación para competencias quirúrgicas. Se diseñó una encuesta a través del formulario de Google Docs. La encuesta se envió por correo electrónico a los responsables docentes de todas las residencias acreditadas por la AAOT (n = 123 hospitales). Se envió durante agosto de 2020, en dos oportunidades, con un intervalo de 15 días. Se admitieron respuestas hasta el 30 de septiembre inclusive. Se excluyeron del análisis las residencias no acreditadas o las respuestas duplicadas.

La encuesta fue diseñada por el Comité de Investigación y posteriormente fue validada mediante un consenso entre los miembros de este comité y el Comité de Residencias de la AAOT.

La encuesta permitió identificar el cargo docente del encuestado dentro de la residencia, el tipo de hospital (financiamiento: nacional, municipal, provincial o privado), su región geográfica y si estaba asociado a una universidad. Por otro lado, se indagó sobre el programa de residencia específicamente: su duración, si tienen sistema de concurrencia, la relación entre jefe de residentes/instructores y el número de residentes, y los métodos de evaluación periódica y anual tanto de las competencias teóricas como quirúrgicas. De esta manera, se expuso cuántas residencias actualmente evalúan las competencias quirúrgicas a través de una herramienta formal, los tipos de herramientas de evaluación de competencias quirúrgicas implementadas y el conocimiento de las diferentes herramientas existentes.

 

Análisis estadístico

Las variables continuas se expresan como media o mediana según su distribución y las variables categóricas, como frecuencias relativas o absolutas. Las características de las residencias que sí utilizaban herramientas de evaluación para las competencias quirúrgicas, se analizaron con un modelo de regresión logística. Los cocientes de probabilidades (odds ratios, OR) crudos y ajustados se presentan con su intervalo de confianza y valor p. El valor p estadísticamente significativo se fijó en <0,05. Las variables seleccionadas para el análisis multivariado fueron aquellas estadísticamente significativas o consideradas relevantes dentro de las características de las residencias (financiamiento, asociación universitaria y región).

Para el análisis de los datos se utilizó el programa STATA, versión 13 (Statacorp LP College Station Texas, EE.UU.).

 

Resultados

Se incluyeron 105 respuestas, 12 respuestas fueron excluidas: una de una residencia no acreditada y 11 repetidas (Figura).

 

 

 

 

 

De las 105 respuestas, el 59% (62 residencias) utiliza algún tipo de herramienta para la evaluación de las competencias quirúrgicas. El 46,8% (29/62) de estas residencias refiere utilizar el instrumento otorgado por el ministerio de salud según su región y el 38,7% (24/62) emplea una herramienta propia. Pero solo el 12,9% (8/62) de las herramientas utilizadas evalúan las competencias quirúrgicas de una cirugía en forma específica, su “paso a paso” y el resto lo hace con un puntaje general que se adapta a todos los procedimientos quirúrgicos (Tabla 1).

Se les preguntó a los responsables docentes qué herramientas de evaluación de competencias quirúrgicas conocían y el 39% (41/105) no conocía ninguno de los instrumentos mencionados. Un 61% (64/105) conoce las herramientas disponibles para la evaluación de destrezas quirúrgicas, el 59% (62/105) de los encuestados emplea algún puntaje o formulario para la evaluación de sus residentes (Tabla 2).

 

 

 

 

Para la promoción de año de residencias la mayoría refirió utilizar evaluaciones periódicas múltiples para competencias clínicas y quirúrgicas (63,8% y 67,6%, respectivamente) y evaluaciones escritas u orales teóricas a fin de año (56,2%) (Tabla 3).

 

 

 

No se hallaron diferencias significativas en las características de las residencias que sí evalúan las competencias quirúrgicas y las que no las evalúan. Pero de los resultados obtenidos se puede interpretar que hay un 28% más de probabilidades de ser evaluado formalmente en las competencias quirúrgicas, en un hospital provincial que en uno nacional. Por el contrario, en los hospitales privados, hay un 47% menos de probabilidades de ser evaluado en las competencias quirúrgicas que en un hospital nacional. Asimismo, hay un 65% más de probabilidades de que se evalúen las competencias quirúrgicas en la región patagónica respecto de la pampeana (Tablas 4 y 5).

 

 

 

 

 

 

Discusión

Si bien las herramientas para la evaluación de destrezas quirúrgicas existen desde hace tiempo, su aplicación en la práctica diaria no es una constante en el proceso evaluativo.5 Actualmente, en la Argentina, solo un poco más de la mitad de las residencias acreditadas por la AAOT utiliza algún tipo de instrumento para evaluar las competencias quirúrgicas y el resto solo cuenta con evaluaciones de las competencias clínicas o exclusivamente teóricas para la promoción de año de residencia.

Las competencias se han convertido en la unidad de planificación de la educación médica en muchas partes del mundo.3,6 Pero en lo que respecta a las competencias quirúrgicas específicamente, su evaluación ha sido escasa desde siempre. Estas continúan recibiendo poca atención entre las competencias definidas por las Directivas Canadienses de Educación Médica para Especialistas (CanMEDS)7 y por el Accreditation Council for Graduate Medical Education (ACGME).8,9 Las competencias quirúrgicas se esconden dentro de la subcategoría de “médico experto” en CanMEDS y “cuidado del paciente” en el ACGME.8

Para analizar el desempeño quirúrgico y las competencias de los residentes, se han desarrollado y validado diferentes puntajes, como Ottawa Surgical Competency Operating Room Evaluation (O-SCORE),9 Operative Rating System (OPRS),10 la escala de Zwisch11 o Direct Observation of Procedural Skills (DOPS).12 Así como también para evaluar el desempeño en simulación se han validado otros puntajes, como la Objective Structured Assessment of Technical Skills (OSATS).13,14 Otra herramienta poderosa en la educación quirúrgica es la implementación de la retroalimentación perioperatoria estructurada sobre el desempeño y los puntos de mejora, que ayuda a identificar las fortalezas y debilidades del residente.15-18

Sin embargo, ninguna herramienta aislada evalúa, de manera adecuada, las múltiples dimensiones de las competencias quirúrgicas. Cada herramienta de evaluación tiene sus propias limitaciones. Por esta razón, se recomienda el uso de múltiples herramientas para la evaluación de la amplia gama de objetivos educativos.8,9-21

En los programas de residencia de la Argentina, hoy se implementa una gran variedad de herramientas de evaluación. El 46,8% (29/62) de estas residencias refiere utilizar el instrumento otorgado por el ministerio de salud y el 38,7% (24/62) emplea una herramienta propia. El 87,1% (54/62) de las herramientas utilizadas evalúa las competencias quirúrgicas con un puntaje subjetivo global y no en forma específica para un procedimiento en particular.

La limitación más importante de este estudio probablemente sea el sesgo de obsequiosidad, debido a que la encuesta fue emitida desde el ente regulador de las residencias, la AAOT, y es quien les da la acreditación. Una fortaleza de este estudio es que se obtuvo un gran número de respuestas por parte de los docentes a cargo (85,4%, 105/123). Este trabajo representa el primer estudio de investigación docente sobre la utilización de herramientas para la evaluación de competencias en las residencias de ortopedia y traumatología del país.

Por el resultado de este estudio, consideramos necesario continuar trabajando para la creación e implementación de herramientas que permitan una evaluación uniforme de las competencias quirúrgicas en las residencias de ortopedia y traumatología, no solo para estandarizar las competencias quirúrgicas por alcanzar durante el programa de formación, sino también para proveer un ambiente óptimo para la educación.

En conclusión, un 61% (64/105) de los responsables docentes encuestados conoce las herramientas disponibles para la evaluación de destrezas quirúrgicas, el 59% (62/105) implementa algún puntaje o formulario en la evaluación. Entre los encargados docentes que sí evalúan las destrezas quirúrgicas, solo el 12,9% (8/62) evalúa las competencias quirúrgicas en forma específica, y el resto lo hace con un puntaje subjetivo global, ambos con herramientas diversas no unificadas.

 

Bibliografía

 

1.     Rodríguez Weber FL, Ramírez Arias JL. ¿Tenemos claro lo que es la residencia médica? Acta Médica Grupo Ángeles 2016;14(3):183-4. Disponible en: https://www.medigraphic.com/cgi-bin/new/resumen.cgi?IDARTICULO=67802

2.     Silberman F. Educación médica de posgrado. Residencias médicas. Rev Asoc Argent Ortop Traumatol 2010;75(1):88-96. Disponible en: https://www.aaot.org.ar/revista/2010/n1/art10.pdf

3.     Ministerio de Salud. Programa docente de la residencia de cirugía general con orientación en ortopedia y traumatología. Gobierno de la Ciudad Autónoma de Buenos Aires, 2017. [Consulta: 16 de julio, 2020.] Disponible en: https://www.buenosaires.gob.ar/sites/gcaba/files/programa_o_y_t-final_2017_web.pdf

4.     Listado de Residencias. Asociación Argentina de Ortopedia y Traumatología. [Consulta: 16 de julio, 2020.] Disponible en: https://aaot.org.ar/residencias/residencias-acreditadas

5.     Fritz T, Stachel N, Braun BJ. Evidence in surgical training - a review. Innov Surg Sci 2019;4(1):7-13. https://doi.org/10.1515/iss-2018-0026

6.     Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, et al. Competency-based medical education: theory to practice. Med Teach 2010;32(8):638-45. https://doi.org/10.3109/0142159X.2010.501190

7.     Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach 2007;29(7):642-7. https://doi.org/10.1080/01421590701746983

8.     Sidhu RS, Grober ED, Musselman LJ, Reznick RK. Assessing competency in surgery: where to begin? Surgery 2004;135(1):6-20. https://doi.org/10.1016/S0039-6060(03)00154-5

9.     Gofton WT, Dudek NL, Wood TJ, Balaa F, Hamstra SJ. The Ottawa Surgical Competency Operating Room Evaluation (O-SCORE): a tool to assess surgical competence. Acad Med 2012;87(10):1401-7. https://doi.org/10.1097/ACM.0b013e3182677805

10.  Larson JL, Williams RG, Ketchum J, Boehler ML, Dunnington GL. Feasibility, reliability and validity of an operative performance rating system for evaluating surgery residents. Surgery 2005;138(4):640-7; discussion 647. https://doi.org/10.1016/j.surg.2005.07.017

11.  George BC, Teitelbaum EN, Meyerson SL, Schuller MC, DaRosa DA, Petrusa ER, et al. Reliability, validity, and feasibility of the Zwisch scale for the assessment of intraoperative performance. J Surg Educ 2014;71(6):e90-6. https://doi.org/10.1016/j.jsurg.2014.06.018

12.  Naeem N. Validity, reliability, feasibility, acceptability and educational impact of direct observation of procedural skills (DOPS). J Coll Physicians Surg Pak 2013;23(1):77-82. PMID: 23286629

13.  Reznick RK, MacRae H. Teaching surgical skills--changes in the wind. N Engl J Med 2006;355(25):2664-9. https://doi.org/10.1056/NEJMra054785

14.  Niitsu H, Hirabayashi N, Yoshimitsu M, Mimura T, Taomoto J, Sugiyama Y, et al. Using the Objective Structured Assessment of Technical Skills (OSATS) global rating scale to evaluate the skills of surgical trainees in the operating room. Surg Today 2013;43(3):271-5. https://doi.org/10.1007/s00595-012-0313-7

15.  Jensen AR, Wright AS, Kim S, Horvath KD, Calhoun KE. Educational feedback in the operating room: a gap between resident and faculty perceptions. Am J Surg 2012;204(2):248-55. https://doi.org/10.1016/j.amjsurg.2011.08.019

16.  Cook MR, Watters JM, Barton JS, Kamin C, Brown SN, Deveney KE, et al. A flexible postoperative debriefing process can effectively provide formative resident feedback. J Am Coll Surg 2015;220(5):959-67. https://doi.org/10.1016/j.jamcollsurg.2014.12.048

17.  McKendy KM, Watanabe Y, Lee L, Bilgic E, Enani G, Feldman LS, et al. Perioperative feedback in surgical training: A systematic review. Am J Surg 2017;214(1):117-26. https://doi.org/10.1016/j.amjsurg.2016.12.014

18.  Ode GE, Buck JS, Wally M, Scannell BP, Patt JC. Obstacles affecting the implementation of the O-SCORE for assessment of orthopedic surgical skills competency. J Surg Educ 2019;76(3):881-92. https://doi.org/10.1016/j.jsurg.2018.11.002

19.  Darzi A, Mackay S. Assessment of surgical competence. Qual Health Care 2001;10 Suppl 2:ii64-9. https://doi.org/10.1136/qhc.0100064

20.  Van Heest A, Putnam M, Agel J, Shanedling J, McPherson S, Schmitz C. Assessment of technical skills of orthopaedic surgery residents performing open carpal tunnel release surgery. J Bone Joint Surg Am 2009;91(12):2811-7. https://doi.org/10.2106/JBJS.I.00024

21.  Bernard JA, Dattilo JR, Srikumaran U, Zikria BA, Jain A, LaPorte DM. Reliability and validity of 3 methods of assessing orthopedic resident skill in shoulder surgery. J Surg Educ 2016;73(6):1020-5. https://doi.org/10.1016/j.jsurg.2016.04.023

 

 

ORCID de J. Romagnoli: https://orcid.org/0000-0002-2521-1563

ORCID de S. Barcia: https://orcid.org/0000-0002-8049-5300

ORCID de B. Dello Russo: https://orcid.org/0000-0001-6487-4418

ORCID de M. R. Vivas: https://orcid.org/0000-0002-3820-9745

ORCID de H. S. Herrera: https://orcid.org/0000-0002-0036-8468

ORCID de L. Piantoni: https://orcid.org/0000-0002-6616-9314

ORCID de R. Remondino: https://orcid.org/0000-0002-8388-298X

ORCID de M. G. Santini Araujo: https://orcid.org/0000-0002-5127-5827

 

Recibido el 30-12-2020. Aceptado luego de la evaluación el 28-4-2021 •  Dra. Virginia M. Cafruni •  virginia.cafruni@hospitalitaliano.org.ar • https://orcid.org/0000-0002-8115-6300

 

Cómo citar este artículo: Cafruni VM, Romagnoli J, Barcia S, Dello Russo B, Vivas MR, Herrera HS, et al. ¿Cuál es el porcentaje de utilización de herramientas de evaluación de competencias quirúrgicas en las residencias de ortopedia y traumatología de la Argentina? Rev Asoc Argent Ortop Traumatol 2021;86(6):850-857. https://doi.org/10.15417/issn.1852-7434.2021.86.6.1294

 

 

Información del artículo

Identificación: https://doi.org/10.15417/issn.1852-7434.2021.86.6.1294

Fecha de publicación: Diciembre, 2021

Conflicto de intereses: Los autores no declaran conflictos de intereses.

Copyright: © 2021, Revista de la Asociación Argentina de Ortopedia y Traumatología.

Licencia: Este artículo está bajo una Licencia Creative Commons Atribución-No Comercial-Compartir Obras Derivadas Igual 4.0 Internacional. (CC-BY-NC-SA 4.0)