Search

Objetivo. Comparar el control glucémico entre pacientes con diabetes mellitus tipo 2 prepandemia vs pandemia de Covid-19 que acudieron a unidades de salud de primer nivel de atención de la Ciudad de México. Material y métodos. Se analizaron los registros de 23 912 pacientes con diabetes; 78.7% fueron del grupo prepandemia (2016 a 2020) y 21.3% del grupo pandemia (marzo 2020 a julio 2021). Se calcularon medidas de tendencia central y de dispersión, pruebas t de Student y se ajustó un modelo de regresión logística múltiple. Resultados. La mayoría de los pacientes con diabetes fueron mujeres (66.6 y 62.6%) con edad promedio de 59 y 58 años, respectivamente, y con hemoglobina glucosilada (HbA1) final de 7.7 vs el grupo pandemia (8.0). Las variables asociadas con el descontrol glucémico incluyeron periodo, nivel de HbA1, sobrepeso, obesidad, antecedente de padres con diabetes, número de medicamentos y tipo de insulina. Conclusiones. La mayoría de los pacientes con diabetes en ambos grupos tuvieron descontrol glucémico. Los pacientes del grupo pandemia tuvieron mayor descontrol glucémico de HbA1 comparados con los del grupo prepandemia. Después de recibir atención médica en ambos grupos, los pacientes mejoraron su control glucémico.

Introducción: En el marco de la pandemia generada por el SARS-CoV-2, la enseñanza clínica ha sufrido cambios importantes, desde la cancelación de actividades de aprendizaje y reducción de las rotaciones en los servicios, hasta la implementación de medidas que permiten continuar con el aprendizaje de los estudiantes.Objetivo: Analizar la percepción de los pacientes, evaluadores y médicos residentes de primer año de la especialidad de medicina familiar al realizar un Web-ECOE.Método: Análisis cualitativo. Población: 4 pacientes estandarizados, 4 evaluadores capacitados y 20 médicos residentes de 10 sedes académicas.Resultados: Los pacientes expresaron que esta modalidad de atención médica es adecuada; y la experiencia de realimentar, positiva. Los evaluadores comentaron que es un área de oportunidad para ellos y los residentes, y que se podría otorgar atención médica en línea bajo este concepto. Los residentes perciben esta estrategia como adecuada para su evaluación; sin embargo, coinciden en la limitación de la exploración física.

El proceso de admisión a la educación superior en varias universidades incluye exámenes estandarizados de alto impacto, que se asocian a preparación especial para ayudar a los aspirantes a dominar estrategias para resolución de pruebas, así como revisar y practicar los conocimientos evaluados. El objetivo de este estudio fue comparar el rendimiento en el examen de ingreso a las licenciaturas de la Universidad Nacional Autónoma de México (UNAM) de los usuarios de la plataforma digital “Pruéb@te UNAM Licenciatura” versus los no usuarios, así como establecer la relación entre uso de la plataforma y ser seleccionado. Se realizó un estudio cuantitativo observacional, comparativo y transversal. La población del estudio correspondió a 178.364 aspirantes a los concursos de selección en 2018 de la UNAM, de estos 8.063 fueron usuarios de la plataforma. Los usuarios tuvieron mayor puntuación en el examen de ingreso que los no usuarios (p < 0,001; d = 0,76). Practicar más de 10 horas (p < 0,001; d = 0,89) y completar hasta cinco exámenes de prueba (p < 0,001; d = 0,88), se asociaron con resultados superiores. Utilizar una plataforma de preparación se asocia con una mayor puntuación en el examen de ingreso a la universidad. El aprendizaje potenciado por exámenes puede ser útil para entender y mejorar el desempeño en exámenes sumativos de alto impacto.

Introducción: Los estudios de cohortes reales de los estudiantes de medicina ofrecen información relevante que apoya la toma de decisiones para las intervenciones educativas. Objetivo: Identificar el perfil de éxito académico en estudiantes de la licenciatura de medicina a partir de las características académicas y sociodemográficas desde el bachillerato. Método: Estudio de cohortes reales. Se analizó la información de las historias académicas de 1747 estudiantes de las generaciones 2011 y 2012 que ingresaron a la carrera de médico cirujano de la Facultad de Medicina de la Universidad Nacional Autónoma de México. Se realizó un análisis multinivel para identificar las variables asociadas al éxito académico de los estudiantes. Resultados: La mayor proporción de estudiantes con éxito académico fueron los que cursaron las asignaturas de matemáticas (9.6% vs 1.4%), física (9.8% vs 1.6%), inglés (11.0% vs 2.7%) en el bachillerato. En el grupo de éxito académico versus grupo de no éxito académico la diferencia observada en el promedio general del bachillerato fue estadísticamente significativa (9.4 vs 9.2) respectivamente. La comprensión lectora en el examen diagnóstico de licenciatura también se asoció con el éxito académico. Conclusiones: El perfil de éxito académico del estudiante de medicina correspondió con un promedio final en bachillerato mayor a 9.1, porcentaje de aciertos alto en matemáticas y física en el examen de selección al bachillerato, así como en inglés y comprensión lectora del español en el examen diagnóstico de licenciatura. Las variables académicas tuvieron más asociación con el éxito académico que las variables socioeconómicas.

Introducción: La pandemia ocasionada por el SARS-Cov-2 ha modificado la enseñanza de la medicina. El Examen Clínico Objetivo Estructurado (ECOE), es una de las estrategias que cuenta con mayor evidencia de validez para evaluar la competencia clínica, sin embargo, en México no hay experiencia en aplicarla a distancia (Web-ECOE). Objetivo: evaluar el grado de competencia clínica de los médicos residentes de primer año de la especialidad de medicina familiar a través de un Web-ECOE comparando la procedencia de ingreso (ENARM vs ECA) y acorde con los resultados poder implementar esta evaluación a distancia. Método: Estudio observacional comparativo. La población estuvo compuesta de 20 médicos residentes, se conformaron dos grupos, 10 provenientes del ENARM y 10 del ECA, de diversas Instituciones de Salud reconocidas por la Subdivisión de Medicina Familiar de la UNAM. El instrumento utilizado fue un Web-ECOE de 4 estaciones. Resultados: Los residentes de primer año de medicina familiar muestran en general un grado aceptable de competencia clínica en cuatro enfermedades frecuentes de la consulta médica en el primer nivel de atención. Las puntuaciones mayores fueron para las estaciones de diabetes mellitus e hipertensión arterial y las de menor puntuación depresión y obesidad. Los residentes del programa ENARM obtuvieron mejores puntuaciones que los residentes del programa ECA. Conclusiones: Los residentes provenientes del ENARM tuvieron mejores puntuaciones en las competencias clínicas que los residentes del ECA. Realizar un Web-ECOE permitió evaluar la competencia clínica de los residentes. Se recomienda continuar con el uso del Web-ECOE en los programas de posgrado para evaluar la competencia clínica en forma más integral.

espanolObjetivo. Identificar caracteristicas de las escuelas de me-dicina asociadas con desempeno en un examen de admision a residencias. Material ymetodos. Utilizando una base de datos con 153 654 registros de aspirantes entre 2014-2018 se analizaron el desempeno y seleccion en el Examen Nacional de Aspirantes a Residencias Medicas (ENARM) y su relacion con tipo de escuela y estatus de acreditacion, asi como region geografica. Resultados. El desempeno fue 62.5% para programas acreditados y 61.4% para no acredi-tados (p EnglishObjective. To identify medical school characteristics as-sociated with performance in a medical residency admission test. Materials and methods.Performance and selection rates according to type of medical school (Student s t-test, Chi-squared test), accreditation status (Student s t-test) and geographic regions (Anova) were analyzed from a database comprising 153 654 physicians who took the residency admission test Examen Nacional de Aspirantes a Residencias Medicas (ENARM) in the period 2014-2018. Results. Per-formance was 62.5% for accredited programs and 61.4% for non-accredited programs (p

Introduction. Higher education institutions’ admission exams are summative high-stakes tests that have important consequences for applicants, so they require validity evidence to assure that appropriate inferences are made with the results. The National Autonomous University of Mexico (UNAM) is the most sought-after higher education institution in the country, annually less than 10% of applicants that take the test are admitted. Methods. Analysis of the sources of the test validity evidence was performed using Messick and Kane conceptual frameworks, as well as the AERA-APA-NCME Standards, with the information generated from the February 2019 admission test in 148.407 applicants. Results: Test validity evidence was identified from content, response process, internal structure, relationship with other variables and consequences. Results suggest that the test has enough validity evidence, to state that the instrument is robust as a technical tool for knowledge assessment and as a source of information for high-stakes decisions. Discussion. It is crucial that institutions that use these tools document their validity evidence, since they have great social relevance. It is necessary to perform periodic longitudinal studies about the test use and its implications, since social and educational conditions in the context of the applicant population are dynamic.

Introducción: La competencia clínica en odontología considera dominios que han sido evaluados de manera conjunta y es difícil identificar cuáles se desarrollan mejor en el proceso formativo. Objetivo: Evaluar el desarrollo de los dominios de la competencia clínica en estudiantes de odontología en la asignatura de Odontopediatría. Método: Estudio pre-post en la Facultad de Odontología de la UNAM en la Ciudad de México. Se evaluó la competencia clínica antes y después del curso de Odontopediatría en el cuarto año de la licenciatura en Cirujano Dentista mediante el Examen Clínico Objetivo Estructurado, en un circuito de 18 estaciones de 6 minutos cada una, evaluadas con rúbricas de 4 a 20 criterios con entre dos y cuatro categorías. Se utilizó la Prueba t de Student para muestras relacionadas, para identificar cambios en la competencia clínica global y en siete dominios. Resultados: 120 y 110 estudiantes realizaron las pruebas pre y postest respectivamente; 75% de quienes participaron en el pre, también lo hicieron en el post. Se observó progreso en el desarrollo global de la competencia clínica (Pre-x = 43.7%, Post-x = 53.5%; p < .0001). Los dominios principalmente desarrollados fueron plan de tratamiento (Pre-x = 39.9%, Pos-x = 53.2%), y habilidades técnicas (Pre-x = 49.4%, Pos-x = 65.4%). Conclusiones: La evaluación del desarrollo de los dominios de la competencia clínica en Odontopediatría permite identificar en profundidad las habilidades que son desarrolladas adecuadamente y las que no lo son, en el proceso formativo. Existe un énfasis en el saber hacer técnico-procedimental en la formación de los odontólogos. Es necesario repensar las estrategias educativas para potenciar el desarrollo equitativo del resto de los dominios de la competencia clínica.

IntroductionPerformance and selection rate of non-newly graduated physicians in a medical residency admission test as an indicator for the need of continuing education.MethodsA database comprising 153 654 physicians who took a residency admission test in the period 2014–2018 was analysed. Performance and selection rates were assessed in relation to year of graduation and performance in medical school.ResultsThe whole sample scored at a mean of 62.3 (SD ±8.9; range 1.11–91.11). Examinees who took the test in their year of graduation performed better (66.10) than those who took the test after their year of graduation (61.84); pSelection rates differed accordingly; 33.9% for newly graduated physicians compared with 24.8% in those who took the test at least 1 year after graduation; p2 test (pDiscussionThere is an association between performance in a medical residency admission test and academic variables of the candidates: medical school grades and time elapsed from graduation to test taking. The evidence of decrease in retention of medical knowledge since graduation highlights the pertinence of continuing education interventions.

This study presents the formulation of a quantitative and qualitative index of quality for accredited institutions based on their performance in five components related to institutional quality: re...

Propósito: El Examen Clínico Objetivo Estructurado (ECOE) es una estrategia de evaluación que implica desafíos logísticos y de recursos humanos con ciertos requisitos de preparación y planeación para su implementación. El objetivo de este estudio es describir una colaboración entre tres escuelas de medicina para el diseño de escenarios, procesos y productos académicos. Método: Tres escuelas de medicina mexicanas obtuvieron una subvención del Programa de Premios Latinoamericanos de la National Board of Medical Examiners (NBME). El proyecto implicó el desarrollo de un ECOE formativo para evaluar la competencia clínica en estudiantes de medicina de pregrado al final del internado médico, y obtener evidencia de validez del examen para su uso. Se creó un consorcio formal para desarrollar y compartir estaciones ECOE. Se implementaron talleres de capacitación del profesorado. Resultados: El consorcio de las tres escuelas diseñó un ECOE de nueve estaciones. Se capacitaron a 81 examinadores y a 36 pacientes estandarizados. Se desarrolló una rúbrica y se creó una aplicación de software para capturar los datos. Se aplicó una prueba piloto con 93 estudiantes de medicina. El alfa de Cronbach fue 0.94 y el coeficiente G 0.80. Se crearon varios productos académicos para divulgar los resultados. Conclusiones: La experiencia formativa entre tres instituciones de educación médica permitió el desarrollo conjunto de escenarios para evaluación de la competencia clínica de estudiantes. La implementación conjunta además hizo posible la conceptualización e implementación de nuevas herramientas de evaluación. Esta oportunidad abre la invitación para aprovechar las oportunidades que brindan las organizaciones internacionales para participar en convocatorias que desarrollen a las escuelas de medicina en México. Los aprendizajes se pueden desplegar con otras escuelas de medicina en el país y América Latina.

espanolEn nuestro medio son escasos los estudios de seguimiento academico que permiten rela-cionar el grado de conocimientos de los estudiantes, al inicio de la licenciatura y mediante los resultados obtenidos en un examen diagnostico, con el desempeno escolar a lo largo del grado y la eficiencia terminal. Mediante los resultados obtenidos en el examen diagnostico de ingreso a la licenciatura y el seguimiento del desempeno escolar de los estudiantes de la generacion 2010 en la unam, se desarrollo un modelo predictivo. Los resultados revelan que a mayor puntuacion obtenida en el examen diagnostico de conocimientos al ingreso a la licenciatura, mejor desempeno escolar durante la misma y mayor eficiencia terminal. EnglishIn our environment are scarce academic follow-up studies, linking the degree of knowled-ge of students at the beginning of the bachelor's degree through the results obtained in a diagnostic exam, with school performance along the bachelor and the terminal efficiency. A predictive model was developed at unam based on the results obtained from the diag-nostic exam for entering the bachelor s degree and the monitoring of the students of the generation of 2010 school performance. The results reveal that the higher score in the diag-nostic exam of knowledge for entering the bachelor s degree, the better the school perfor-mance and terminal efficiency in the university.

La analítica del aprendizaje es una disciplina novedosa que tiene un enorme potencial para mejorar la calidad de la educación médica y la evaluación del aprendizaje. Se define como: "la medición, recopilación, análisis y reporte de datos sobre los alumnos y sus contextos, con el propósito de entender y optimizar el aprendizaje y los entornos en que ocurre". En las últimas décadas, la aparición de grandes volúmenes de datos (big data), acompañada de una rápida evolución en la minería de datos educativos, la aparición de tecnologías sofisticadas para analizar y visualizar datos de cualquier tipo, así como la disponibilidad de dispositivos móviles con conectividad permanente, mayor velocidad de procesamiento y capacidad de recuperación de información, han generado un contexto que favorece el uso de la analítica del aprendizaje en la medicina clínica y la educación médica. En este artículo se describe la historia reciente del concepto de analítica del aprendizaje, sus ventajas y desventajas en educación superior, así como sus aplicaciones en la enseñanza de las ciencias de la salud y la evaluación educativa. Es necesario que la comunidad de educadores médicos conozca la analítica del aprendizaje, para ser capaces de integrarla en su contexto eficaz y oportunamente.Learning analytics is an innovative discipline that has an enormous potential to improve the quality of medical education and learning assessment. It is defined as: “the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs”. In recent decades, the appearance of large volumes of data (big data), accompanied by a quick evolution of educational data mining techniques, the emergence of sophisticated technologies to analyze and visualize any type of data, as well as the availability of permanently-connected mobile electronic devices, higher processing speed and capacity of information retrieval, have generated a context that favors the use of learning analytics in clinical medicine and medical education. In this paper, the recent history of the concept of learning analytics is described, as well as its advantages and disadvantages in higher education, and its applications in the teaching of health sciences and educational assessment. It is necessary for the community of medical educators to be acquainted with learning analytics, in order to be able to integrate it to our context in an efficacious and timely manner.

"Introducción: En el aprendizaje basado en problemas (ABP) la calidad de estos es crucial para la adquisición e integración de conocimientos. Sin embargo, existen pocos instrumentos con evidencias de validez para medirla.Objetivo: Desarrollar un instrumento para evaluar la calidad de los problemas de ABP, obteniendo las fuentes de evidencia de validez del uso del mismo.Método: El instrumento fue desarrollado sobre la base de la revisión de la literatura. Se obtuvieron evidencias de validez de acuerdo con los Standards for Educational and Psychological Testing, específicamente fuentes de evidencia de validez de contenido, proceso de respuesta, estructura interna y consecuencias de la prueba. El instrumento se sometió a evaluación por jueces y se calculó el nivel de acuerdo con la prueba Kappa de Fleiss. Para conocer las características psicométricas del instrumento, se realizó análisis de discriminación de los reactivos empleado la prueba t de Student; para identificar la estructura interna de la prueba se empleó un análisis factorial exploratorio y se calculó el alfa de Cronbach como estadístico de consistencia interna.Resultados: El índice Kappa obtenido para los 24 reactivos fue de 0.45 hasta 1. La t de Student obtuvo valores de significación bilateral de 0.000. El análisis de factorial exploratorio con rotación Varimax extrajo 6 factores que aportan una varianza explicada de 83.08%. La versión final del instrumento quedó constituida por 20 reactivos con alfa de Cronbach total de la escala de 0.97.Conclusiones: Este instrumento cuenta con suficientes evidencias de validez para ser aplicado para evaluar la calidad de los problemas de ABP. Además, los 6 factores descritos amplían el alcance de la medición de los instrumentos existentes. Y permite detectar las fortalezas, debilidades y aportar sugerencias desde la perspectiva de los alumnos y profesores."

"Introducción: La evaluación de competencias docentes se relaciona con la mejora de la actividad educativa, orientada hacia el desarrollo personal y formativo. No se cuenta con evaluaciones de alta fidelidad en nuestro medio. El objetivo es obtener fuentes de evidencia de validez del Examen Docente Objetivo Estructurado (EDOE) para evaluar las competencias docentes.Método: Se llevó a cabo un estudio cuantitativo en 3 fases: 1) Planeación: análisis del modelo de competencias, validación por jueces, validación de contenido por alumnos instructores y taller de trabajo con expertos para la creación de estaciones. 2) Piloto: se obtuvo el grado de concordancia de los evaluadores, validación y estructura interna de las estaciones (análisis de discriminación, alpha de Cronbach, medias y desviación estándar). 3) Final: Aplicación a la muestra por conveniencia no aleatoria conformada por 20 profesores del Departamento de Informática Biomédica de la Facultad de Medicina de la UNAM.Resultados: Se realizó un análisis de discriminación de reactivos de 8 estaciones 2 tienen 5 reactivos que discriminan .05, 7 obtienen cargas factoriales aceptables; explicando un 88.35% de la varianza, un alpha de Cronbach de .68. La media de desempeño docente en el EDOE fue de 73.23 con desviación estándar de 8.4. La estación mejor evaluada fue estrategias de aprendizaje (85 ± 16.98) y la menor fue orientar la discusión (67.48 ± 15.62). Se detectó evidencia confirmatoria con exámenes similares utilizados en la Facultad de Medicina, se cumplieron los objetivos planteados de la creación de este instrumento, se detectó una media preevaluación EDOE y los profesores fueron realimentados sobre su desempeño con fines formativos.Discusión y conclusiones: Se propone un instrumento de evaluación EDOE con suficiente evidencia de validez que puede ser utilizado en la evaluación del grado de competencia docente. Lo anterior orienta a crear instrumentos de evaluación docente que sigan buenas prácticas en cuanto a la elaboración de instrumentos con base en la cadena de evidencia de validez."

"El Examen Clínico Objetivo Estructurado (ECOE) es un método de evaluación de la competencia clínica poderoso para mejorar el aprendizaje de la misma, así como para establecer si los estudiantes alcanzaron un estándar aceptable de competencia clínica para continuar avanzando en las diferentes etapas de su proceso formativo. En este artículo se describirán los aspectos relevantes de la planeación, elaboración, aplicación y análisis del ECOE para evaluar el nivel de competencia clínica de los estudiantes de medicina de pregrado o posgrado."

"Introducción: La Facultad de Medicina de la UNAM implementó el Plan de Estudios 2010 que sugiere al profesor que emplee una variedad de estrategias de enseñanza centradas en el estudiante para favorecer el aprendizaje significativo; se desconocen las estrategias de enseñanza que utilizan los profesores en el proceso educativo.Objetivo: Identificar las estrategias de enseñanza utilizadas por los profesores en las asignaturas de Anatomía, Embriología Humana y Biología Celular y Tisular de la Facultad de Medicina de la UNAM (ciclo escolar 2013-2014).Método: Se clasificaron las estrategias de enseñanza que se desarrollan en el espacio educativo del Plan de Estudios 2010 y en los programas académicos de las asignaturas morfológicas. Se diseñó un cuestionario de opinión con escala tipo Likert de 37 enunciados (versión final) y cuatro opciones de respuesta: nunca, algunas veces, frecuentemente y siempre para identificar las estrategias de enseñanza que utilizan los profesores, mismas que están clasificadas como: Centradas en el estudiante; Centradas en el profesor; Integración del conocimiento.Resultados: El cuestionario se aplicó a 1,476 alumnos de primer año con una tasa de respuestas válidas del 93%. El análisis de consistencia interna se determinó mediante el coeficiente Alfa de Cronbach con .963, con una varianza explicada de 51.3%. Los resultados muestran que los profesores utilizan predominantemente las estrategias centradas en el profesor, pero existe una transición donde tienden a emplear estrategias centradas en los alumnos.Conclusiones: El instrumento mostró buena adecuación. Este puede ser replicado en otras asignaturas y obtener una visión amplia sobre las estrategias de enseñanza utilizadas por los profesores en la Facultad bajo el Plan de Estudios 2010. Predominan las estrategias centradas en el profesor, se sugiere mayor difusión de las centradas en el estudiante con base en la evidencia y así lograr el perfil del profesor que requiere el Plan de Estudios 2010."

ResumenLa pregunta de investigación es un elemento fundamental del proceso científico en educación médica, como parte del continuo integrado por una secuencia lógica de actividades que procura descubrir las características de los fenómenos y procesos educativos así como las relaciones entre sus elementos, mediante la observación, el raciocinio y la comprobación, permitiendo avanzar el conocimiento de la disciplina.En este artículo se analiza el inicio de la investigación en educación médica cuando el investigador tiene conciencia de un problema que genera interrogantes ante las cuales se buscan respuestas. La pregunta de investigación es una aproximación estructurada ante la incertidumbre en torno de un problema que el investigador pretende resolver o aclarar; incertidumbre relacionada con un vacío en el conocimiento de la realidad o incertidumbre ante una contradicción.Se revisan los propósitos de la pregunta de investigación. Se reflexiona sobre los retos a superar al plantearla y se ejemplifica con tres enfoques: los aspectos de una actividad educacional (quién, cuándo, dónde, qué, cómo y porqué); el enfoque “PICOT’, similar al utilizado en Medicina Basada en Evidencias; el método sistemático de Bordage y Dawson con nueve preguntas. Asimismo, se sugiere valorar las preguntas con los siguientes criterios: factibilidad, interés, novedad, ética y relevancia.Los enfoques que se recomiendan tienen elementos comunes y complementarios por lo que cada investigador puede seleccionar el que responda mejor a sus necesidades y objetivos, dado que en el proceso de la investigación no hay “recetas de cocina’ rígidas sino se trata de un proceso de razonamiento creativo y complejo que no tiene límites o rutas lineales específicas.AbstractThe research question is a fundamental component of the scientific method in education, and is an integrated continuum of a logical sequence of steps and activities that attempt to discover the characteristics of educational processes and phenomena, as well as the relationships between its elements, through observation, reasoning and verification, generating advancement of the discipline.This paper analyzes the beginning of the medical education research process, when the investigator develops awareness of a problem that generates questions which, in turn, beget the search for answers. The research question is a structured approach to the uncertainty surrounding an educational problem, which the investigator attempts to clarify; this uncertainty is related to a knowledge gap in educational reality, or after an unexplained contradiction.The purposes of the research question are reviewed, and reflections are made about the challenges of its writing and structuring. Three approaches are used as examples: the structural aspects of an educational activity (who, when, where, what, how and why); the “PICOT’ strategy, similar to the method used in evidence-based medicine; and the systematic method proposed by Bordage and Dawson with nine questions. It is recommended to evaluate research questions with the following criteria: feasibility, interest, novelty, ethics and relevance.The suggested approaches have common and complementary elements, so each investigator should select the method that is more appropriate to his/her needs or objectives, given that the research process is not a rigid “cookbook’ approach, but rather a creative and complex chain of reasoning that has no fixed limits or specific linear routes.

Background: Clinical reasoning is an essential skill in physicians, required to address the challenges of accurate patient diagnoses. The goal of the study was to compare the diagnostic accuracy in Family Medicine residents, with and without the use of a clinical decision support tool (DXplain http://www.mghlcs.org/projects/dxplain). Methods: A total of 87 first-year Family Medicine residents, training at the National Autonomous University of Mexico (UNAM) Postgraduate Studies Division in Mexico City, participated voluntarily in the study. They were randomized to a control group and an intervention group that used DXplain. Both groups solved 30 clinical diagnosis cases (internal medicine, pediatrics, gynecology and emergency medicine) in a multiple-choice question test that had validity evidence. Results: The percent-correct score in the Diagnosis Test in the control group (44 residents) was 74.1±9.4 (mean±standard deviation) whereas the DXplain intervention group (43 residents) had a score of 82.4±8.5 (p Conclusions: Family Medicine residents have appropriate diagnostic accuracy that can improve with the use of DXplain. This could help decrease diagnostic errors, improve patient safety and the quality of medical practice. The use of clinical decision support systems could be useful in educational interventions and medical practice.

There is no systematic evaluation of teaching performance in the clinical area at UNAM Faculty of Medicine. The study purpose is to assess the teaching competence level in the Undergraduate Medical Internship (UMI).The paper describes the process of psychometric validity for the instrument designed to evaluate teaching competence in the UMI. This instrument was constructed from two previously developed instruments. The final version with 54 items in a Likert scale was studied with exploratory factorial analysis. Four dimensions were obtained: Solution of clinical problems, Psychopedagogy, Mentoring, and Evaluation. The instrument had a reliability of 0.994, with an explained variance of 77.75%.To evaluate the teaching competence level, we administered 844 questionnaires to a sample of students with a response rate of 89%. We obtained an overall global score of 89.4 ± 9.6 (mean ± SD). The dimension Solution of clinical problems was the one with a greater value, in contrast with the dimension of Evaluation, which had a lower score.The teachers of the UMI are considered educators with high level of teaching competence, according to the perceptions of the undergraduate internal doctors. The evaluation of teaching competence level is very important for institutions that look for the continuous professional development of its faculty.Introducción: en la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) no hay una evaluación sistemática del desempeño docente del área clínica. El propósito de este estudio fue evaluar el nivel de competencia docente en el Internado Médico de Pregrado (IMP). Método: se describe el proceso de la validación psicométrica de un instrumento diseñado para evaluar la competencia docente en el IMP. El instrumento se construyó a partir de dos instrumentos previamente desarrollados y con base en el análisis factorial exploratorio de un instrumento con 54 reactivos y una escala tipo Likert, se obtuvieron cuatro dimensiones. El instrumento tuvo una confiabilidad de 0.994, con una varianza explicada de 77.75%. Resultados: para evaluar en nivel de competencia docente, se utilizaron 844 cuestionarios, lo que constituye la muestra de estudiantes, con una tasa de respuesta del 89%. Se obtuvo una media global de 89.4 ± 9.6 de desviación estándar. La Solución de problemas clínicos fue la que obtuvo mayor valoración, en contraste con la dimensión de Evaluación, que observó menor valoración. Conclusiones: los docentes del IMP son considerados educadores con alto nivel de competencia docente, según las percepciones de los médicos internos de pregrado. Se advierte cómo la evaluación de la competencia docente es indispensable en cualquier institución que busque el desarrollo profesional continuo de sus profesores.

Research on diagnostic and formative assessment competencies during undergraduate medical training is scarce in Latin America.To assess the level of clinical competence of students at the beginning of their medical internship in a new curriculum.This was an observational cross-sectional study in UNAM Faculty of Medicine students in Mexico City: a formative assessment of the second class of Curriculum 2010 students as part of the integral evaluation of the program. The assessment had two components: theoretical and practical.We assessed 577 students (65.5%) of the 880 total population that finished the 9th semester of Curriculum 2010. The written exam consisted of 232 items, with a mean of 61.0 ± 19.6, a difficulty index of 0.61, and Cronbach's alpha of 0.89. The mean of the objective structured clinical examination (OSCE) was 62.2 ± 16.8, with a mean Cronbach's alpha of 0.51. Results were analyzed by knowledge area and exam stations.The overall results provide evidence that students achieve sufficiently the competencies established in the curriculum at the beginning of the internship, that they have the necessary foundation for learning new and more complex information, and integrate it with existing knowledge to achieve significant learning and continue their training.

"En la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM) no hay una evaluación sistemática del desempeño docente del área clínica. El propósito de este estudio fue evaluar el nivel de competencia docente en el Internado Médico de Pregrado (IMP). Método: se describe el proceso de la validación psicométrica de un instrumento diseñado para evaluar la competencia docente en el IMP. El instrumento se construyó a partir de dos instrumentos previamente desarrollados y con base en el análisis factorial exploratorio de un instrumento con 54 reactivos y una escala tipo Likert, se obtuvieron cuatro dimensiones. El instrumento tuvo una confiabilidad de 0.994, con una varianza explicada de 77.75%.Resultados: para evaluar en nivel de competencia docente, se utilizaron 844 cuestionarios, lo que constituye la muestra de estudiantes, con una tasa de respuesta del 89%. Se obtuvo una media global de 89.4 ± 9.6 de desviación estándar. La Solución de problemas clínicos fue la que obtuvo mayor valoración, en contraste con la dimensión de Evaluación, que observó menor valoración.Conclusiones: los docentes del IMP son considerados educadores con alto nivel de competencia docente, según las percepciones de los médicos internos de pregrado. Se advierte cómo la evaluación de la competencia docente es indispensable en cualquier institución que busque el desarrollo profesional continuo de sus profesores."

ResumenIntroducciónDiversos estudios han analizado al examen clínico objetivo estructurado (ECOE) en Odontología para acumular evidencia de validez al utilizarlo como una herramienta de evaluación de la competencia clínica en los estudiantes. En este estudio introdujimos un ECOE diseñado en Odontología y se discuten los resultados del análisis desde la perspectiva de la teoría de la generalizabilidad, utilizando datos obtenidos de una aplicación del examen.MétodoSe realizó un estudio observacional y transversal en la Facultad de Odontología de la UNAM. Participaron 120 estudiantes en un ECOE diseñado ex profeso en un circuito de 18 estaciones con duración de 6min cada una, en el contexto de un curso de Odontopediatría del cuarto año de la licenciatura en Cirujano Dentista. Un análisis basado en la teoría de la generalizabilidad, con evaluadores y estaciones considerados como facetas, identificó las principales fuentes de variabilidad en los datos.ResultadosLa media (y desviación estándar) global de las calificaciones en el examen corresponde a 44% (7%), con las medias por estación variando entre el 23 y el 66%. El estudio de generalizabilidad mostró que la faceta correspondiente a los evaluadores explicó una parte significativa (13%) de la variación en los resultados por estación, más que la competencia clínica de los sustentantes (6%). En el estudio de decisión se encontró un coeficiente de generalizabilidad relativo de 0.63 y absoluto de 0.55.ConclusionesA la luz de los coeficientes de generalizabilidad relativamente bajos en el estudio de decisión, es importante analizar más allá el desarrollo del ECOE-O para minimizar el efecto de las fuentes que introducen varianza irrelevante al constructo en los resultados; especialmente, se requiere revisar y ajustar las estaciones, así como calibrar mejor a los profesores para homogeneizar los criterios de evaluación.AbstractIntroductionVarious studies have examined Objective Structured Clinical Examinations (OSCEs) in Dentistry in order to accumulate validity evidence for their use as an assessment tool of clinical competence in students. In this article, a newly designed OSCE in Dentistry (OSCE-D) is introduced and discussion is presented on the results of an analysis from the perspective of generalisability theory using data obtained from an application of the examination.MethodAn observational and cross-sectional study was conducted in the Faculty of Dentistry at UNAM. One hundred and twenty pre-graduate students participated in an OSCE that consisted of 18 stations, with a duration of 6min each, in the context of a fourth-grade Paediatric Dentistry course. An analysis based on generalisability theory, with raters and stations being considered as facets, identified the main sources of variability in the data.ResultsThe overall mean (and standard deviation) of the OSCE score, across participants and stations, was 44% (7%), with the station means varying between 23% and 63%. The generalisability study showed that the facet of the raters explained a significant portion (13%) of the variance in the station results, which was more than the clinical competence of the participants (6%). The decision study produced a generalisability index of 0.63 and a dependability index of 0.55.ConclusionsIn view of the rather low reliability indices from the decision study, it is important to make a further analysis of the OSCE-D so as to minimise the effect of sources that introduce construct-irrelevant variance into the results. In particular, an adjustment of the stations may be required, as well as a better standardising in the use of evaluation criteria by the raters.

Assessing teaching performance is important for students’ learning. Objective Assess teaching performance in a medical school, using three strategies. Method 288 Teachers were studied. The three assessment strategies were: students’ academic achievement measured with validated exams, teachers’ evaluation by students’ opinion (2,656 students) with a validated instrument, and a self-assessment tool. Results There were significant differences (p≤0.001, ANOVA) among the three assessment strategies. Four different teacher categories were obtained using students’ opinion. Conclusion We identified high- performance teachers, those requiring faculty development and those who do not fulfill appropriately their teaching responsibilities.

ResumenSe describen el proceso y resultado de una validación psicométrica de un instrumento para estimar el nivel de las competencias de informática en estudiantes universitarios de nuevo ingreso. El nuevo instrumento, que se construyó a partir de un cuestionario existente (para una población anglófona), mide seis competencias a través de 45 ítems en los cuales los estudiantes expresan su grado de familiaridad con tareas concretas de cómputo. Los datos incluyeron las respuestas de dos cohortes de estudiantes de medicina (2 389 participantes, en total): la primera cohorte sirvió para seleccionar los ítems de la versión final del cuestionario; la segunda para una validación cruzada del nuevo instrumento. Se realizaron (a) análisis psicométricos basados en una variante del modelo del factor común y una nueva variante del modelo de crédito parcial generalizado, que da cuenta de dependencias locales entre los ítems y (b) análisis de ecuaciones estructurales para investigar las relaciones entre sí de las seis competencias. Los resultados psicométricos indicaron un buen ajuste a los modelos y mostraron adecuados valores para la fiabilidad y validez. El análisis estructural reveló relaciones de prerrequisito entre las habilidades. Los resultados fomentan el uso del instrumento para la evaluación for-mativa de los estudiantes.AbstractThis article informs on the process and the results of an instrument aimed at measuring the level of computer competencies in first-year university students. The new instrument, which was constructed from an existing questionnaire (originally for an English-speaking population), measures six competencies using 45 items in which students express their familiarity with specific computer tasks. Data included responses from two cohorts of medical students (for a total of 2 389 participants): Based on the results for the first cohort, items were selected for the questionnaire’s final version, which subsequently was evaluated in a cross-validation study on the second cohort. The analyses were based on (a) a variant of the common factor model and a novel variant of the generalized partial credit model that accounts for local item dependencies, and (b) structural equation modeling which examines the relations among the six abilities measured by the instrument. The psychometric results showed good fit of the models to the data and adequate reliability and validity indices. The structural analysis revealed prerequisite relations among the abilities. The results lend support to the instrument as a functional tool in the students’ formative evaluation process.

Background Medical schools and healthcare institutions need leaders with formal training in education, in order to provide quality medical teaching. An answer to this need lies in the graduate programs of health professions education. Many programs exist, but there is a dearth of publications about their educational processes and experiences. The purpose of this study was to explore the teaching and learning experiences of students, teachers, and graduates of the Master in Health Professions Education (MHPE) program at the National Autonomous University of Mexico (UNAM). Methods A qualitative approach was used with focus group discussions with students, graduates, and teachers, to explore their opinions, feelings, and experiences about the program. Purposeful sampling of participants was done. Focus group guides were developed for the different study groups; testimonies were codified and categorized with axial coding and a constant comparison method. Results Testimonies from 19 participants in three focus groups were obtained (five graduates, seven current students, and seven teachers). The data were grouped in seven thematic categories: expectations, feedback of research projects, the tutorial process, teaching strategies, usefulness of what was learned, professional development, and assessment. Positive elements of the program were identified as well as areas in need of improvement. Discussion The MHPE program at UNAM has been a positive experience for students and mostly fulfilled their expectations, they learned the basic theories and practical aspects of teaching, learning, and assessment in the health professions. Some areas need improvement, such as tutor performance and timely feedback to the students. Graduates think the competencies acquired in the program are useful for their professional practice. This information will be used to improve the program. There is a need to meet international standards in MHPE programs.

ResumenIntroducciónLos exámenes de opción múltiple son la herramienta más utilizada en la evaluación del conocimiento en estudiantes de medicina. Se ha demostrado que tres opciones para cada ítem son suficientes, sin embargo, muchos exámenes en nuestro medio aún están compuestos por preguntas con cinco opciones. El estudio de los distractores no funcionales (DNF) es necesario para mejorar la calidad de los exámenes.ObjetivoIdentificar los DNF y su comportamiento en una evaluación sumativa de altas consecuencias en estudiantes de medicina.MétodoSe realizó análisis psicométrico del Examen Profesional Teórico de la Facultad de Medicina de la Universidad Nacional Autónoma de México (UNAM), en la versión de 2008. Se calcularon dificultad, discriminación y correlación punto-biserial de cada ítem y de sus cuatro distractores. Se obtuvo la frecuencia de preguntas con cero a cuatro DNF y se valoraron las diferencias de DNF por ítem y sus características psicométricas. Se contrastó el comportamiento psicométrico del examen completo, con una versión en la que se eliminaron los ítems con cuatro DNF.ResultadosEl examen tuvo 420 reactivos de opción múltiple con cinco opciones de respuesta, fue contestado por 882 sustentantes. El instrumento tuvo un alfa de Cronbach de 0.93. De los 1 680 distractores evaluados, sólo 788 (46.9%) fueron funcionales. Más de dos tercios del total de ítems contaron con dos o más DNF. Se encontró un promedio de 2.12 ± 0.99 DNF por ítem, la mayoría de los cuales fueron elegidos por menos de 5% de los sustentantes. A mayor cantidad de DNF, mayor índice de dificultad y menor poder de discriminación de los ítems.ConclusionesLos ítems con dos distractores funcionales comprenden la mayoría de los reactivos del examen. Dos distractores plausibles representan una alternativa asequible para elaborar los ítems, manteniendo o mejorando la confiabilidad y el perfil psicométrico de este tipo de evaluaciones.AbstractIntroductionMultiple-choice question (MCQ) exams are the most frequently used tool for knowledge assessment of medical students. It has been shown that three options in each item are enough; however, many tests in our country still use questions with five options. The study of non-functional distractors (NFD) is needed in order to improve the quality of our assessment instruments.ObjectiveTo identify NFD and their behavior in a high-stakes summative exam in medical students.MethodA psychometric analysis was performed of the Theoretical Professional Exam at UNAM Faculty of Medicine, the 2008 version. Difficulty, discrimination and point-biserial correlation were calculated for each item and its four distractors. The frequency of items with zero to four NFD was obtained, and the differences of NFD per item and their psychometric characteristics were assessed. The psychometric behavior of the whole exam was compared to a version where items with four NFD were removed.ResultsThe test had 420 MCQ items with five options, and was answered by 882 students. The instrument had a Cronbach’s alpha of 0.93. Of the 1 680 distractors evaluated, only 788 (46.9%) were functional. More than two-thirds of the total of items had two or more NFD. There was an average of 2.12 ± 0.99 NFD per item, the majority of which were chosen by less than 5% of the test takers. With higher quantity of NFD, the items’ difficulty index was higher and the discrimination index was lower.ConclusionsItems with two functional distractors were the majority in the exam. Two plausible distractors are a reasonable alternative for item development, maintaining or improving the reliability and psychometric profile of these types of tests.