Propuesta del modelo EPELOP

Ricardo Velasco Preciado

 

Resumen

En este material se establece un acercamiento a un modelo de evaluación de programas educativos en línea, tomando como referencia la Especialización en la Enseñanza y Aprendizaje de Inglés como Lengua Extranjera (EEAILE) de la Universidad Pedagógica Nacional.

Este modelo retoma el método CIPP de Stufflebeam desde una perspectiva sistémico/constructivista y holística que tiene como fin el perfeccionamiento del programa educativo en línea.

Abstract

In this paper, it is established an approach to an evaluation model of online educational programs, taking as reference the Specialization in Teaching and Learning English as a Foreign Language (EEAILE) of the Universidad Pedagógica Nacional.

This model takes the CIPP method of Stufflebeam from a systemic / constructivist and holistic perspective that aims at perfecting the online educational program.

Palabras clave: evaluación curricular, educación en línea, modelo de evaluación, fundamentos teóricos de evaluación, seguimiento.

Keywords: curricular evaluation, online education, evaluation model, theoretical evaluation fundamentals, monitoring of educational program.

 

Un mecanismo idóneo para la mejora de los programas educativos es su evaluación, la cual implica la recopilación de información científica sobre sus fortalezas y debilidades con un tratamiento adecuado, que constituya una base confiable para mejorar los programas o, más aún, perfeccionarlos. Así, la evaluación debe ser una práctica cotidiana para tener un monitoreo permanente de todos los componentes del programa, es decir, un espejo que lo muestre tal como es, sin un afán acusatorio o punitivo.

En este sentido, surge la necesidad de contar con modelos de evaluación de programas educativos confiables, en concordancia con la época y los retos actuales; así como de distintas modalidades, como las de en línea; la cual ha crecido aceleradamente en los últimos años a causa, entre otros factores, de los avances en las tecnologías de la información y la comunicación (TIC).

Un modelo de evaluación debe sustentarse con sólidas bases teóricas y corresponder a la naturaleza, contexto, objetivos, condiciones y modalidad del programa a evaluar; de forma tal que los resultados de la evaluación sean útiles y confiables para su mejora.

En este caso, para delinear un modelo de evaluación de programas en línea, se toma como referencia la Especialización en la Enseñanza y Aprendizaje de Inglés como Lengua Extranjera (EEAILE), que se imparte desde la Universidad Pedagógica Nacional (UPN) Unidad Ajusco desde el 2012, justamente en la modalidad en línea. El que se tome esta referencia, no impide que el modelo pueda ser implementado en otros programas en línea, siempre y cuando se hagan las adecuaciones correspondientes de acuerdo con su propósito, naturaleza y contexto.

Este modelo intenta obtener información más que para su mejora, para su perfeccionamiento, en términos de su función pedagógica, su función social y su uso eficiente de recursos. Se denomina modelo Evaluativo de Programas de Educación en Línea Orientado a su Perfeccionamiento (EPELOP) y se presenta a continuación desglosado en sus fundamentos, objetivos, definición de lo que se evaluará, metodología, riesgos y prácticas erróneas a evitar, Comunicación de resultados de seguimiento, Reportes evaluativos del programa, evaluación y Lineamientos de comunicación de resultados.

Fundamentos del modelo

Para fundamentar el modelo de evaluación para programas educativos en línea, se han analizado los postulados de modelos como los basados en objetivos, en la experimentación, en el consumidor (los posibles aprendientes), en el cliente (el aprendiente), en competencias; la evaluación iluminativa, la constructivista; la orientada a la toma de decisiones, al perfeccionamiento, y otras.

En este análisis, se ha considerado que la evaluación orientada hacia el perfeccionamiento desde una perspectiva sistémico/constructivista es la que más responde a las necesidades de evaluación planteadas debido a su caracter holístico, por lo que incluye en gran parte los postulados de los demás, pero no se limita a ellos; a la vez que los dimensiona y relaciona para generar información que permita la adecuada toma de decisiones.

Los fundamentos de la evaluación orientada hacia el perfeccionamiento parten del modelo CIPP de Stufflebeam (1987), el cual consiste a grandes rasgos, como lo marcan sus siglas, en evaluar el Contexto, los Insumos, los Procesos y los Productos de los programas educativos.

En la evaluación del contexto se considera la naturaleza de la institución, el entorno y condiciones en las que surge el programa, las características del mismo, el perfil de sus destinatarios y sus objetivos a alcanzar. En este sentido se analiza si la definición del programa puede cubrir las necesidades detectadas, es decir, si este está encaminado a reducir la distancia entre lo que es (las condiciones reales de los destinatarios) y lo que debe ser (las condiciones idóneas).

La evaluación de los insumos tiene como finalidad valorar si el programa educativo en su dimensión intrínseca, puede contribuir verdaderamente a satisfacer las necesidades planteadas.

En cuanto a la evaluación de los procesos, esta se refiere a la observación de la ejecución (operación) del programa, mediante los instrumentos de recopilación de los datos correspondientes.

Finalmente, la evaluación del producto se refiere a la medición de los logros obtenidos en el programa educativo, lo cual contestaría a la pregunta de qué tanto se cubrieron las necesidades detectadas o qué tanto se cumplieron los objetivos planteados.

En cuanto a la perspectiva sistémico/constructivista del modelo que se propone, se tiene en cuenta que “la evaluación no sólo se limita a registrar o medir resultados para la toma de decisiones, sino que contribuye al conocimiento que fundamenta la intervención, aportando al aprendizaje y a los conocimientos que los propios equipos a cargo de los proyectos tienen del problema que abordan” (Román, 1999). En esta perspectiva, la evaluación es un proceso dinámico, crítico y transformador que busca dar cuenta de la coherencia, pertinencia y relevancia de los programas, destacando la importancia de la población beneficiada. Además, considera criterios más cuantitativos como el costo-beneficio y la eficiencia de recursos (Román).

El modelo Evaluativo de Programas de Educación en Línea Orientado a su Perfeccionamiento (EPELOP) que aquí se propone, contempla además, establecer políticas que guíen la planeación e implementación del modelo, las cuales se refieren en el artículo Modelo educativo para la sociedad del conocimiento:

  • El modelo de evaluación debe ser puesto en común, desde el principio, con todos los actores involucrados e, inclusive, debe promover la aceptación del mismo y la conveniencia de contar con una evaluación que arroje datos útiles para todos.
  • Todos evaluamos a todos. Todos los involucrados en el proceso deben autoevaluarse y coevaluarse.
  • El modelo de evaluación y todas las actividades educativas se realizan dentro de un código de principios y valores, claramente identificados por todos.
  • El modelo de evaluación debe ser holístico.
  • Debe haber difusión periódica de los resultados que va generando la evaluación al término de cada etapa, por ejemplo la de diagnóstico. Esta difusión debe ser cuidada, de tal forma que no hiera susceptibilidades, sino que pueda ser un instrumento de mejora.
  • La información que se recoge debe incluir datos cuantitativos y cualitativos. (Velasco, 22 de octubre del 2015, p. 14)

Además, el modelo EPELOP se propone cuidar la confidencialidad de la información generada por cualquiera de las fuentes, a fin de evitar la posibilidad de represalias.

Así mismo, en este modelo de evaluación, se retoman las siguientes cuatro condiciones:

  • Ser útil al facilitar informaciones acerca de virtudes y defectos así como soluciones para mejorar.
  • Ser factible al emplear procedimientos evaluativos que se puedan utilizar sin mucho problema.
  • Ser ética al basarse en compromisos explícitos que aseguren la necesaria de cooperación, la protección de los derechos de las partes implicadas y la honradez de los resultados.
  • Ser exacta al describir el objeto en su evolución y contexto, al revelar virtudes y defectos, al estar libre de influencias y al proporcionar conclusiones (Mora, julio-diciembre 2004, p. 5).

El modelo se aplica desde la planeación del programa y se deberá implementar a la par de todo el proceso. En la fase de operación se intensifica con acciones de Seguimiento, a fin de poder prever y resolver problemáticas al tiempo que se detectan.

A la par de la difusión de los resultados, también el modelo EPELOP evaluará sus propios instrumentos y procesos a fin de, también, irse perfeccionando. Es decir se hará una metaevaluación externa (evaluación de la evaluación).

Objetivos del modelo

Teniendo como directriz la evaluación orientada hacia el perfeccionamiento, de acuerdo con los postulados de Daniel Stufflebeam (1987) en el modelo CIPP y desde una perspectiva sistémico-constructivista, los objetivos del modelo EPELOP que aquí se proponen son:

Objetivo general

Recopilar y procesar información útil para tomar decisiones conducentes al perfeccionamiento del programa.

Objetivos particulares

  • Valorar en qué grado la definición del programa educativo, en cuanto a sus condiciones, características, objetivos y modalidad, es la adecuada para cubrir las necesidades del público destinatario, considerando su contexto.
  • Valorar en qué grado los componentes (insumos) intrínsecos del programa educativo (infraestructura tecnológica, contenidos, diseño pedagógico-didáctico, ambiente virtual, materiales didácticos, estructura administrativa, modelo evaluativo, etc.) son idóneos para cubrir las necesidades del público destinatario.
  • Determinar las fortalezas y debilidades de la operación del programa operativo, a fin de la información obtenida se pueda utilizar para perfeccionar dicha operación.
  • Recopilar información confiable en cuanto a los resultados obtenidos en el programa educativo.

Definición de lo que se evaluará

En concordancia con los objetivos planteados, se pretende evaluar:

√ La definición del programa educativo, en cuanto a sus condiciones, características, objetivos y modalidad, con respecto a su capacidad para cubrir las necesidades del público destinatario, considerando el contexto de este y la naturaleza de la institución ofertante.

Para ello, se deberá obtener la siguiente información:

  • La naturaleza de la institución (visión, misión, objetivos).
  • La naturaleza del área que definió el programa.
  • Funciones y relación que tienen con el programa otras áreas involucradas, tales como Servicios Escolares, Tecnologías de la Información, Dirección académica, Recursos Humanos, área jurídica, Difusión y Publicidad, etcétera.[1]
  • Contexto en el que se circunscribe el programa. Incluye:
    • Problemática social a atender.
    • Problemática de los principales actores involucrados (posibles destinatarios).
    • Contexto normativo.
    • Posibles soluciones.
    • Propuesta de programa educativo.
  • Ficha técnica del programa: Justificación, denominación del programa, nivel educativo, grado a obtener, objetivos del programa, duración, metodología, modalidad, perfil de ingreso y de egreso del programa, y costo de la colegiatura del programa.
  • El perfil del destinatario del programa. Incluir formación y experiencia profesional, nivel de competencias que le permitiría participar de forma óptima en el programa, como las competencias en el uso de las TIC, competencias académicas, etcétera.
  • Contexto del destinatario. Incluir:
    • Ambiente laboral. Nivel educativo, si la institución es pública o privada, horas que labora, tipo de contrato.
    • FODA de su entorno laboral.
    • Acceso a las TIC (desde su entorno laboral, desde su casa, dispositivos que utiliza, etcétera).
  • Recursos con los que cuenta el programa. Recursos humanos –incluye organigrama–, recursos materiales –incluyen infraestructura tecnológica–, instalaciones, recursos financieros.

√ Los componentes (insumos) intrínsecos del programa educativo –es decir sus dimensiones pedagógica, tecnológica, operativa, administrativa y evaluativa– en relación con su idoneidad para cubrir las necesidades del público destinatario.

Para ello, se deberá obtener la siguiente información:

  • Descripción del programa en cuanto a su dimensión educativa (pedagógica): fundamentos teóricos, su modelo educativo considerando la modalidad en línea, contenidos, diseño didáctico, modelo operativo, eventos presenciales si aplican, etcétera.
  • Descripción del programa en cuanto a su dimensión tecnológica, lo que incluye su modelo tecnológico-operativo, capacidad de almacenamiento, servidores, sistema de control escolar, LMS, CMS (si aplica), herramientas comunicativas (sistemas de videoconferencias, correos, chats, etc.), tipos de materiales didácticos (interactivos, SCORM, videos, animaciones, textos, etcétera).
  • Descripción de la dimensión administrativa del programa, que atraviesa la convocatoria, la selección, la inscripción, la acreditación, la reinscripción, la emisión de certificados y el trámite de obtención de grado correspondiente.
  • Descripción del programa en cuanto a su dimensión evaluativa. El modelo de evaluación del programa, que es lo que trata este artículo, en la lógica de también evaluar el programa de evaluación.
  • Descripción del modelo de capacitación del personal del programa (diseñadores, tutores, otros académicos, administrativos, etcétera).
  • Reporte de grado de satisfacción de los contenidos desde la perspectiva del público destinatario (tutorandos).
  • Pertinencia de los contenidos desde la perspectiva de los tutores del programa.
  • Reporte de grado de satisfacción del diseño didáctico del programa por parte del público destinatario (tutorandos).
  • Fortalezas y debilidades del diseño didáctico del programa, lo que incluye sus actividades de aprendizaje, en cuanto a la construcción de conocimiento de los tutorandos, tomando en cuenta su perfil y contexto, desde la perspectiva de los tutores.
  • Reporte de grado de satisfacción del ambiente digital (LMS, CMS, herramientas comunicativas, material didáctico, etc.) del programa por parte del público destinatario.
  • Fortalezas y debilidades del ambiente digital del programa, desde la perspectiva de los tutores.
  • Autoevaluación de contenidos, diseño didáctico, ambiente digital y procesos administrativos por parte de los responsables.

√ La operación del programa operativo, a fin de determinar sus fortalezas y debilidades. Para ello, se deberá obtener la siguiente información:

  • El organigrama de recursos humanos que interviene en la operación del programa de forma directa e indirecta.
  • El currículo de los recursos humanos que intervienen en la operación del programa.
  • Reporte de grado de satisfacción de los candidatos no aceptados en la convocatoria del programa en las diferentes etapas de los procesos de aceptación.
  • Reporte de grado de satisfacción de los candidatos aceptados e inscritos en el programa.
  • Reporte de grado de satisfacción de la atención de Servicios Escolares desde la perspectiva del público destinatario.
  • Reporte de desarrollo de los cursos de capacitación del personal del programa (descripción de los programas de capacitación, duración, horarios, lugar, no. de participantes, eficiencia terminal, criterios de evaluación de aprendizaje, resultados obtenidos, etcétera).
  • Reporte de grado de satisfacción de la atención del (la) responsable administrativo(a) desde la perspectiva del público destinatario.
  • Reporte de grado de satisfacción de la tutoría desde la perspectiva del público destinatario.
  • Reporte de grado de satisfacción del funcionamiento del ambiente virtual del programa desde la perspectiva del público destinatario.
  • Reporte de grado de satisfacción de la coordinación académica desde la perspectiva del público destinatario.
  • Reporte de grado de satisfacción de la operación de sedes (en caso de que haya) desde la perspectiva del público destinatario.
  • Reporte de grado de satisfacción de soporte técnico desde la perspectiva del público destinatario.
  • Autoevaluación de los tutores sobre su desempeño.
  • Coevaluación de los tutores sobre los aspectos que ellos pueden observar.
  • Perspectiva por parte de los tutores en cuanto los diferentes aspectos relativos a la operación del programa: convocatoria, selección, capacitación, seguimiento y acompañamiento a tutoría, funcionamiento del ambiente virtual, coordinación académica, coordinación operativa, actitud de los tutorandos y su desempeño.
  • Perspectiva de la coordinación del programa en cuanto a fortalezas y debilidades de su operación. Esto incluye:
    • La actitud y aptitud observadas de los tutores evidenciadas por su desempeño, es decir, su participación en las reuniones programadas, su actitud en la resolución de problemas, su papel en la conformación de un ambiente favorable para el programa, su contribución al programa, sus habilidades de trabajo en equipo y otros puntos relacionados.
    • La actitud y aptitud observadas del (los) responsable(s) administrativo(s) evidenciadas por su desempeño, , es decir, su participación en las reuniones programadas, su actitud en la resolución de problemas, su papel en la conformación de un ambiente favorable para el programa, su contribución al programa, sus habilidades de trabajo en equipo y otros puntos relacionados.
    • La actitud y aptitud observadas del (la) responsable del ambiente virtual evidenciadas por su desempeño, es decir, su participación en las reuniones programadas, su actitud en la resolución de problemas, su papel en la conformación de un ambiente favorable para el programa, su contribución al programa, sus habilidades de trabajo en equipo y otros puntos relacionados.
    • La actitud y aptitud observadas de las áreas relacionadas (servicios escolares, Tecnologías de la Información, dirección general y las que corresponda) con el programa educativo.
    • La actitud y aptitud observadas del resto del personal que participa en la operación del programa.
    • La autoevaluación del (la) coordinador(a).
  • Valoración del (la) responsable académico del programa en cuanto a sus fortalezas y debilidades en la operación académica. Esto incluye:
    • La actitud y aptitud observadas de los tutores evidenciadas por su desempeño.
    • La actitud y aptitud observadas de la coordinación del programa, evidenciadas por su desempeño como líder del mismo.
    • La actitud y aptitud observadas del (la) responsable administrativo del programa, evidenciadas por su desempeño.
    • La actitud y aptitud observadas de las áreas relacionadas (servicios escolares, Tecnologías de la Información, dirección general y las que corresponda) con el programa educativo.
    • La actitud y aptitud observadas del resto del personal que participa en la operación del programa.
    • La autoevaluación del (la) responsable académico.
  • Valoración del (la) responsable administrativo(a) del programa en cuanto a sus fortalezas y debilidades en la dimensión administrativa. Esto incluye:
    • La actitud y aptitud observadas de los tutores.
    • La actitud y aptitud observadas de la coordinación del programa, evidenciadas por su desempeño como líder del mismo.
    • La actitud y aptitud observadas del (la) responsable académico del programa, evidenciadas por su desempeño.
    • La actitud y aptitud observadas de las áreas relacionadas (servicios escolares, Tecnologías de la Información, dirección general y las que corresponda) con el programa educativo.
    • La actitud y aptitud observadas del resto del personal que participa en la operación del programa.
    • La autoevaluación del (la) responsable administrativo.
  • Valoración del (la) responsable del ambiente digital del programa en cuanto los diferentes aspectos relativos a su operación: tutoría, funcionamiento del ambiente virtual, coordinación académica y coordinación administrativa. Esto incluye autoevaluación en el funcionamiento del ambiente virtual.
  • Reportes de observación permanente en el ambiente virtual del programa con el fin de obtener los siguientes datos:
    • Porcentajes de asistencia (en caso de que se trate de modalidad híbrida).
    • Número de alumnos por tutor.
    • Porcentaje de realización y/o entrega de cada actividad por parte de tutorandos.
    • Tiempo de respuesta de mensajes de tutorandos por parte de sus tutores.
    • Tiempo de retroalimentación y evaluación de actividades por parte de los tutores.
    • Calidad en moderación de foros.
    • Calidad de retroalimentación y evaluación de tareas.
    • Calidad de comunicación entre tutor-tutorando.[2]
    • Cantidad de menciones de problemáticas detectadas

√ Los resultados obtenidos en el programa educativo. Para ello, se deberá obtener la siguiente información:

  • Datos cualitativos del impacto obtenido por los tutorandos debido al programa educativo en diferentes áreas, tanto de índole personal, como profesional. Para ello, se indagará sobre cambios ocurridos a los tutorandos en relación a:
    • Sus creencias, factores de personalidad, conocimientos, dominio del idioma (esto en el caso de la EEAILE),[3] competencias de investigación, preferencia por una metodología de enseñanza, práctica, actitud hacia el uso de la TIC en los procesos educativos, hacia la innovación, etcétera.
    • Productos de los tutorandos, como sus tareas, ensayos, artículos, videos y similares.
    • Sus funciones laborales.
    • Su participación en comunidades académicas.
  • Los siguientes datos cuantitativos: núm. de candidatos por generación que se registraron en la convocatoria, núm. de candidatos aceptados, no. de tutorandos inscritos en cada módulo o asignatura, núm. de tutorandos aprobados en cada módulo o asignatura, núm. de tutorandos que cuentan con certificado, no. de egresados que obtuvieron el grado.
  • Datos de impacto generados por el programa educativo en el contexto del destinatario, como en el aula, la institución, proyectos o lo que corresponda.

Metodología del modelo

Con el fin de recopilar información desde los puntos de vista pedagógico, social y del uso de recursos con la finalidad de perfeccionar el programa educativo con una perspectiva sistémica-constructivista, la metodología de este modelo se basa en los fundamentos referidos anteriormente, considerando que el modelo CIPP es idóneo para ello, debido que la evaluación del Contexto, de los Insumos (el programa en su dimensión intrínseca), los Procesos y los Productos del programa educativo generan la información esperada de acuerdo con la figura siguiente.

 

Figura 1. Elaboración propia

Los datos a recabar son tanto de orden cuantitativo, como cualitativo. La información cuantitativa nos permite conocer los datos duros, mientras que la cualitativa las condiciones en que se generaron los datos cuantitativos, determinar el porqué de éstos y ubicarlos en su correcta dimensión. Para recabar datos cualitativos se utilizarán las siguientes técnicas:

  • La observación directa
    • No estructurada (captación de puntos de vista de los actores y sus conductas en sentido holístico, utilizando técnicas etnográficas). (Brovelli, 2001).
    • “Diversas técnicas de registro y notas de campo” (p. 116).
  • De observación indirecta:
    • Entrevistas: centradas (sobre un tema concreto y determinado)
    • Reflexión sobre las prácticas.
    • Mejora y ajustes de acuerdo con las finalidades perseguidas y los problemas presentados.
    • Encuestas a los estudiantes, tutores, coordinadores académicos y en general a todo el personal involucrado en los programas educativos a evaluar.

Considerando lo anterior, para evaluar el programa, se prepararán instrumentos para la recopilación de los datos planteados. Esos instrumentos, constan de:

  • Cuestionarios de satisfacción.
  • Cédulas de autoevaluación.
  • Cédulas de coevaluación.
  • Fichas de observación.
  • Guías de entrevista.
  • Protocolo de estudios de caso.

En todos los casos, habrá reactivos cerrados y abiertos. Los cerrados tendrán opciones de respuesta de acuerdo con la escala de Likert, preferentemente con cinco niveles. Estos reactivos podrán medir qué tanto se está de acuerdo con una afirmación, su frecuencia, importancia, valoración o probabilidad.

En cuanto al número de reactivos abiertos, este deberá ser cuidadosamente planificado con base en la necesidad de obtener la información planteada de esa forma, considerando los recursos disponibles para su procesamiento (humanos, materiales y de tiempo, principalmente).

La información de los instrumentos será complementada con evidencias, que pueden ser fotografías y otras imágenes; videos, audios y otros materiales que deberán ser digitalizados, si no lo están de origen.

En cuanto a la evaluación de impacto, se pretende comparar productos similares de los tutorandos realizados al inicio del programa y al final, a fin de detectar su mejoría en rubros claramente identificados correspondientes con los objetivos de aprendizaje del programa.

La recopilación de datos se desarrollará principalmente desde el entorno digital del programa, el cual tendrá vínculos a los instrumentos de evaluación y a la carga de evidencias, de forma que los datos obtenidos estén disponibles en un espacio definido claramente.

En relación con las entrevistas, estas podrán ser presenciales o a distancia, a través de herramientas comunicativas como la videoconferencia o el teléfono. En cualquier caso, deberán ser grabadas y guardadas en los archivos correspondientes.

Sería deseable, también recopilar datos en entornos externos a la institución para dar cuenta del impacto del programa.

Como se indicó anteriormente, el modelo EPELOP inicia junto con el proyecto, por lo que los instrumentos que correspondan tendrán distintas versiones, dependiendo del momento de su aplicación: diagnóstica, permanente, parcial y final. El tiempo de aplicación de cada instrumento será indicado dentro del diseño del mismo.

Recursos humanos y materiales para el modelo

Para la implementación del modelo EPELOP se requiere de personal que realice óptimamente las siguientes funciones:

  • Capacitación al personal que realizará las funciones de evaluación del programa.
  • Diseño de los instrumentos de recopilación de datos.
  • Lineamientos para recopilación de evidencias.
  • Creación de un espacio digital para recopilar, almacenar, ordenar y mostrar la información obtenida de la evaluación.
  • Información a todo el personal relacionado con el programa educativo del modelo de evaluación.
  • Aplicación de los instrumentos (cuestionarios, entrevistas, rúbricas de observación, etc.), tanto en ambiente digital como en campo (si aplica).
  • Seguimiento a la recopilación de evidencias. Estas deberán ser susceptibles de ser cargadas por los usuarios.
  • Procesamiento de toda la información recopilada, tantos por los instrumentos, como por las evidencias.
  • Elaboración de reportes periódicos de los resultados de las evaluaciones.
  • Elaboración de documentos con recomendaciones y propuestas para el perfeccionamiento del programa.

Así mismo, se requiere de los siguientes recursos materiales:

  • Espacio digital para recopilar, almacenar y ordenar la información obtenida de los procesos de evaluación.
  • Espacio físico acondicionado para realizar las funciones de evaluación.
  • Conectividad de banda ancha a Internet.
  • Equipo de cómputo con programas de productividad (procesador de textos, hoja de cálculo y editor de presentaciones dinámicas).
  • Grabadoras de audio.
  • Cámara de video.
  • Software para convertir el audio de entrevistas a texto.
  • Software para procesar información cuantitativa como SPSS.
  • Software de análisis de textos.
  • Impresora

Riesgos y prácticas erróneas a evitar

Durante la implementación del modelo educativo existen riesgos como la subjetividad y distorsión de la información por parte de algunos de los actores encuestados o entrevistados. También es factible que haya errores de juicio en la interpretación de datos. Además, se corre el riesgo de que no se diga lo que se piensa verdaderamente por temor a generar conflictos con los actores evaluados, o bien, con la idea de formar complicidades.

En la obtención de información errónea puede influir el tiempo en que se aplican los instrumentos de evaluación. Por ejemplo, la valoración de un tutorando hacia su tutor puede cambiar si esta se realiza antes de que el primero sepa su calificación del curso.

A fin de prevenir y evitar estos riesgos, los instrumentos de evaluación:

  • Indicarán que la información recopilada será confidencial en todo momento.
  • Tendrán indicaciones puntuales de cuándo deberán ser aplicados.
  • Serán aplicados por personas que no son evaluadas en los mismos.

Además, los datos recopilados serán validados desde distintas fuentes y relacionados con sus evidencias cuando corresponda.

Comunicación de resultados de seguimiento del programa

La comunicación de resultados de los procesos de seguimiento del modelo EPELOP se hará de forma regular y permanente con base en la información que se vaya obteniendo, principalmente durante la operación del programa.

En un principio, estará publicada para el personal involucrado la información cuantitativa disponible. Por ejemplo, al inicio de la operación del programa se publicará la lista de tutores con el número de sus tutorandos, el nombre de estos y el estatus de su desempeño, según se vaya generando. Se recomienda presentar esta información de acuerdo con los colores del semáforo: verde, cuando el desempeño sea óptimo; amarillo, cuando haya algún problema a resolver; anaranjado, cuando el problema sea más crítico, y rojo cuando haya causado baja. También se puede incorporar el gris, negro o azul (o el que se desee) si se requieren más codificaciones. El personal involucrado que tendrá acceso a la información es el que labora directamente en el programa.

Es importante en cada caso y fase del proceso, definir los datos que se publicarán, bajo qué condiciones, quién los podrá consultar y asegurarse de que todos los involucrados estén previamente enterados.

A lo largo de todo el programa, especialmente durante su operación, además de la recopilación y publicación de resultados cuantitativos, debe haber una comunicación constante e individual entre el (los) responsable(s) de evaluación y cada integrante del equipo humano con el fin de ir resolviendo problemáticas detectadas de forma oportuna y optimizar la calidad del programa. A estos procesos de evaluación, se les llamará más específicamente de Seguimiento. A continuación se ejemplifica una acción de seguimiento: si se detecta que un tutor no está haciendo una retroalimentación en el tiempo esperado, se le deberá pedir que lo haga y monitorear la respuesta. Si continúa sin hacerlo, se le debe informar al responsable académico para que él realice dicha retroalimentación. Todo esto deberá ser reportado consistentemente.

En casos como el de este ejemplo, el supervisor directo puede ser quien tenga que realizar el seguimiento si no se cuenta con el personal suficiente de evaluación para ello. En general, las acciones de seguimiento son también de acompañamiento y supervisión; de manera que el personal operativo sepa que no está solo y que, al tiempo que se detectan sus fallas, también se reconocen sus aciertos y que estos no pasan desapercibidos. En este sentido, la motivación y los incentivos juegan un importante papel.

Reportes evaluativos del programa

Por otro lado, además de la publicación de datos cuantitativos y del seguimiento, de forma periódica, se elaborarán los siguientes reportes evaluativos:

  • Sobre el planteamiento del programa y su contexto. Este dará cuenta de:
    • La medida en qué la definición del programa puede cubrir las necesidades de su público destinatario, de acuerdo con el contexto en que está inmerso.
    • Las debilidades del programa en cuanto a su definición y planteamiento.
    • Recomendaciones y/o alternativas de solución.
  • Sobre el programa en su dimensión intrínseca. Este dará cuenta de fortalezas y debilidades en cuanto su organización académica-administrativa, estructura, infraestructura tecnológica, contenidos, diseño pedagógico-didáctico, ambiente digital y modelo evaluativo. Así mismo, incluirá recomendaciones.
  • Sobre la operación del programa. Este dará cuenta de los conocimientos, habilidades y actitudes evidenciadas por el personal que interviene en la implementación del programa: Coordinación, responsable académico, responsable administrativo, servicios escolares, servicios de tecnologías de información, tutoría y soporte técnico. Así mismo, incluirá recomendaciones.
  • Sobre el impacto del programa. Este dará cuenta de los resultados obtenidos en el mismo, así como recomendaciones generales.
  • Este reporte retomará lo anterior, desde las perspectivas pedagógica, social y de uso de recursos de forma holística y articulada.
  • Además, se generarán reportes individuales para cada una de las personas involucradas con información sobre su desempeño en particular y recomendaciones de mejora.

Para la generación de los reportes se procesarán los instrumentos de evaluación y las evidencias, de acuerdo con las siguientes partes:

  • Portada.
  • Introducción. Incluye datos contextuales (lugar, fecha, personas participantes, etc.), metodología y condiciones de aplicación.
  • Resultados cuantitativos y cualitativos.
  • Evidencias.
  • Interpretación de los datos.
  • Conclusiones y recomendaciones.
  • Anexos.

Todos los datos generados serán insumos para perfeccionar el programa educativo, como se mencionó al inicio de este documento.

Lineamientos de comunicación de resultados

Como se refirió anteriormente, los resultados de las evaluaciones se publicarán periódicamente, de acuerdo con los siguientes lineamientos:

  • La evaluación y resultados de seguimiento de cada persona será enviada/entregada a esta periódicamente en forma individual y confidencial.
  • En reuniones de trabajo, se presentarán resultados globales a las personas involucradas, los cuales serán analizados para, en conjunto, hacer propuestas de mejora y acuerdos. Estas reuniones serán de preferencia presenciales, pero si los integrantes radican en distintas ciudades, es conveniente realizarlas vía videoconferencia. Si las condiciones no permiten la sincronía, los objetivos de trabajo se pueden realizar de forma asíncrona.
  • En reuniones por áreas, es deseable que cada persona presente sus propios indicadores de desempeño y en un ejercicio autoevaluativo formular compromiso de automejora. En este sentido, es importante promover una autoevaluación seria y honesta, al tiempo de evitar juicios y descalificaciones; así como el culpar a otros de un desempeño propio. Para ello, se debe tener presente que el responsabilizar a otros difícilmente resolverá el problema. La clave de ejercicios de autoevaluación es verbalizar las propias debilidades y formular estrategias a realizar por uno mismo, no por los demás. De otra forma, se pierde el control sobre la resolución del problema.

Los ejercicios grupales de autoevaluación solo deben realizarse si hay un equipo de trabajo suficientemente profesional para ello. Si no es así, conviene hacerlo de forma individual hasta que el equipo esté preparado.

  • Considerar que, en general, las alabanzas al equipo de trabajo deben ser en público y el señalamiento de errores en privado. El señalar públicamente debilidades de alguien, en vez de contribuir a su mejora, muy probablemente generará reacciones negativas.

Reflexiones finales

El modelo EPELOP aquí delineado es una primera aproximación resultante de distintas experiencias obtenidas en la evaluación y seguimiento de programas educativos en línea que, como se apuntó al principio, toma como referencia el programa EEAILE de la UPN, pero pretende ser susceptible de adecuación a cualquier programa en esta modalidad, siempre y cuando coincida en cuanto a fundamentos teóricos.

La búsqueda del perfeccionamiento, en términos de la función pedagógica, social y el uso eficiente de recursos de un programa educativo desde una perspectiva sistémica-constructivista y holística, con los principios y lineamientos marcados; tomando en cuenta el momento sociohistórico actual son las bases de este modelo que, de forma natural, se pretende sea afinado y perfeccionado como resultado de la evaluación que del mismo se realiza en su implementación; a lo largo de la cual se irán recogiendo datos tanto autoevaluativos, como desde la perspectiva de todos los involucrados y de personal externo.

Esto debe partir de la aceptación de la evaluación como mecanismo de mejora y no de control y/o coerción, lo cual podría sesgar su confiabilidad.

Referencias

Brovelli, M. (2001) Evaluación curricular. Fundamentos en Humanidades, Año II- No. 2 (4-2001) pp. 101-122. Argentina: Universidad Nacional de San Luis

Mora, A. I. (julio-diciembre, 2004) La evaluación educativa: Concepto, períodos y modelos.
Revista Electrónica Actualidades Investigativas en Educación vol. 4, núm. 2. Recuperado de http://www.redalyc.org/articulo.oa?id=44740211  

Román, M. (Septiembre, 1999). Hacia una Evaluación Constructivista de Proyectos Sociales. Revista Mad. No.1. Disponible en http://www2.facso.uchile.cl/publicaciones/mad/01/paper04.htm

Stufflebeam, D. (1987) Evaluación Sistemática. Guía Teórica y Práctica. España: Paidós

Velasco, R. (22 de octubre del 2015) Modelo educativo para la sociedad del conocimiento. Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo., Revista Universitaria, Núm. 19. Recuperado de http://educa.upn.mx/tecnologias/num-19/322-tecnologia.html

Notas

[1] Los nombres de las áreas involucradas en los programas educativos cambian, de acuerdo con cada institución, por lo que en el ejercicio evaluativo se deberá utilizar el nombre que corresponde.

[2] La calidad será medida mediante una rúbrica de evaluación para cada punto considerado.

[3] Estos puntos deberán adecuarse a la naturaleza del programa a evaluar.

 

Buscar.


                           LO MAS LEÍDO