Hacia un sistema de Evaluación Virtual Segura: el proyecto TeSLA

1. Introducción

Hoy en día la enseñanza virtual está ganando cada vez más protagonismo especialmente, en el ámbito de la formación universitaria o la educación a largo de la vida lifelong learning). En la enseñanza presencial, está proliferando como complemento o soporte a las clases magistrales [3], dando paso a una enseñanza mixta o semipresencial, donde las clases presenciales se combinan con prácticas o recursos en línea. Este uso está contribuyendo, entre otros, al desarrollo de nuevas metodologías de enseñanza semipresenciales como la clase invertida (flipped classroom) [1].

Hoy en día la enseñanza virtual está ganando cada vez más protagonismo especialmente, en el ámbito de la formación universitaria o la educación a largo de la vida lifelong learning).

Como consecuencia, el uso de métodos de evaluación en línea también ha aumentado en los últimos años. La utilización de herramientas para la evaluación remota permite, entre otras ventajas, la automatización de algunos procesos de evaluación (por ejemplo,  mediante cuestionarios [12], tutores inteligentes [2], o jueces de programación [7]). De esta forma, los profesores pueden dedicar más tiempo a ofrecer un feedback personalizado a los estudiantes. Sin embargo, la falta de confianza en la capacidad de los sistemas de evaluación en línea para ofrecer un entorno seguro para la evaluación de los estudiantes, unido con las carencias de la tecnología para apoyar los procesos de evaluación formativa, hace que los exámenes presenciales sigan teniendo una posición predominante en la evaluación tanto semipresencial  como virtual.

Aunque en los exámenes presenciales también tienen un alto riesgo de deshonestidad académica entre los estudiantes, está socialmente extendida la creencia que la evaluación en línea es menos “segura” que la presencial, en el sentido que es más difícil comprobar la identidad de los estudiantes y la autoría de las actividades. Esta misma percepción es compartida por las agencias de calidad. Un ejemplo claro es en el momento de definir las memorias de los grados en universidades virtuales donde se debe justificar cómo se realiza la evaluación final de las asignaturas y cómo se asegura la identidad del estudiante y la autoría de las actividades entregadas.

Una evolución natural de la evaluación presencial es recrear en entornos virtuales la realización actual de pruebas o exámenes finales presenciales. Existen diversas soluciones tecnológicas empresariales especializadas en ofrecer servicios de control en línea de pruebas finales, como por ejemplo, Kryterion¹ o ProctorU². Estas empresas permiten externalizar el proceso de realización de pruebas finales con un software que permite controlar al estudiante durante la prueba de forma síncrona (de forma similar a una videoconferencia). A cada estudiante se le asigna un examinador que le controla durante la realización de la prueba mediante la cámara web y el micrófono del ordenador. Estas empresas ofrecen el servicio de identificación del estudiante vía documento acreditativo (por ejemplo, DNI o carnet de estudiante) y el control síncrono durante la prueba. Estas empresas se centran en los sistemas de autenticación y control, dejando sin resolver los problemas relacionados con el análisis de la autoría.

Una evolución natural de la evaluación presencial es recrear en entornos virtuales la realización actual de pruebas o exámenes finales presenciales.

Hay otras soluciones tecnológicas que intentan evitar la sincronía como, por ejemplo, Safe Exam Browser³ o Secure Exam⁴. Este tipo de software es bastante intrusivo y permite crear un entorno seguro en el ordenador donde se realiza la prueba bloqueando todas las acciones no permitidas al estudiante durante la prueba (por ejemplo, abrir un software determinado, navegar por Internet, y registrando en un log las acciones realizadas por el estudiante en el ordenador). Estas soluciones, por lo tanto, se centran en controlar el ordenador donde se realiza la prueba, dejando sin control las acciones que pueda realizar el estudiante fuera del mismo. Aunque parece un sistema seguro, a veces una solución como ésta puede tener consecuencias negativas para el estudiante creándole estrés durante la prueba, ya que éste no sabe realmente qué se está ejecutando en su ordenador o qué información y acciones se están registrando.

Algunas de estas soluciones, que permiten controlar o monitorizar a un estudiante, tienen sistemas de autenticación que se consideran no muy seguros, como acceso basado únicamente en un nombre de usuario y una contraseña. Nótese que, aunque un acceso por contraseña puede parecer seguro, es una información fácilmente transferible a otra persona, permitiendo la suplantación de identidad. Para evitarlo, por ejemplo, Kryterion ofrece autenticación del estudiante mediante control biométrico (reconocimiento facial y reconocimiento de patrones de escritura de teclado) que permiten detectar la identidad del estudiante de forma más fiable. Algunas plataformas MOOC, como Coursera⁵, ya ofrecen un servicio de autenticación con sistemas biométricos para ofrecer a sus estudiantes certificados de superación de cursos. Estos sistemas permiten verificar que el estudiante que realiza las pruebas finales es el estudiante que hizo la matrícula del curso.

Con respecto a la autoría existen sistemas de detección de plagio como Turnitin⁶ para documentos o jPlag⁷ para código de programación. Este tipo de software compara las pruebas presentadas por los alumnos buscando similitudes entre ellas, facilitando así la detección de plagio. Otras herramientas, como el reconocimiento del estilo de escritura [9], permiten detectar autoría comparando la estilometría del estudiante con la registrada en su perfil biométrico.

Los sistemas y servicios anteriormente descritos se centran en el control durante las pruebas finales, o solucionan parcialmente el problema focalizándose en la e-autenticación o en la autoría. En este artículo presentamos una solución tecnológica de e-autenticación y e-autoría no intrusiva para una evaluación en línea segura que permite mejorar la comprobación de la identidad de los estudiantes y la autoría de las actividades que éstos realizan. El sistema se puede introducir de forma natural tanto en la evaluación continua como en la evaluación final y, en algunos casos, de manera casi imperceptible para los estudiantes.

2. El proyecto TeSLA

El objetivo de este proyecto es desarrollar un sistema de e-autenticación para la evaluación en línea que permita superar las limitaciones propias de la evaluación presencial (barreras físicas y temporales).

El sistema TeSLA (Adaptive Trust-based System for Learning) se ha desarrollado en el marco de un proyecto europeo. El objetivo de este proyecto es desarrollar un sistema de e-autenticación para la evaluación en línea que permita superar las limitaciones propias de la evaluación presencial (barreras físicas y temporales). El proyecto TeSLA ofrece soporte tecnológico (sistema) y educativo (pautas sobre el uso de distintos instrumentos de seguridad en función del tipo de actividad de evaluación) para utilizar el sistema en cualquier modelo de evaluación (ya sea diagnóstica, formativa y/o sumativa), cubriendo así todo el proceso de enseñanza-aprendizaje. A su vez, TeSLA se desarrolla siguiendo la nueva regulación europea de protección de datos personales, y proporcionando criterios éticos claros y concisos tanto para su uso en  instituciones educativas como para el profesorado. Adicionalmente el sistema tiene que ser capaz de adaptarse a estudiantes con necesidades especiales (ya sean físicas, educativas o psicológicas) fomentando así una formación y evaluación inclusiva a todos los niveles.

El proyecto TeSLA⁸ está financiado por la Comisión Europea Horizon, en el programa marco H2020 y bajo el tema ICT-Human better Teaching and Learning. TeSLA está compuesto por un consorcio de 7 universidades (presenciales, virtuales y semipresenciales), empresas especializadas en desarrollo de software, centros de investigación en seguridad, criptografía y técnicas de reconocimiento biométrico, así como agencias de calidad (AQU, EQANIE, ENQA). Empezó en 2016 y terminará a finales de 2018.

Durante el transcurso del proyecto, el sistema se ha testeado simultáneamente en diversas universidades que forman parte del consorcio, realizando tres pilotos (el último de ellos organizado en dos fases) con un incremento progresivo del número de estudiantes, iniciando el primer piloto con alrededor de 500 estudiantes hasta más de 14.000 en el último de ellos.

Los pilares sobre los que se ha fundamentado el sistema son los siguientes:

• No invasivo: El sistema controla las actividades de aprendizaje de los estudiantes con el mínimo nivel de intrusión en el entorno de aprendizaje.
• Modular: El sistema incluye diferentes módulos independientes, de tal forma que los módulos se pueden intercambiar por otros, según los disponibles en la plataforma donde se integra el sistema o bien seleccionando los módulos más coherentes con el modelo educativo o tipo de actividad del curso.
• Adaptativo: Cada institución educativa tiene sus características propias con respecto al proceso de enseñanza-aprendizaje y modelo de evaluación (formativo y/o sumativo). El sistema TeSLA se adapta a cualquier modelo, permitiendo a las instituciones mantener su modelo preferente. Además el sistema se adapta a los requerimientos de estudiantes con diferentes necesidades educativas.
• Integrable: El sistema TeSLA se ha integrado como plugin en las plataformas de aprendizaje Moodle y Blackboard. Adicionalmente, utiliza el estándar LTI⁹ para ser interoperable con otras plataformas de aprendizaje.
• Escalable: El sistema es escalable horizontalmente mediante infraestructura en la nube que permite añadir automáticamente recursos hardware adicionales dependiendo de la carga del sistema.
• Seguridad: El sistema sigue los estándares de seguridad en cuanto al almacenamiento y procesamiento de la información, asegurando la protección de datos personales siguiendo la nueva legislación y las medidas que en ella se especifican.
• Fiabilidad: Los resultados de los módulos de comprobación de la autenticación y la autoría detectan los estudiantes que producen algún tipo de fraude, minimizando el número de falsos positivos.

Para cumplir con estos pilares, el sistema ofrece varios instrumentos de seguridad (es decir, instrumentos que se orientan a garantizar identidad y autoría).

Para cumplir con estos pilares, el sistema ofrece varios instrumentos de seguridad (es decir, instrumentos que se orientan a garantizar identidad y autoría). Nótese que estos instrumentos son los que se integran en las actividades de evaluación en el entorno de enseñanza-aprendizaje virtual. A continuación se describe para cada instrumento, algunos de los ejemplos de actividades donde se pueden utilizar:

• Reconocimiento facial (identidad) [8]: Se capturan imágenes del estudiante mediante la webcam mientras realiza una actividad. Posteriormente estas capturas se comparan con un perfil biométrico del estudiante. Algunos ejemplos de actividades donde se puede utilizar este instrumento son: la grabación de un vídeo o actividades donde se monitoriza el comportamiento del estudiante mientras hace la actividad (por ejemplo, un cuestionario en línea).
• Reconocimiento de voz (identidad) [11]: Similar al instrumento anterior pero las capturas son en base a la voz. El funcionamiento es el mismo, pero en este caso las capturas se comparan con un perfil biométrico de voz. Actividades de vídeo relacionadas con debates, presentaciones en vídeo o aprendizaje de lenguas son los ejemplos más notables para  este instrumento.
• Reconocimiento de patrones de teclado o keystroke dynamics (identidad) [10]: Mientras el estudiante escribe, se captura el ritmo de escritura en el teclado en base al tiempo de transición entre teclas y presión de las mismas. Este instrumento es adecuado en cualquier actividad en línea donde el estudiante debe escribir (por ejemplo, cuestionarios de preguntas abiertas, debates, o ensayos).
• Reconocimiento de estilo de escritura (identidad y autoría) [6]: Además de la forma de escribir mediante el teclado, a una persona también la identifica su estilo de escritura. Las construcciones gramaticales, las palabras que utiliza en mayor frecuencia,  o los errores ortográficos son particularidades de cada individuo. Dado que el individuo (en este caso, un estudiante) queda identificado a través de su estilo de escritura, se infiere que es el autor legítimo del texto. Este instrumento es también adecuado para las actividades descritas en el anterior punto.
• Detección de plagio (autoría) [5]: Este instrumento detecta si existe plagio entre todas las actividades entregadas. Actualmente, la comprobación se realiza mediante el análisis de texto, aunque en un futuro se espera ampliarlo al análisis de imagen y texto plagiado de la red (Internet) con la inclusión de herramientas externas como Turnitin. En este caso no es necesario disponer de un perfil del estudiante ya que simplemente se busca la similitud entre los contenidos de las actividades.
• Además de los instrumentos previos, el sistema ofrece otros instrumentos que permiten incrementar el nivel de confianza. Estos instrumentos son los instrumentos anti-engaño para reconocimiento facial y de voz (face/voice anti spoofing) y la marca de tiempo (time stamping). Los primeros detectan los engaños más típicos que pueden ocurrir cuando se utilizan los instrumentos de control de identidad relacionados. Por ejemplo, el anti spoofing de reconocimiento facial detecta el uso de imágenes pregrabadas por el estudiante o imágenes fijas (por ejemplo, una fotografía). Por su parte, el instrumento de marca de tiempo detecta cambios en el contenido de los ficheros que contienen las actividades de evaluación entregadas por los estudiantes. Esto ofrece al profesor la garantía de que, en el caso de archivos que no se pueden abrir, el estudiante no haya realizado cambios cuando efectúa el reenvío de los mismos (si ese fuera el caso, la marca de tiempo cambiaría).

Nótese que el sistema se basa en dos precondiciones:

1. El estudiante debe conocer de antemano la existencia del sistema y de sus particularidades. Se capturan datos biométricos de los estudiantes que son datos privados y que permiten generar un perfil biométrico que los identifica. Por esta razón, los estudiantes deben firmar un consentimiento que permite capturar sus  datos personales donde se explica claramente qué datos son recogidos, para qué se utilizarán y durante cuánto tiempo se almacenarán antes de ser destruidos. En los diferentes pilotos que se han realizado en el proyecto, la participación ha sido voluntaria. Por lo tanto, los estudiantes firmaron un consentimiento que permite a su institución (de forma legal), poder recoger y analizar sus datos. Asimismo, también permite revocar este consentimiento y se indica cómo hacerlo. En un futuro, cuando el sistema se utilice de forma continua durante toda la vida académica de un estudiante, éste debería firmar el documento de consentimiento en el momento de acceder por primera vez a la universidad.
2. El funcionamiento del sistema se basa en un perfil biométrico del estudiante. Idealmente este perfil se debería generar en el momento en que el estudiante se matricule en la universidad.

Es importante remarcar que los instrumentos se integran en las actividades de forma transparente para los estudiantes, es decir, los estudiantes no deben realizar ninguna acción adicional durante las actividades, más allá de activar ciertos dispositivos en su ordenador (por ejemplo, activar la webcam antes de empezar la actividad si se va a usar el instrumento de reconocimiento facial). Destacar también que el estudiante recibe la información de qué instrumentos se utilizarán en la actividad. Es el profesor quien debe analizar el modelo de evaluación de su asignatura y definir qué actividades deben incluir instrumentos y qué instrumentos se deben seleccionar. Es decir, la intervención del profesor es clave para dar sentido, desde un punto de vista educativo, a la integración del sistema en las actividades de evaluación. Además, no es necesario que todos los instrumentos estén activos en todas las actividades. De forma similar algunos instrumentos pueden no estar activos en el caso de estudiantes con necesidades educativas especiales, o se pueden activar instrumentos alternativos para el estudiante. Dichos instrumentos alternativos han sido seleccionados y especificados previamente dado que son datos sensibles.

3. Infraestructura tecnológica

Los instrumentos definidos anteriormente se han incorporado a un sistema que puede instalarse fácilmente en las plataformas Moodle y Blackboard en forma de plugin.

Los instrumentos definidos anteriormente se han incorporado a un sistema que puede instalarse fácilmente en las plataformas Moodle y Blackboard en forma de plugin. De esta manera, en el caso de no tener la plataforma privativa Blackboard, no se condiciona a la institución a invertir en una solución tecnológica privada para apoyar la evaluación en línea. En caso de utilizar un campus virtual propio, como en el caso de la Universidad Oberta de Catalunya, pasa lo mismo. Se puede instalar un Moodle estándar localmente y utilizar conexiones LTI para conectar ambas plataformas. Este estándar permite integrar de forma transparente Moodle en cualquier plataforma compatible con LTI transfiriendo datos de los estudiantes entre plataformas de forma segura.

En la Figura 1 se describe la infraestructura tecnológica del sistema. En la plataforma Moodle o Blackboard, se instala el plugin TeSLA que permite incorporar esta capa de seguridad a las actividades de evaluación definidas. Concretamente ofrece las siguientes funcionalidades:

• Firma del consentimiento de cesión de datos: para que el sistema funcione para un estudiante en concreto, éste necesita firmar un consentimiento informado. En él, se indica al estudiante que se recopilaran datos y que se procesarán para comprobar la autoría y la identidad. Mientras no esté firmado el documento, el sistema no permite realizar ninguna actividad ni recoger ningún dato biométrico del estudiante. Es tarea de la universidad definir el protocolo de firma de este documento.
• Proceso de creación del perfil biométrico: el plugin ofrece la opción de creación del perfil biométrico del estudiante. Es importante que antes de iniciar el curso, todo estudiante tenga su perfil biométrico creado. Este proceso debería llevarse a cabo de forma presencial asegurando que la persona que crea el perfil es la persona matriculada. En caso de que este proceso no se haga con garantías, el sistema puede fallar en casos de suplantación de identidad.
• Instrumentos de autenticación y autoría: el >plugin ofrece los instrumentos que se pueden instalar en las actividades ya existentes en la plataforma de aprendizaje cómo cuestionarios, foros, tareas y también ciertas aplicaciones de terceros como grabación de vídeos en línea [4].
• Informes de resultados: el sistema ofrece informes y datos analíticos en forma de cuadros de mando sobre los resultados a nivel de actividad y curso. El profesor obtiene resultados individuales y acumulados de los casos conflictivos en la detección de la identidad y autoría.

Destacar que el plugin no realiza ningún control sobre identidad o autoría, simplemente es un sistema de recolección que envía los datos al sistema TeSLA, tras haber informado al estudiante qué datos concretos se capturarán para la actividad. El sistema actualmente se encuentra en la nube donde guarda y procesa la información de las diversas universidades que utilizan el sistema. El sistema ofrece garantías de seguridad y privacidad sobre los datos ya que no tiene ningún dato identificativo de los estudiantes. Todos los estudiantes son anonimizados en el plugin instalado en las plataformas Moodle y Blackboard antes de enviar los datos al sistema central y es el plugin en la universidad quien guarda la correspondencia entre los perfiles anónimos y los datos de los estudiantes.

Finalmente, nótese que el sistema TeSLA no realiza ninguna decisión sobre si hay fraude, simplemente expone resultados y proporciona evidencias. Es potestad del profesor comprobar y decidir.

4. Resultados

A lo largo del proyecto y fruto de tres pilotos en las 7 universidades europeas participantes, se han obtenido diversos resultados tanto a nivel técnico como educativo. Asimismo se ha realizado una evaluación holística de los procesos llevados a cabo durante el uso del sistema que aportan también resultados desde otros puntos de vista como es el de calidad, ético y legal, a través de la voz de estudiantes y profesorado. A continuación se describen  algunos de los resultados más relevantes:

• Solución tecnológica: El sistema TeSLA ha sido completado y aplicado con éxito. A modo de ejemplo, en el tercer piloto (organizado en dos fases) participaron 17.373 estudiantes (matriculados en 345 cursos) y 392 profesores entre todas las universidades involucradas en el proyecto. La infraestructura en la nube permite un sistema escalable, funcional y permite almacenar los perfiles biométricos de los estudiantes de forma anónima y los resultados de cada validación realizada para cada actividad de forma segura. Sólo la institución a la que pertenece ese alumno puede acceder a los resultados.  El sistema es integrable a otras plataformas de aprendizaje en línea. Por ejemplo, la UOC ha utilizado su campus virtual propietario y mediante el estándar LTI ha permitido la conexión con TeSLA para identificar los estudiantes y validar la autoría de las actividades de evaluación continua que éstos entregan durante el semestre. Asimismo se han realizado estudios de usabilidad y accesibilidad que garantizan que los estudiantes puedan utilizar el sistema, adaptándose a sus necesidades (en el caso de estudiantes con necesidades especiales).
• Marco educativo: En paralelo al desarrollo tecnológico se ha diseñado el marco educativo detrás de TeSLA que proporciona indicaciones metodológicas y estratégicas para su correcto uso según las particularidades de cada curso, la tipología de actividades de aprendizaje y el modelo de evaluación que se aplica. Bajo un enfoque pedagógico que pretende ser didáctico y clarificador, se han seleccionado un conjunto de escenarios educativos que son de clara utilidad para la comunidad educativa que emplee TeSLA como un complemento a su proceso de evaluación el línea o mixto. Estos escenarios cubren y describen su uso en asignaturas del área de tecnología hasta ciencias sociales, ya sea en entornos totalmente en línea o mixtos. Tras la realización de cada piloto se ha ido adaptando el marco educativo para obtener un marco sólido y contrastado que está basado en la experiencia (a modo de ejemplo, durante las dos fases del tercer piloto se analizaron, de acuerdo a diferentes criterios, 72 escenarios educativos pertenecientes a los cursos que hicieron uso de los instrumentos TeSLA).
• A nivel ético y legal: En este caso se ha desarrollado una hoja de ruta (roadmap) con los principales aspectos legales a tener en cuenta en el uso de TeSLA y además, se han elaborado un conjunto de preguntas y respuestas frecuentes para ayudar a clarificar cuestiones habituales. Del mismo modo se han elaborado diversos documentos que recogen un conjunto de recomendaciones y aspectos éticos a tener en cuenta.
• En el ámbito de calidad educativa: se ha realizado una evaluación del sistema y de las prácticas de evaluación en línea de las universidades participantes en el proyecto desde un punto de vista de calidad, mediante un comité de expertos internacional. Esta evaluación ha sido liderada por las agencias de calidad participantes en el proyecto, y ha involucrado a representantes de diferentes estamentos de la universidad (vicerrectorado, profesorado, estudiantes personal técnico, personal académico, unidad de calidad). Como resultado de esta evaluación se han detectado y compartido buenas prácticas, así como propuestas de mejora en relación a la evaluación en línea. La evaluación ha tenido en cuenta diversos estándares relativos a políticas, estructuras, procesos y recursos para garantizar la calidad de la evaluación en línea y la evaluación del aprendizaje, estándares para la seguridad y capacidad del sistema de evaluación en línea, así como el soporte (a diferentes niveles) a estudiantes y profesores. Además se ha elaborado un marco de evaluación en línea que sigue las directrices de los estándares europeos de calidad (ESG). Los ESG tienen como objetivos, establecer un marco común para los sistemas de garantía de la calidad en el proceso de enseñanza y aprendizaje en el ámbito institucional, nacional y europeo, proporcionando información sobre la garantía de la calidad en el Espacio Europeo de Educación Superior (EEES), entre otros.
• Opinión de los estudiantes: Después de la realización del último piloto con 17.373 estudiantes en las 7 universidades se ha obtenido una satisfacción superior al 50% respecto a la utilización del sistema y una valoración superior al 70% en las ventajas de una evaluación en línea segura respecto a una evaluación en línea sin ningún control adicional. Aunque hay una valoración muy favorable, la valoración de los diferentes instrumentos varía significativamente siendo el reconocimiento facial y de voz los peor valorados. Estos instrumentos son considerados por algunos alumnos como intrusivos al ser los menos transparentes. Otros instrumentos como la detección de plagio, reconocimiento de patrones de teclado o estilo de escritura al ser totalmente transparentes al estudiante se han valorado más positivamente. Estas opiniones han sido recogidas a través de cuestionarios de satisfacción a la finalización del piloto. Asimismo se han realizado grupos de discusión (focus group), entrevistas individuales con estudiantes con necesidades educativas especiales (como sería el caso de estudiantes con discapacidades), y entrevistas individuales para ahondar en aspectos éticos y de privacidad. De las entrevistas en profundidad con estudiantes con necesidades educativas especiales (72 en total entre todas las universidades participantes en el proyecto) se desprende que el sistema se ha adaptado a sus necesidades y lo han podido usar sin mayores contratiempos. A pesar de ello, muestran su preocupación sobre cómo sus condiciones de salud pueden impactar en los resultados de los instrumentos de identificación (como sería el caso del reconocimiento de patrones de teclado). Es relevante destacar que buena parte de los estudiantes muestran preocupaciones similares a este respecto, vinculándolas principalmente a situaciones de estrés, como sería el caso de la realización de exámenes. Otra preocupación recurrente es la posibilidad de que acontezcan fallos técnicos de diversa índole. Como ventajas apuntan el ahorro de tiempo en desplazamientos, la posibilidad de hacer pruebas de evaluación en un entorno más confortable, y posibilitar que más estudiantes puedan cursar estudios superiores.
• Opinión de los profesores: La satisfacción de los profesores es significativamente mayor con respecto a la utilización (70%), y una valoración superior al 75% respecto a las ventajas del sistema respecto a una evaluación virtual sin control. Es relevante indicar como beneficios del sistema tener una evaluación más segura, evitar el fraude y la realización de pruebas de evaluación no presenciales. De nuevo, estas opiniones han sido recogidas mediante cuestionarios de satisfacción a la finalización del piloto. Al igual que el caso de los estudiantes, los profesores también han participado en grupos de discusión y en entrevistas individuales sobre aspectos éticos y de privacidad. Es opinión compartida entre los docentes que el sistema puede ayudar a detectar (e incluso prevenir) comportamientos deshonestos, y proporcionar evidencias sobre dichos comportamientos. En definitiva ven el sistema como una herramienta más en su labor docente aunque, obviamente, no es una solución perfecta, de la misma forma que la presencialidad no evita completamente los comportamientos deshonestos por parte de los estudiantes.

El sistema actualmente se está testeando por  otras instituciones que no forman parte del consorcio del proyecto con el objetivo de testearlo en otros entornos y diferentes contextos. Diferentes instituciones se han interesado en probar el sistema por sus ventajas sobre una evaluación virtual sin ningún control, o como alternativa a la realización de exámenes tradicionales. Al finalizar el proyecto se prevé disponer de una versión sujeta a diferentes planes de subscripción según condiciones y grado de utilización para cualquier centro educativo.

Referencias

[1] Alberto Prieto Espinosa, Beatriz Prieto Campos, y Begoña del Pino Prieto. Una Experiencia de flipped classroom. En Actas de las XXII Jornadas de Enseñanza Universitaria de la Informática. JENUI 2016, pp. 237-244, Almería, julio 2016.

[2] David Bañeres, Robert Clarisó, Josep Jorba y Montse Serra. Experiences in Digital Circuit Design Courses: A Self-Study Platform for Learning Support. IEEE Transactions on Learning Technologies, 7(3), 1-15, 2014.

[3] Edith Lovos y Alejandro Héctor González. Moodle y VPL como soporte a las actividades de laboratorio de un curso introductorio de programación. IX Congreso sobre Tecnología en Educación & Educación en Tecnología, pp. 306-314, La Rioja, 2014.

[4] Federico Borges y David Trelles. An open-source software audioblog for online learning: LANGblog. In T. Bastiaens, J. Dron & C. Xin (Eds.), Proceedings of E-Learn 2009–World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, pp. 1539-1542, Vancouver, Canada, 2009

[5] Francesc Núñez y Jordi Duran. Plac-plagi: Definition, prevention and detection, Second Institutional Seminar for UOC instructors. 2011. Disponible: <http://hdl.handle.net/10609/8574>. Último acceso: 11 de noviembre de 2018

[6] Hugo Jair Escalante, Mauricio A. García-Limón, Alicia Morales-Reyes, Mario Graff, Manuel Montes-y-Gómez, Eduardo F. Morales, y José Martínez-Carranza. Term-weighting learning via genetic programming for text classification. Knowledge-Based Systems, 83, pp. 176-189, 2015.

[7] Jordi Petit y Salvador Roure. Programación-1: Una asignatura orientada a la resolución de problemas, En Actas de las XV Jornadas de Enseñanza Universitaria de la Informática. JENUI 2009, pp. 185-192, Barcelona, julio 2009.

[8] Ognjen Rudovic, Maja Pantic y Ioannis Patras. Coupled Gaussian Processes for Pose-Invariant Facial Expression Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35(6), 1357 – 1369, 2013.

[9] Patrick Juola. Authorship Attribution, Foundations and Trends® in Information Retrieval: Vol. 1: No. 3, pp 233-334, 2008. http://dx.doi.org/10.1561/1500000005

[10] Paulo Pinto, Bernardo Patrão y Henrique Santos. Free Typed Text Using Keystroke Dynamics for Continuous Authentication. En: De Decker B., Zúquete A. (eds) Communications and Multimedia Security. CMS 2014. Lecture Notes in Computer Science, 8735, 2014

[11] Pavel Korshunov y Sebastien Marcel. Impact of Score Fusion on Voice Biometrics and Presentation Attack Detection in Cross-Database Evaluations. IEEE Journal of Selected Topics in Signal Processing, 11(4), 695-705, 2017.

[12] Remei Calm, Ramon Masià, Carme Olivé, Nuria Parés y Francesc Cobo. Wiris Quizzes: Un sistema de evaluación continua con feedback automático para el aprendizaje de matemáticas en línea. Teoría de la Educación. Educación y Cultura en la Sociedad de la Información 14(2), 452-472, 2013.

Notas

1. Kryterion: <https://www.kryteriononline.com/>. Último acceso: 11 de noviembre de 2018
2. ProctorU: <http://www.proctoru.com/>. Último acceso: 11 de noviembre de 2018
3. Safe Exam Browser. <http://www.safeexambrowser.org/>. Último acceso: 11 de noviembre de 2018
4. Secure Exam: Software Secure. <http://www.softwaresecure.com/>. Último acceso: 11 de noviembre de 2018
5. Coursera. Signature Track. <https://www.coursera.org/signature/>. Último acceso: 11 de noviembre de 2018
6. Turnitin: <https://www.turnitin.com/>. Último acceso: 11 de noviembre de 2018
7. jPlag: <http://jplag.ipd.kit.edu/>. Último acceso: 11 de noviembre de 2018
8. Proyecto TeSLA: <https://tesla-project.eu/>. Último acceso: 11 de noviembre de 2018
9. LTI Specification: <https://www.imsglobal.org/specs/ltiv2p0>. Último acceso: 11 de noviembre de 2018