jueves, 1 de noviembre de 2012

Cuestiones de usabilidad en sistemas inteligentes

Evaluación de Sistemas Adaptativos. Stephan Weibelzahl

Los sistemas adaptativos son sistemas que pueden alterar aspectos de su estructura.

El objetivo de esta tesis es explorar una metodología para la evaluación empírica
de sistemas adaptativos. 

La metodología consiste en al menos dos componentes:

Primero un montón de criterios que son probados para ser confiables y validos para medir el éxito de la adaptabilidad. probablemente, solo una combinación de varios criterios sera adecuadamente significativo. segundo una especificación de diseños experimentales y procedimientos son necesarios para aplicar ese criterio.

Ambos, criterios y diseños experimentales, deben ser independientes del dominio
y el mecanismo de inferencia, ya que esto permite una comparación de diferentes enfoques. Desde luego, no pasar por alto el hecho de que no son de dominio diferencias específicas entre los sistemas.

Es decir, hay criterios que evalúan los objetivos específicos del sistema. Sin embargo, nuestro enfoque explora esas metas que todos los sistemas (o la mayoría) de adaptación tienen en común: mejorar y simplificar la interacción.

Sostenemos que tal enfoque general produce una metodología que sea transferible a muchos sistemas y permitiría a los investigadores:
- Encontrar deficiencias y fallos del sistema
- demostrar que la adaptabilidad de su sistema es útil y exitoso
- Justificar los enormes esfuerzos invertidos en lograr que los sistemas adaptativos
- Señalar los déficits de los sistemas no adaptativos.

Enfoque
Un resumen de las evaluaciones publicadas afirmado nuestra afirmación de que sólo unos pocos estudios se basan en diseños experimentales
adecuados y métodos estadísticos.
Se encontró que las cuestiones de evaluación se pueden clasificar de acuerdo con un modelo de procesamiento de la información de los sistemas adaptativos.
Este modelo sirve como marco de evaluación para ulteriores consideraciones.

Modelo de adaptatividad
El principio básico de los sistemas adaptativos, es para adquirir datos sobre el
usuario, que se utilizan para inferir características abstractas. Sobre la base de estas características (a veces llamadas propiedades de usuario), el sistema decide cómo adaptar, que tiene repercusiones tanto en el comportamiento del sistema y el comportamiento del usuario. Así, se distinguir seis pasos de la evaluación:

1. Evaluation of reliability and external validity of input data acquisition
2. Evaluation of the inference mechanism and accuracy of user properties
3. Appropriateness of adaptation decisions
4. Change of system behavior when the system adapts
5. Change of user behavior when system adapts
6. Change and quality of total interaction

El punto es que este paso de la última evaluación sólo puede interpretarse correctamente
Si todos los pasos anteriores se han completado. Especialmente en el caso de encontrar ninguna diferencia entre un sistema adaptable y un sistema no adaptable, los pasos anteriores proporcionan alusión a las deficiencias. Los resultados de tal evaluación capas son mucho mejor para interpretar y dar pistas más exactas de los fracasos y las inferencias falsas que una simple evaluación mundial de la usabilidad.

Criterio Nuevo: Complejidad del Comportamiento
Una metodología de evaluación también requiere criterios para el éxito de adaptación, sin embargo, nuestra revisión sistemática hizo evidente que los criterios más actuales son o no fiable (o al menos no se ha probado ser confiable) o son bajos en validez externa (por ejemplo, duración de la interacción como un criterio para la satisfacción con un aprendizaje
medio ambiente).
Nuestro enfoque se basa en la suposición de que la adaptabilidad tiene por objeto reducir la complejidad de la interacción. Por ejemplo, un sistema de ayuda adaptativa infiere del usuario objetivos actuales y selecciona textos adecuados de ayuda. Así, el usuario no necesita una visión general de todos los temas presentados y, posiblemente, a continuación, para seleccionar el más adecuado sección.

La misma argumentación es válida para otros sistemas de adaptación, por ejemplo, de productos sistemas de presentación o entornos de aprendizaje.

Según Kieras Polson y el comportamiento del hormigón de un usuario puede ser
se describe como una red de estado de transición. De acuerdo con esta idea, un sistema es definido por los estados disjuntos y las transiciones entre estos estados. Un usuario de entrada es igual a una transición a un estado otro.

Una única red se deriva para cada usuario. La complejidad de estas redes puede ser calculado de varias maneras. En una serie de experimentos de laboratorio Weibelzahl, Klein, y Weber en comparación con cuatro medidas de complejidad en dos sistemas diferentes (que implementa diferentes mecanismos de inferencia en diferentes dominios). Los usuarios que habían sido apoyados por un sistema adaptativo producido comportamiento de complejidad reducida en comparación con los usuarios que han completado el mismo tarea ("Encontrar una casa de vacaciones adecuado en este catálogo electrónico", "Complete esta capítulo en la línea de aprendizaje del curso ") con una versión no adaptativa.

Perspectivas Futuras
Como muestran los resultados experimentales con la complejidad del comportamiento son muy alentadoras, un evaluación más detallada de un entorno de aprendizaje adaptativo fue diseñado para validar este criterio.

El curso online-HTML-Tutor se pondrá a prueba tanto en laboratorio como en el
campo que explorar la validez externa de la complejidad del comportamiento y la
ámbito de aplicación de nuestro marco.

Stephan Weibelzahl Evaluación de sistemas adaptativos http://ub-dok.uni-trier.de/diss/diss11/20030428/20030428.pdf

1 comentario:

  1. Bien; solamente faltó el avance al proyecto grupal. 5 pts.

    ResponderEliminar