Evaluating Assessment. Validation with PLS-SEM of ATAE Scale for the Analysis of Assessment Tasks

Abstract

One of the essential functions of university teachers lies in the decision-making process regarding the various components included in assessment process design, where the quality of assessment tasks is a key aspect. This study presents both validation of an instrument for students to evaluate the assessment tasks and the model that upholds the relationships between constructs that characterise the assessment tasks. Working from a review of the literature, a theoretical model has been devised featuring the characteristics of the assessment tasks and the relationships between them. The Analysis of the Assessment and Learning Tasks questionnaire (ATAE) has been designed to check them, based on a formative measurement model. Using a cohort design, a total of 1,166 questionnaires were obtained, completed by students from the Business Administration and Management (BAM) and Finance and Accounting (F&A) degree courses. The measurement model and the structural model were evaluated by means of the Partial Least Squares Structural Equation Modeling (PLS-SEM) technique using SmartPLS_3 software. The results show no collinearity problems plus high levels of absolute and relative importance for each questionnaire item. From the students’ perception, it should be highlighted that the challenging aspect of an assessment task is related to transfer of learning, and that this is measured by use of communication strategies and demonstration of in-depth understanding

Una de las funciones esenciales del profesorado universitario se concreta en el proceso de toma de decisiones sobre los diferentes componentes que constituyen el diseño de los procesos de evaluación, siendo uno de sus elementos clave la calidad de las tareas de evaluación. En este estudio se presenta tanto la validación de un instrumento para la valoración por el estudiantado de las tareas de evaluación como el modelo que sustenta las relaciones entre los constructos que caracterizan las tareas de evaluación. A partir de una revisión de la literatura se ha elaborado un modelo teórico de las características de las tareas de evaluación y las relaciones existentes entre ellas. Para su comprobación se ha diseñado, sobre la base de un modelo de medida de carácter formativo, el cuestionario Análisis de las Tareas de Evaluación y Aprendizaje (ATAE). Mediante un diseño de cohorte se han obtenido un total de 1.166 cuestionarios cumplimentados por estudiantes de los grados de Administración y Dirección de Empresas (ADE) y Finanzas y Contabilidad (FYCO). La evaluación del modelo de medida y del modelo estructural se ha realizado mediante la técnica Partial Least Squares Structural Equation Modeling (PLSSEM) utilizando el software SmartPLS_3. Los resultados muestran la no existencia de problemas de colinealidad y unos niveles elevados de importancia absoluta y relativa de cada uno de los ítems del cuestionario. Es de destacar, desde la percepción de los estudiantes, que el carácter retador de una tarea de evaluación se relaciona con la transferencia del aprendizaje, y cómo el uso de estrategias de comunicación y la demostración de una comprensión profunda son elementos mediadores de esta relación.