Support for decision-making in checking the level of quality of student research works based on automated text analysis (Asistencia para la toma de decisiones en la evaluación de la calidad de las investigaciones de los estudiantes basada en el análisis automático de textos)

ABSTRACT

The purpose of this study is to increase the efficiency of the analysis process and the objectivity of decision-making on the final assessment, showing the quality of student research works based on the use of an automated text analysis software product. The total number of evaluated research papers was more than 300 (average age of students: 21.6; SD = 34). During the experiment, the effectiveness of the software product Multifunctional Text Analyser (MTA) was tested on the specified sample. The text of the analysed research works can be assessed as qualitative if the complex indicator of the text fragments congruence of the work exceeds 70%. The current article can be used as a methodological and theoretical basis for implementing the principles of academic virtue in institutions of higher education.

RESUMEN

El objetivo de este estudio es incrementar la eficacia del proceso de análisis y la objetividad de las decisiones en la evaluación final y mostrar la calidad de los trabajos de investigación de los estudiantes utilizando un programa de análisis automático de textos. El total de artículos evaluados superó los 300 (media de edad de los estudiantes: 21.6, DT = 34). Durante el experimento se probó la efectividad del programa Multifunctional Text Analysis (MTA) en la muestra seleccionada. El texto de las investigaciones analizadas puede evaluarse como cualitativo si el indicador complejo de coherencia de los fragmentos textuales supera el 70%. Este artículo puede servir de base metodológica y teórica para poner en práctica los principios de la virtud académica en los centros de educación superior.

KEYWORDS:

• computer-assisted assessment
• moderation
• research
• semantic analysis
• text analysis
• text

PALABRAS CLAVE:

• evaluación asistida por ordenador
• moderación
• investigación
• análisis semántico
• análisis textual
• texto

Disclosure statement / Conflicto de intereses

No potential conflict of interest was reported by the authors. / Los autores no han referido ningún potencial conflicto de interés en relación con este artículo.

Data availability statement / Declaración de disponibilidad de datos

Data will be available on request. / Datos disponibles previa solicitud.