A Three-Step DIF Analysis of a Reading Comprehension Test Across Regional Dialects to Improve Test Score Validity

ABSTRACT

In sociolinguistic contexts where standardized languages coexist with regional dialects, the study of differential item functioning is a valuable tool for examining certain linguistic uses or varieties as threats to score validity. From an ecological perspective, this paper describes three stages in the study of differential item functioning (DIF): detection, comprehension and evaluation of its consequences. The research focuses on a reading comprehension test in Basque with 1,943 respondents representing two regional dialects. After assessing the dimensionality of the data fitting unidimensional and bifactor models, we start with a multi-method approach (Item Response Theory, Mantel-Haenszel, Standardization) to detect DIF. In a second step, we study the causes of DIF based on a qualitative methodology approach built on the focus group technique. Finally, the impact of DIF on the test level is evaluated through indicators of differential test functioning (DTF) derived from the IRT, and comparisons between situations that consider the presence/absence of DIF. The paper stresses the importance of the comprehensive study of DIF in language accreditation tests as a tool for improving score validity.

En entornos sociolingüísticos definidos por la coexistencia de una lengua minorizada y estandarizada, junto a dialectos regionales, el estudio del funcionamiento diferencial del ítem (DIF) puede resultar de gran valor en la exploración de ciertos usos o variedades lingüísticas que podrían representar amenazas contra la validez de las puntuaciones. Adoptando una perspectiva ecológica, este trabajo plantea tres etapas en la investigación del DIF: detección, comprensión y evaluación de sus consecuencias. La propuesta se ilustra a través del estudio de una prueba de comprensión lectora en euskera que fue respondida por 1,943 candidatos procedentes de dos regiones dialectales. La detección del DIF se lleva a cabo con la aplicación de tres procedimientos diferentes: teoría de la respuesta al ítem, Mantel-Haenszel, y estandarización. En un segundo estadio, y siguiendo una aproximación cualitativa construida sobre la técnica de los grupos focales, se analizan las posibles causas del DIF. Por último, se evalúa el impacto del DIF en el nivel del test a través de indicadores de funcionamiento diferencial del test (DTF) derivados de la teoría de la respuesta al ítem, y de comparaciones entre situaciones que consideran la inclusión/exclusión de ítems con DIF. El artículo destaca la importancia de un abordaje integral del DIF en pruebas de acreditación lingüística como herramienta para fortalecer la validez de las puntuaciones.

Disclosure statement

No potential conflict of interest was reported by the author(s).

Additional information

Funding

This work was supported by HABE (230222RRF3) and the research project PID2019-103859RB-I00.