Effect of Subtitles on Gaze Behavior during Shot Changes: An Eye-tracking Study

Int J Psychol Res (Medellin). 2023 Oct 10;16(2):4-13. doi: 10.21500/20112084.5831. eCollection 2023 Jul-Dec.

Abstract

The study provides a comprehensive picture of the effect of subtitles on the gaze behavior of the participants while watching continuity editing and discontinuity editing style cinema. Three video clips (with English subtitles and without subtitles) of continuity editing and discontinuity editing styles were presented to participants. The video clips came from English movies and the participants were not native English speakers. Entry time, dwell time, first fixation time, scan path, and average fixation duration were taken as dependent variables in this within-group study. The eye-tracking data gathered were subjected to repeated measures of two-way ANOVA and paired t-test. Results revealed that the appearance of subtitles at the bottom of the screen changed the eye movement pattern of the participants during the shot changes. Timing of the subtitle starting point (before the cut or after the cut) also affected the gaze behavior. The editing style, however, did not make any difference in the gaze behavior of participants while watching subtitled video clips. Further, participants preferred reading subtitles to seeing visual images even if the subtitles were presented during the shot changes.

Este estudio provee una imagen completa del efecto de subtítulos en el comportamiento de la mirada en múltiples participantes viendo películas elaboradas con edición continua y discontinua. Tres videoclips (con y sin subtítulos en inglés) con estilos de edición continua y discontinua fueron presentados a los participantes. Los videoclips fueron extraídos de películas de habla inglesa, y los participantes no eran hablantes nativos de inglés. Tiempo de entrada, tiempo de permanencia, tiempo de primera fijación, trayectoria de escaneo, y duración promedio de fijación, fueron tomados como variables dependientes en este estudio entre grupos. La data de rastreo ocular recolectada fue sometida a un ANOVA de dos vías de medidas repetidas y a pruebas-t pareadas. Los resultados revelaron que la presencia de subtítulos en la parte baja de la pantalla cambió el patrón de movimiento ocular de los participantes durante los cambios de toma. El momento de aparición de los subtítulos (antes o después de los cortes) también afectó el comportamiento de la mirada. Sin embargo, el estilo de edición no generó ninguna diferencia en el comportamiento de la mirada de los participantes mientras veían los videoclips subtitulados. Adicionalmente, los participantes prefirieron leer los subtítulos que ver las imágenes visuales, incluso si estos subtítulos se presentaban durante cambios de toma.

Keywords: Cinema; Editing Styles; Eye-Tracking and Watching Movies.; Gaze Behavior; Subtitles.