Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras futuras

Los modelos actuales de Procesamiento del Lenguaje Natural son capaces de alcanzar excelentes resultados en tareas lingüísticas. Po rejemplo, los modelos basados en redes LSTM pueden generar abstracciones para hacer predicciones sobre las palabras futuras. Dicha habilidad abre una ventana en el camp...

Descripción completa

Detalles Bibliográficos
Autores principales: Umfurer, Alfredo, Kamienkowski, Juan, Bianchi, Bruno
Formato: Articulo
Lenguaje:Español
Publicado: 2022
Materias:
Acceso en línea:http://sedici.unlp.edu.ar/handle/10915/142897
https://publicaciones.sadio.org.ar/index.php/EJS/article/view/218
Aporte de:
id I19-R120-10915-142897
record_format dspace
institution Universidad Nacional de La Plata
institution_str I-19
repository_str R-120
collection SEDICI (UNLP)
language Español
topic Ciencias Informáticas
LSTM
Eye Movements
Linear Mixed Model
Reading
spellingShingle Ciencias Informáticas
LSTM
Eye Movements
Linear Mixed Model
Reading
Umfurer, Alfredo
Kamienkowski, Juan
Bianchi, Bruno
Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras futuras
topic_facet Ciencias Informáticas
LSTM
Eye Movements
Linear Mixed Model
Reading
description Los modelos actuales de Procesamiento del Lenguaje Natural son capaces de alcanzar excelentes resultados en tareas lingüísticas. Po rejemplo, los modelos basados en redes LSTM pueden generar abstracciones para hacer predicciones sobre las palabras futuras. Dicha habilidad abre una ventana en el campo de la neurociencia cognitiva. Se sabe que la probabilidad de que un lector sepa una palabra antes de leerla (variable denominada cloze-Predictability) impacta en el tiempo que el lector se posa sobre ella. Sin embargo, poco se sabe acerca de cuando o como estas predicciones son realizadas. Aquí, entrenamos modelos basados en LSTM para predecir palabras futuras y usar sus predicciones para reemplazar la cloze-Predictability en modelos estadísticos del campo de la neurociencia. Observamos que la LSTM-Predictability puede modelar movimientos oculares con un alto solapamiento tanto con cloze-Predictability como con la frecuencia léxica. Además, este rendimiento varía en función del corpus de entrenamiento. Este estudio es un paso más hacia la comprensión de cómo nuestro cerebro realiza predicciones durante la lectura.
format Articulo
Articulo
author Umfurer, Alfredo
Kamienkowski, Juan
Bianchi, Bruno
author_facet Umfurer, Alfredo
Kamienkowski, Juan
Bianchi, Bruno
author_sort Umfurer, Alfredo
title Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras futuras
title_short Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras futuras
title_full Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras futuras
title_fullStr Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras futuras
title_full_unstemmed Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras futuras
title_sort utilización de modelos de lenguaje basados en redes lstm y movimientos oculares para la comprensión del proceso de predicción de palabras futuras
publishDate 2022
url http://sedici.unlp.edu.ar/handle/10915/142897
https://publicaciones.sadio.org.ar/index.php/EJS/article/view/218
work_keys_str_mv AT umfureralfredo utilizaciondemodelosdelenguajebasadosenredeslstmymovimientosocularesparalacomprensiondelprocesodepredicciondepalabrasfuturas
AT kamienkowskijuan utilizaciondemodelosdelenguajebasadosenredeslstmymovimientosocularesparalacomprensiondelprocesodepredicciondepalabrasfuturas
AT bianchibruno utilizaciondemodelosdelenguajebasadosenredeslstmymovimientosocularesparalacomprensiondelprocesodepredicciondepalabrasfuturas
AT umfureralfredo usinglstmbasedlanguagemodelsandhumaneyemovementsmetricstounderstandnextwordpredictions
AT kamienkowskijuan usinglstmbasedlanguagemodelsandhumaneyemovementsmetricstounderstandnextwordpredictions
AT bianchibruno usinglstmbasedlanguagemodelsandhumaneyemovementsmetricstounderstandnextwordpredictions
bdutipo_str Repositorios
_version_ 1764820459080122368