Generación automática de contra-narrativas utilizando información argumentativa para combatir mensajes de odio
En el siguiente trabajo elaboramos un dataset de tweets de odio anotados con componentes argumentativos generales y específicos del dominio y con tipos distintos de contra-narrativas definidas según estrategias basadas en estos componentes, con el objetivo de utilizarlos para mejorar el rendimiento...
Guardado en:
| Autor principal: | |
|---|---|
| Otros Autores: | , , , , , |
| Formato: | Tesis Libro |
| Lenguaje: | Español |
| Publicado: |
2024
|
| Materias: | |
| Aporte de: | Registro referencial: Solicitar el recurso aquí |
| LEADER | 06192nam a22004937a 4500 | ||
|---|---|---|---|
| 003 | AR-BaUEN | ||
| 005 | 20260310094846.0 | ||
| 008 | 250729s2025 ag ad||f m||| 000 0|spa|d | ||
| 040 | |a AR-BaUEN |b spa |c AR-BaUEN | ||
| 041 | 0 | |b spa |b eng | |
| 044 | |a ag | ||
| 084 | |a COM 007754 | ||
| 100 | 1 | |a Furman, Damián Ariel | |
| 245 | 1 | 0 | |a Generación automática de contra-narrativas utilizando información argumentativa para combatir mensajes de odio |
| 246 | 3 | 1 | |a Automatic generation of counter-narratives using argumentative information to fight hate speech online |
| 260 | |c 2024 | ||
| 300 | |a xi, 140 p. : |b il., gráfs., tablas | ||
| 502 | |b Doctor de la Universidad de Buenos Aires en el área de Ciencias de la Computación |c Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales |d 2025-06-04 |g Universidad de Buenos Aires - CONICET. Instituto de Investigación en Ciencias de la Computación (ICC) | ||
| 506 | |2 openaire | ||
| 518 | |o Fecha de publicación en la Biblioteca Digital FCEN-UBA | ||
| 520 | 3 | |a En el siguiente trabajo elaboramos un dataset de tweets de odio anotados con componentes argumentativos generales y específicos del dominio y con tipos distintos de contra-narrativas definidas según estrategias basadas en estos componentes, con el objetivo de utilizarlos para mejorar el rendimiento de distintos modelos de lenguaje en la tarea de generación automática de contra-narrativas para combatir la xenofobia. Mostramos que se puede obtener un nivel aceptable de acuerdo entre anotadores, a pesar de la naturaleza subjetiva de la tarea, al utilizar un manual de anotación definido a través de un proceso iterativo que involucra a los anotadores y que los componentes argumentativos propuestos pueden ser identificados, luego, de manera automática con un rendimiento satisfactorio. Estudiamos y desarrollamos las falencias que tienen las métricas utilizadas para realizar evaluaciones automáticas de generación de texto en la tarea de generación de contra-narrativas, tanto aquellas basadas en superposición de n-gramas como aquellas basadas en comparación de embeddings y proponemos categorías de evaluación que permiten definir una metodología para asignar puntajes numéricos a las contra-narrativas a la vez que se explicitan las características deseables que deben tener y definen qué significa que una contra-narrativa sea aceptable o buena. Con esta herramienta realizamos una evaluación con anotadores humanos a través de la cual concluimos que para la familia de modelos Flan-T5 el factor que aumenta en mayor medida el rendimiento de los modelos es el ajuste fino a un conjunto de datos de calidad, en comparación a aumentar el tamaño del modelo o incluso a utilizar la información argumentativa. La información argumentativa no mejora el rendimiento de los modelos de manera significativa con la excepción de aquellos que se ajustan utilizando un solo tipo de contra-narrativa y la información argumentativa en la que basan su estrategia. Finalmente, utilizamos la evaluación humana para entrenar modelos para realizar evaluaciones automáticas y evaluamos así la generación realizada por distintos Grandes Modelos de Lenguaje con múltiples configuraciones de generación. |l spa | |
| 520 | 3 | |a In the following work, we develop a dataset of hate tweets annotated with general and domain-specific argumentative components, as well as different types of counter-narratives defined based on strategies derived from these components. The goal is to use them to improve the performance of various language models in the task of automatic counter-narrative generation to fight online xenophobia. We show that it is possible to achieve an acceptable level of inter-annotator agreement, despite the subjective nature of the task, by using an annotation manual defined through an iterative process involving the annotators. Furthermore, we show that the proposed argumentative components can subsequently be identified automatically with satisfactory performance. We study and address the shortcomings of metrics used for automatic evaluations of text generation in the counter-narrative generation task, including those based on n-gram overlap and embedding comparisons. We propose evaluation categories that define a methodology for assigning numerical scores to counter-narratives, explicitly stating the desirable characteristics they should possess and defining what it means for a counter-narrative to be acceptable or good. Using this tool, we conduct an evaluation with human annotators through which we conclude that, for the Flan-T5 family of models, the factor that most significantly improves model performance is fine-tuning on a high-quality dataset, compared to increasing model size or even using argumentative information. Argumentative information does not significantly improve model performance except in cases where models are fine-tuned using a single type of counter-narrative and the argumentative information underpinning its strategy. Finally, we use human evaluations to train models for conducting automated evaluations and use them to assess the generations produced by various Large Language Models under multiple generation configurations. |l eng | |
| 540 | |2 cc |f https://creativecommons.org/licenses/by-nc-sa/2.5/ar | ||
| 653 | 1 | 0 | |a CONTRA-NARRATIVAS |
| 653 | 1 | 0 | |a ARGUMENTACION |
| 653 | 1 | 0 | |a DISCURSO DE ODIO |
| 653 | 1 | 0 | |a GRANDES MODELOS DE LENGUAJE |
| 653 | 1 | 0 | |a EVALUACION DE TEXTO GENERADO |
| 690 | 1 | 0 | |a COUNTER-NARRATIVES |
| 690 | 1 | 0 | |a ARGUMENTATION |
| 690 | 1 | 0 | |a HATE SPEECH |
| 690 | 1 | 0 | |a LARGE LANGUAGE MODELS |
| 690 | 1 | 0 | |a EVALUATION OF OPEN TEXT GENERATION |
| 700 | 1 | |a Martínez, María Vanina | |
| 700 | 1 | |a Alonso Alemany, Laura | |
| 700 | 1 | |a Schapachnik, Fernando Pablo | |
| 700 | 1 | |a Soto, Axel Juan | |
| 700 | 1 | |a Chiruzzo Alonso, Luis Hernán | |
| 700 | 1 | |a Pérez, Diana Inés | |
| 856 | 4 | |q application/pdf | |
| 931 | |a DC | ||
| 961 | |b tesis |c PR |e ND |a IR: No mando autorizacion ni entrego fisicamente la tesis | ||
| 962 | |a info:ar-repo/semantics/tesis doctoral |a info:eu-repo/semantics/doctoralThesis |b info:eu-repo/semantics/publishedVersion | ||
| 999 | |c 107922 | ||