Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias

Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan lo...

Descripción completa

Guardado en:

Detalles Bibliográficos
Autores principales:	Orellana, Marcos, García, Patricio Santiago, Zambrano Martínez, Jorge Luis, Suppi, Remo
Formato:	Objeto de conferencia
Lenguaje:	Español
Publicado:	2024
Materias:	Ciencias Informáticas Ajuste-fino GPU LLM PLN Sistemas Distribuidos
Acceso en línea:	http://sedici.unlp.edu.ar/handle/10915/178366
Aporte de:	SEDICI (UNLP) de Universidad Nacional de La Plata

id	I19-R120-10915-178366
record_format	dspace
spelling	I19-R120-10915-1783662025-04-23T20:05:02Z http://sedici.unlp.edu.ar/handle/10915/178366 Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias Orellana, Marcos García, Patricio Santiago Zambrano Martínez, Jorge Luis Suppi, Remo 2024-10 2024 2025-04-23T16:45:03Z es Ciencias Informáticas Ajuste-fino GPU LLM PLN Sistemas Distribuidos Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras. Red de Universidades con Carreras en Informática Objeto de conferencia Objeto de conferencia http://creativecommons.org/licenses/by-nc-sa/4.0/ Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) application/pdf 208-217
institution	Universidad Nacional de La Plata
institution_str	I-19
repository_str	R-120
collection	SEDICI (UNLP)
language	Español
topic	Ciencias Informáticas Ajuste-fino GPU LLM PLN Sistemas Distribuidos
spellingShingle	Ciencias Informáticas Ajuste-fino GPU LLM PLN Sistemas Distribuidos Orellana, Marcos García, Patricio Santiago Zambrano Martínez, Jorge Luis Suppi, Remo Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
topic_facet	Ciencias Informáticas Ajuste-fino GPU LLM PLN Sistemas Distribuidos
description	Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras.
format	Objeto de conferencia Objeto de conferencia
author	Orellana, Marcos García, Patricio Santiago Zambrano Martínez, Jorge Luis Suppi, Remo
author_facet	Orellana, Marcos García, Patricio Santiago Zambrano Martínez, Jorge Luis Suppi, Remo
author_sort	Orellana, Marcos
title	Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_short	Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_full	Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_fullStr	Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_full_unstemmed	Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
title_sort	evaluación del rendimiento de llms en gpus distribuidos para un centro de emergencias
publishDate	2024
url	http://sedici.unlp.edu.ar/handle/10915/178366
work_keys_str_mv	AT orellanamarcos evaluaciondelrendimientodellmsengpusdistribuidosparauncentrodeemergencias AT garciapatriciosantiago evaluaciondelrendimientodellmsengpusdistribuidosparauncentrodeemergencias AT zambranomartinezjorgeluis evaluaciondelrendimientodellmsengpusdistribuidosparauncentrodeemergencias AT suppiremo evaluaciondelrendimientodellmsengpusdistribuidosparauncentrodeemergencias
_version_	1845116800449118208

Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias

Ejemplares similares