Evaluación del rendimiento de LLMs en GPUs distribuidos para un centro de emergencias
Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan lo...
Guardado en:
| Autores principales: | , , , |
|---|---|
| Formato: | Objeto de conferencia |
| Lenguaje: | Español |
| Publicado: |
2024
|
| Materias: | |
| Acceso en línea: | http://sedici.unlp.edu.ar/handle/10915/178366 |
| Aporte de: |
| Sumario: | Los grandes modelos de lenguaje o LLMs por sus siglas en inglés han revolucionado el campo del Procesamiento del Lenguaje Natural (PLN) gracias a su capacidad para comprender complejos patrones lingüísticos en grandes cantidades de datos. Sin embargo, uno de los principales desafíos que enfrentan los investigadores y desarrolladores en este contexto es el costo computacional que involucra su procesamiento. Si bien el desarrollo de los modelos de lenguaje tiene gran utilidad en una variedad de tareas, los recursos computacionales necesarios pueden ser prohibitivos. Para reducir esta restricción computacional, se han desarrollado diversos métodos que disminuyen el tamaño de los modelos y así se optimiza el uso de recursos computacionales. El propósito de este estudio, es explorar el rendimiento de dos tipos de infraestructuras aceleradas por GPUs en el entrenamiento de un modelo de lenguaje preentrenado Mixtral-8x7B-v0.1 aplicando diferentes técnicas que reducen el costo computacional. Los resultados muestran una diferencia significativa en el tiempo empleado para el entrenamiento requerido en las dos infraestructuras. |
|---|