A comparison of small sample methods for handshape recognition
Automatic Sign Language Translation (SLT) systems can be a great asset to improve the communication with and within deaf communities. Currently, the main issue preventing effective translation models lays in the low availability of labelled data, which hinders the use of modern deep learning models....
Guardado en:
| Autores principales: | , , , , , , |
|---|---|
| Formato: | Articulo |
| Lenguaje: | Inglés |
| Publicado: |
2023
|
| Materias: | |
| Acceso en línea: | http://sedici.unlp.edu.ar/handle/10915/152121 |
| Aporte de: |
| id |
I19-R120-10915-152121 |
|---|---|
| record_format |
dspace |
| spelling |
I19-R120-10915-1521212023-04-25T20:03:46Z http://sedici.unlp.edu.ar/handle/10915/152121 issn:1666-6038 A comparison of small sample methods for handshape recognition Una comparación de métodos para reconocimiento de formas de manos con pocas muestras Quiroga, Facundo Manuel Ronchetti, Franco Cornejo Fandos, Ulises Jeremías Ríos, Gastón Gustavo Dal Bianco, Pedro Alejandro Hasperué, Waldo Lanzarini, Laura Cristina 2023-04 2023-04-25T18:06:59Z en Ciencias Informáticas Sign language Handshape recognition DenseNet Prototypical networks MAML Transfer learning Small datasets Lengua de señas Reconocimiento de formas de mano Redes Prototipicas Transferencia de aprendizaje Datasets pequeños Automatic Sign Language Translation (SLT) systems can be a great asset to improve the communication with and within deaf communities. Currently, the main issue preventing effective translation models lays in the low availability of labelled data, which hinders the use of modern deep learning models. SLT is a complex problem that involves many subtasks, of which handshape recognition is the most important. We compare a series of models specially tailored for small datasets to improve their performance on handshape recognition tasks. We evaluate Wide-DenseNet and few-shot Prototypical Network models with and without transfer learning, and also using Model-Agnostic Meta- Learning (MAML). Our findings indicate that Wide- DenseNet without transfer learning and Prototipical Networks with transfer learning provide the best results. Prototypical networks, particularly, are vastly superior when using less than 30 samples, while Wide- DenseNet achieves the best results with more samples. On the other hand, MAML does not improve performance in any scenario. These results can help to design better SLT models. Los sistemas de traducción automática de lengua de señas (SLT, por sus siglas en inglés) pueden ser una gran ayuda para mejorar la comunicación con las comunidades sordas así como también entre ellas. Actualmente, el principal obstáculo para el desarrollo de modelos de traducción efectivos es la falta de datos etiquetados, que impide el uso de métodos de aprendizaje automático profundo modernos.La tra- -35- ducción de lengua de señas es un problema complejo que involucra varias subtareas, de las cuales el reconocimiento de la forma de la mano es la más importante. En este trabajo, comparamos una serie de modelos especialmente adaptados para ser entrenados con pocas muestras en la tarea de reconocer formas de mano. Evaluamos los modelos WideDenseNet y Prototypical Networks, con y sin el uso de transferencia de aprendizaje, y también el model Model-Agnostic Meta-Learning (MAML). Nuestros resultados indican que el modelo Wide-DenseNet sin transferencia de aprendizaje y las Prototypical Networks con transferencia de aprendizaje obtienen los mejores resultados. Las Prototypical Networks son vastamente superiores cuando se utilizan menos de 30 muestras, mientras que Wide-DenseNet es superior en el resto de los casos. Por otro lado, MAML, que es un método diseñado específicamente para estos casos, no mejora el desempeño en ningún caso. Estos resultados pueden ayudar a diseñar mejor los componentes de un sistema de traducción de lengua de señas. Facultad de Informática Articulo Articulo http://creativecommons.org/licenses/by-nc/4.0/ Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) application/pdf |
| institution |
Universidad Nacional de La Plata |
| institution_str |
I-19 |
| repository_str |
R-120 |
| collection |
SEDICI (UNLP) |
| language |
Inglés |
| topic |
Ciencias Informáticas Sign language Handshape recognition DenseNet Prototypical networks MAML Transfer learning Small datasets Lengua de señas Reconocimiento de formas de mano Redes Prototipicas Transferencia de aprendizaje Datasets pequeños |
| spellingShingle |
Ciencias Informáticas Sign language Handshape recognition DenseNet Prototypical networks MAML Transfer learning Small datasets Lengua de señas Reconocimiento de formas de mano Redes Prototipicas Transferencia de aprendizaje Datasets pequeños Quiroga, Facundo Manuel Ronchetti, Franco Cornejo Fandos, Ulises Jeremías Ríos, Gastón Gustavo Dal Bianco, Pedro Alejandro Hasperué, Waldo Lanzarini, Laura Cristina A comparison of small sample methods for handshape recognition |
| topic_facet |
Ciencias Informáticas Sign language Handshape recognition DenseNet Prototypical networks MAML Transfer learning Small datasets Lengua de señas Reconocimiento de formas de mano Redes Prototipicas Transferencia de aprendizaje Datasets pequeños |
| description |
Automatic Sign Language Translation (SLT) systems can be a great asset to improve the communication with and within deaf communities. Currently, the main issue preventing effective translation models lays in the low availability of labelled data, which hinders the use of modern deep learning models. SLT is a complex problem that involves many subtasks, of which handshape recognition is the most important. We compare a series of models specially tailored for small datasets to improve their performance on handshape recognition tasks. We evaluate Wide-DenseNet and few-shot Prototypical Network models with and without transfer learning, and also using Model-Agnostic Meta- Learning (MAML). Our findings indicate that Wide- DenseNet without transfer learning and Prototipical Networks with transfer learning provide the best results.
Prototypical networks, particularly, are vastly superior when using less than 30 samples, while Wide- DenseNet achieves the best results with more samples.
On the other hand, MAML does not improve performance in any scenario. These results can help to design better SLT models. |
| format |
Articulo Articulo |
| author |
Quiroga, Facundo Manuel Ronchetti, Franco Cornejo Fandos, Ulises Jeremías Ríos, Gastón Gustavo Dal Bianco, Pedro Alejandro Hasperué, Waldo Lanzarini, Laura Cristina |
| author_facet |
Quiroga, Facundo Manuel Ronchetti, Franco Cornejo Fandos, Ulises Jeremías Ríos, Gastón Gustavo Dal Bianco, Pedro Alejandro Hasperué, Waldo Lanzarini, Laura Cristina |
| author_sort |
Quiroga, Facundo Manuel |
| title |
A comparison of small sample methods for handshape recognition |
| title_short |
A comparison of small sample methods for handshape recognition |
| title_full |
A comparison of small sample methods for handshape recognition |
| title_fullStr |
A comparison of small sample methods for handshape recognition |
| title_full_unstemmed |
A comparison of small sample methods for handshape recognition |
| title_sort |
comparison of small sample methods for handshape recognition |
| publishDate |
2023 |
| url |
http://sedici.unlp.edu.ar/handle/10915/152121 |
| work_keys_str_mv |
AT quirogafacundomanuel acomparisonofsmallsamplemethodsforhandshaperecognition AT ronchettifranco acomparisonofsmallsamplemethodsforhandshaperecognition AT cornejofandosulisesjeremias acomparisonofsmallsamplemethodsforhandshaperecognition AT riosgastongustavo acomparisonofsmallsamplemethodsforhandshaperecognition AT dalbiancopedroalejandro acomparisonofsmallsamplemethodsforhandshaperecognition AT hasperuewaldo acomparisonofsmallsamplemethodsforhandshaperecognition AT lanzarinilauracristina acomparisonofsmallsamplemethodsforhandshaperecognition AT quirogafacundomanuel unacomparaciondemetodosparareconocimientodeformasdemanosconpocasmuestras AT ronchettifranco unacomparaciondemetodosparareconocimientodeformasdemanosconpocasmuestras AT cornejofandosulisesjeremias unacomparaciondemetodosparareconocimientodeformasdemanosconpocasmuestras AT riosgastongustavo unacomparaciondemetodosparareconocimientodeformasdemanosconpocasmuestras AT dalbiancopedroalejandro unacomparaciondemetodosparareconocimientodeformasdemanosconpocasmuestras AT hasperuewaldo unacomparaciondemetodosparareconocimientodeformasdemanosconpocasmuestras AT lanzarinilauracristina unacomparaciondemetodosparareconocimientodeformasdemanosconpocasmuestras AT quirogafacundomanuel comparisonofsmallsamplemethodsforhandshaperecognition AT ronchettifranco comparisonofsmallsamplemethodsforhandshaperecognition AT cornejofandosulisesjeremias comparisonofsmallsamplemethodsforhandshaperecognition AT riosgastongustavo comparisonofsmallsamplemethodsforhandshaperecognition AT dalbiancopedroalejandro comparisonofsmallsamplemethodsforhandshaperecognition AT hasperuewaldo comparisonofsmallsamplemethodsforhandshaperecognition AT lanzarinilauracristina comparisonofsmallsamplemethodsforhandshaperecognition |
| _version_ |
1765660075111743488 |