Generación de expresiones algebraicas en formato LaTeX a partir del procesamiento del lenguaje natural

Tesina (Licenciatura en Sistemas) - Universidad Nacional de La Plata. Facultad de Informática, 2024.

1 Introducción -- 1.1 Resumen -- 1.2 Motivación -- 1.3 Objetivos -- 1.4 Organización del documento -- 2 Conceptos Preliminares -- 2.1 Expresiones Algebraicas -- 2.1.1 Polinomios -- 2.1.2 Sistemas de Ecuaciones -- 2.2 Aprendizaje Profundo -- 2.2.1 Redes neuronales artificiales -- 2.2.2 Redes neuronales recurrentes -- 2.3 LaTeX -- 2.4 Estado del arte -- 3 Procesamiento de Lenguaje Natural -- 3.1 Modelos de lenguaje -- 3.1.1 Modelos basados en n-gramas -- 3.1.2 Modelos neuronales de lenguaje -- 3.2 Preprocesamiento y semántica vectorial -- 3.2.1 Tokenización -- 3.2.2 Aprendizaje de características - Embeddings -- 3.3 Transformers -- 3.3.1 Modelo Encoder-Decoder -- 3.3.2 Mecanismo de atención -- 3.3.3 Arquitectura Transformer -- 3.4 Grandes modelos de lenguaje (LLMs) -- 3.4.1 Transfer learning y Fine-tuning -- 3.4.2 Modelo BERT -- 3.4.3 Modelos GPT -- 3.4.4 Modelo T5 -- 3.5 Reconocimiento de entidades nombradas -- 3.6 Aprendizaje multitarea -- 3.7 Métricas de evaluación de modelos -- 4 Datos de entrenamiento -- 4.1 Diseño conceptual de los datos -- 4.1.1 PseudoLaTeX -- 4.1.2 Entidades Nombradas -- 4.1.3 Árboles de Operadores -- 4.2 Recolección de datos - LEDProject -- 4.2.1 Generación de expresiones -- 4.2.2 Modelo físico de la base de datos -- 4.2.3 Tecnologías de desarrollo de LEDProject -- 4.2.4 Resultados de la recolección -- 4.3 Preprocesamiento de datos -- 4.3.1 Curado de datos recolectados -- 4.3.2 Afinación de árboles de operadores -- 4.3.3 Etiquetado de descripciones -- 4.3.4 Aumento de volumen de datos -- 5 Desarrollo del modelo -- 5.1 Hipótesis y modelos -- 5.1.1 Modelo inicial -- 5.1.2 Modelos intermedios -- 5.1.3 Modelo final -- 5.2 Implementación -- 5.2.1 Modelo de lenguaje base -- 5.2.2 Herramientas y desarrollo -- 5.3 Entrenamiento -- 5.3.1 Hiperparámetros -- 5.3.2 Hardware utilizado y tiempos de ejecución -- 6 Resultados obtenidos -- 6.1 Comparación de modelos -- 6.1.1 Errores de entrenamiento VS errores de validación -- 6.1.2 Resultados de validación y prueba -- 6.2 Observaciones de rendimiento -- -- 7 Conclusiones y Trabajos futuros -- 7.1 Conclusiones generales -- 7.2 Líneas futuras de trabajo -- Bibliografía