Integración e inferencia
ProblemaUn modelo que corre en una máquina, en el entorno de una persona, todavía no es un modelo que el equipo pueda volver a ejecutar.
ContribuciónIntegré, empaqueté y ejecuté modelos con distintos backends de inferencia, en contenedores, en la nube y en máquinas con GPU.
ResultadoEl mismo modelo podía empaquetarse y ejecutarse de nuevo, en más de un backend, sin depender de un único puesto de trabajo.
Compresión
ProblemaLos modelos pesaban más de lo que el despliegue podía llevar con holgura, y comprimir cambia lo que hace un modelo.
ContribuciónLos comprimí con pruning, con cuantización y con redes tensoriales. Usé knowledge distillation para que un modelo menor aprendiera de uno mayor, y trabajé la recuperación de calidad después de la compresión.
ResultadoLos modelos comprimidos podían servirse donde el peso original no cabía, y acercarse de nuevo al comportamiento que el uso necesitaba.
Visión por computador
ProblemaUna puntuación de detector puede verse sana mientras se escapa un tipo entero de objeto.
ContribuciónEvalué detectores con precision, recall y mAP, la precisión media entre detecciones, y miré los errores de detección que esas cifras resumen.
ResultadoEl equipo podía ver qué detecciones fallaban, no solo el promedio.
Evaluación de modelos de lenguaje
ProblemaComparar modelos de lenguaje con una sola puntuación automática deja fuera si una respuesta es aceptable de verdad.
ContribuciónComparé modelos y usé otro modelo para juzgar las respuestas.
ResultadoLa comparación podía leerse como un juicio, no solo como un número.
Evaluación de RAG
ProblemaUna recuperación más una respuesta generada puede sonar fluida cuando el contexto recuperado es escaso, o cuando el sistema tendría que haberse abstenido.
ContribuciónEvalué la recuperación y la respuesta con RAGAS, y con medidas complementarias: cuándo el sistema debe abstenerse y si el contexto basta.
ResultadoLa evaluación mostraba el soporte de la respuesta, y los casos en los que responder era el movimiento equivocado.