Noticias
Mayo 2023.- “Find a witness or shatter: the landscape of computable PAC learning” es el título del trabajo de los investigadores IMFD y posdoctorandos internacionales del Instituto de Ingeniería Matemática y Computacional de la P. Universidad Católica de Chile(IMC UC), Valentino Delle Rose, Alexander Kozachinskiy y Tomasz Steifer, junto al académico de la misma unidad, Cristóbal Rojas, presentarán en la Conferencia sobre Teoría del Aprendizaje (COLT), considerado uno de los más importantes del mundo en teoría de machine learning e inteligencia artificial.
Cada año, desde 1988, la Asociación para el Aprendizaje Computacional (ACL, por su sigla en inglés) organiza este evento, que celebrará en julio próximo su versión número 36 en Bangalore, India y, tal como en ocasiones anteriores, considera la presentación de las mejores investigaciones en ese campo.
Tal como señala la ACL, la teoría del aprendizaje es una disciplina “dedicada al estudio del diseño y análisis de algoritmos de aprendizaje automático. En particular, tales algoritmos apuntan a hacer predicciones o representaciones precisas basadas en observaciones”. Por ese motivo, agrega la entidad, COLT pone énfasis en el “análisis matemático riguroso utilizando técnicas de varios campos relacionados, como probabilidad, estadística, optimización, teoría de la información y geometría”. Además, indica ACL, si bien tiene raíces teóricas la teoría del aprendizaje también se destaca por poner “un fuerte énfasis en la computación eficiente”.
Precisamente, ese es el eje de la investigación titulada “Find a witness or shatter: the landscape of computable PAC learning”, que aborda un marco teórico que se conoce como “Probably approximately correct learning” o “PAC learning”. Alexander Kozachinskiy, doctor en matemáticas de la U. Estatal de Moscú, Rusia, y quien además es investigador de postdoctorado del IMFD y del Centro Nacional de Inteligencia Artificial (CENIA), explica que PAC learning es un hito en la teoría de aprendizaje. “Entrega, en un marco determinado, una caracterización brillante y limpia de lo que se puede aprender y lo que no se puede aprender. Sin embargo, esto lo logra a costa de ignorar el costo computacional del aprendizaje. La teoría que se ocupa de ese costo se llama ‘teoría de aprendizaje computacional’. Nuestro paper contribuye a ese campo y COLT es el lugar más importante para mostrar resultados como estos”, indica.
Cristóbal Rojas, quien además es investigador de Cenia, agrega que PAC learning es un marco donde se “puede establecer claramente en qué consiste el problema de aprendizaje general, lo que permite estudiarlo desde un punto de vista matemático. En este marco, el input del problema general consiste en un conjunto de datos y una clase de modelos posibles, y el objetivo es evaluar si esa clase es buena para esos datos. Si lo es, significa que dentro de la clase hay funciones que aproximan bien los datos observados, y que tienen alta probabilidad de aproximar correctamente datos aún no observados. Además, debe existir un algoritmo que mira los datos y encuentra la función que mejor los ‘explica’ en este sentido”.
En esta área de investigación, agrega el académico, hay varios elementos claves: “Primero, cuántos datos tiene que mirar el algoritmo, qué tan eficiente es y si tiene acceso a la cantidad de datos necesarios para encontrar la función. Existía una teoría que caracterizaba la relación entre esos parámetros, pero no se preocupaba de la parte en que la operación que mira los datos y encuentra la función que los aproxima tiene que ser un algoritmo; estaba hecha en un marco abstracto en donde esa operación se realizaba con una función cualquiera”. Más recientemente, indica Rojas, se empezó a estudiar qué es lo que pasaba cuando se “exige que esa operación pueda ser calculada por un algoritmo. Ahí el panorama se complicaba un poco y había resultados parciales; no existía una comprensión completa de la relación entre los distintos parámetros. Y en particular había tres preguntas abiertas, que habían aparecido en estudios anteriores presentados en la misma conferencia COLT”.
De acuerdo con el docente IMC UC, lo que hizo el equipo de investigadores fue “responder esas preguntas y con eso cerrar la teoría respecto de lo que se llama ‘computable PAC learning’ que es la misma teoría de antes, pero tomando en cuenta el hecho de que queremos que se pueda hacer por algoritmos”. Rojas agrega que el trabajo sirve principalmente como una comprensión conceptual de “cómo se relacionan distintos parámetros”. Entonces, si uno quiere estudiar un problema concreto esto opera como guía para las decisiones de modelamiento que hay que tomar. Además, se pone un marco para tener expectativas razonables respecto de lo que uno espera de la aplicación en concreto”.
El aporte de los postdoctorados
Más allá de haber logrado que el paper fuera aceptado en una conferencia del nivel de COLT 2023, Cristóbal Rojas destaca el aporte del equipo de estudiantes de postdoctorado provenientes de Rusia, Italia y Polonia. “Fue un trabajo en el que ellos se afiataron. Entre todos encontramos el tema y las preguntas. Después nos pusimos a trabajar y resultó que era justo un tema en el que nosotros nos sentimos cómodos. Yo más que nada los alenté a seguir adelante y aporté en algunas cosas, además de ayudar en la redacción del borrador final. Pero el trabajo duro lo hicieron ellos”, comenta el académico.
Al respecto, Alexander Kozachinskiy señala que en el grupo que elaboró el paper hay personas con “formación en diferentes áreas, tales como sistemas dinámicos, lógica y complejidad de Kolmogórov. Además, estamos aprendiendo sobre machine learning e inteligencia artificial de una manera no convencional. Es interesante y desafiante y espero que eso influya de manera positiva en la investigación”.
Uno de los objetivos adicionales del estudio es que aporte de manera positiva a las organizaciones donde se desempeñan los estudiantes de postdoctorado. Al igual que Alexander, Valentino Delle Rose forma parte del IMFD y CENIA, mientras que Tomasz Steifer es integrante del IMFD. “La expectativa de esos centros es que parte del trabajo que hacen tribute a los objetivos de esas instituciones, los cuales en un principio están fuera de la formación de base que ellos traen. De alguna manera, les estamos pidiendo que se salgan de su zona de confort y que empiecen a estudiar estos problemas. De hecho, tuvimos suerte al encontrar lo que analizamos en el paper, porque está justo entre medio de lo que ellos y yo sabemos bien y esta teoría de aprendizaje o machine learning que es uno de los tópicos de todos estos institutos”, explica Rojas. “La idea es seguir encontrando puentes y conexiones para irnos metiendo más en este nuevo tema, aprender más y buscar la forma de exportar nuestra experticia a ese campo. Además, mientras más transitemos hacia ese lado, más interesante se va a volver para los estudiantes porque son los temas que están de moda y se encuentran detrás de todas las nuevas tecnologías”.
La relevancia de COLT
El hecho de que el estudio elaborado por los estudiantes de postdoctorado y el académico Cristóbal Rojas haya sido aceptado en COLT es un logro relevante, indica Cristóbal Guzmán, docente IMC UC y doctor en algoritmos, combinatoria y optimización. “Comparada con eventos como, por ejemplo, NeurIPS, COLT es una conferencia más de nicho. Sólo se aceptan unos 100 papers y los participantes no superan los 500, por lo que la calidad de las publicaciones es muy superior. En mi experiencia, es mucho más difícil tener un paper aceptado en COLT que en otras conferencias, ya que hay una exigencia particular en cuanto a la contribución teórica de un trabajo”, comenta el investigador, quien es miembro senior del comité de programa de COLT.
Fuente: IMC UC
