Charla ReLeLa: IA Estamos! “Geometric Regularization Without Manifolds” con Tom Hanika

📅 Miércoles 30 de septiembre | 12:30 horas | En inglés

El Centro de Modelamiento Matemático (CMM), el Laboratorio de Representaciones para el Aprendizaje y el Lenguaje (ReLeLa) del Departamento de Ciencias de la Computación (DCC) de la Universidad de Chile, y la Iniciativa de Datos e Inteligencia Artificial (IDIA) de la misma casa de estudios, invitan a la charla “Geometric Regularization Without Manifolds“. La instancia estará a cargo de Tom Hanika, co-director del Information Systems and Machine Learning Lab de la Universidad de Hildesheim (Alemania), quien abordará  un innovador enfoque geométrico para la regularización de modelos de machine learning, sin depender de la suposición de variedades (manifolds).

Abstract

Regularization controls model complexity, most commonly by adding a penalty to the training objective. One geometrically motivated instance is manifold regularization, which assumes that the data lies near a low-dimensional submanifold and penalizes functions that vary along it. However, this assumption is fragile. In high dimensions, the presumed manifold is difficult to estimate. Furthermore, for non-metric data, the manifold may not even exist.

We propose a regularization approach that maintains the geometric motivation while disregarding the manifold assumption. Our approach is based on the concept of intrinsic dimension, which stems from the concentration of measure phenomenon in metric measure spaces. The central tool in this approach is Gromov’s observable diameter, which measures how much of a space’s geometry remains visible under real-valued observation. When applied layer by layer to a neural network, the observable diameter yields a computable, distribution-sensitive estimate of the effective degrees of freedom carried by each representation. This approach eliminates the need to posit or reconstruct an underlying manifold.

We use this quantity to regularize learning. It identifies the directions and components that genuinely contribute to the intrinsic dimension per layer. This gives a principled criterion for controlling complexity and pruning overparameterized models. Finally, we relate this layer-wise geometric view to the question of when and why regularization aids generalization.

El trabajo fue desarrollado junto a Friedrich Martin Schneider y Vladimir Pestov.

Tom Hanika es, además, investigador asociado de la Universidad de Kassel y profesor temporal en la Humboldt-Universität zu Berlin, ambas en Alemania. Su investigación conecta los fundamentos matemáticos del aprendizaje automático con aplicaciones en inteligencia artificial explicable, con foco en la extracción interactiva de conocimiento desde datos explícitos e implícitos para garantizar que los sistemas de aprendizaje sean tanto altamente eficaces como estructuralmente sólidos. En el plano aplicado, trabaja en aprendizaje no supervisado sobre grandes corpus de texto y colabora en la aplicación de técnicas de explicación en áreas como biología, geografía, física y humanidades digitales. Es desarrollador senior del sistema de publicaciones sociales BibSonomy y mantenedor de la herramienta de análisis formal de conceptos conexp-clj.

Coordenadas Charla Tom Hanika
Fecha: Miércoles 30 de septiembre.
Horario: 12:30 horas.
La charla será en inglés.
Lugar: OpenBeauchef, FCFM, Universidad de Chile (Beauchef 851, edificio poniente, piso 2).