Lejepa, la receta maestra de Yann Lecun

alt text

LeJEPA es una evolución de la arquitectura JEPA que aprende el significado profundo de los datos prediciendo representaciones en lugar de píxeles, pero eliminando la necesidad de usar inestables parches históricos (como el aprendizaje contrastivo o modelos maestro-alumno) para evitar que el sistema colapse. Su gran innovación es utilizar SIGReg, un método que soluciona este problema de raíz al obligar a los embeddings a mantener una estructura geométrica de nube esférica (Gaussiana isotrópica). Esto da como resultado un modelo estable, libre de "magia negra" y altamente escalable, donde el rendimiento durante el entrenamiento por fin permite predecir con precisión su éxito en tareas y dominios reales.

Participan en la tertulia: Paco Zamora, Josu Gorostegui y Guillermo Barbadillo.

Recuerda que puedes enviarnos dudas, comentarios y sugerencias en: https://twitter.com/TERTUL_ia