Le programme de 2 semaines vise à offrir une opportunité aux chercheurs et en particulier aux jeunes chercheurs (par exemple, PhD étudiants, stagiaires postdoctoraux) pour apprendre la théorie sous-jacente et les concepts abordés dans le programme, pour partager leurs connaissances et de développer de nouvelles collaborations.
Sujets
- 1. Théorie et méthodes de traitement du signal
- 2. L'évaluation empirique des algorithmes sur des ensembles de données ouvertes
- 3. Défis liés aux données et sprints de codage pour le développement de logiciels open source
- 4. Clubs de lecture visant à étudier la littérature et à faire des recommandations sur des problèmes spécifiques.
Une liste non exhaustive de sujets de recherche scientifique a été préalablement esquissée lors du programme IPa « teasing journée », tenue en septembre 2021.
Comités scientifiques et d'organisation
Comité scientifique : E. Chouzenoux (Inria Paris-Saclay), A. Desolneux (ENS Paris-Saclay), A. Gramfort (Inria Paris-Saclay), A. Kazeykina (Université Paris-Saclay), M. Kowlaski (Université Paris-Saclay).
Comité d'organisation : P. Ciuciu (CEA), F. Pascal (CentraleSupélec), C. Soussen (CentraleSupélec), B. Thirion (Inria Paris- Saclay).
À l'occasion de ce programme thématique, une conférence sur le thème "Rapture of the deep: highs and lows of sparsity in a world of depths" se tiendra à l'Institut Pascal et sera ouverte au grand public. Ce séminaire sera animé par Rémi GRIBONVAL, Directeur de Recherche INRIA.
Sujet de cette conférence
Tenter de promouvoir la faible concentration dans les réseaux profonds est naturel pour contrôler leur complexité, et on peut s'attendre à ce que cela apporte d'autres avantages en termes de signification statistique ou d'explicabilité. Pourtant, si les régularisateurs favorisant la faible concentration sont bien connus dans les problèmes inverses linéaires, on en sait beaucoup moins dans des contextes plus profonds, linéaires ou non. Nous montrons que, contrairement au cas linéaire, même le cadre bilinéaire simple conduit à des surprises : la régularisation ℓ1 ne conduit pas toujours à la faible concentration [1], et l'optimisation avec un support fixe peut être NP-hard [2]. Nous identifions néanmoins des familles de supports pour lesquelles cette optimisation devient facile [2] et bien posée [3], et nous l'exploitons pour dériver un algorithme capable de récupérer des factorisations de matrices éparses multicouches avec certains supports prescrits (papillons) à un coût proportionnel à la taille de la matrice approximée [4,5]. Derrière la plupart des phénomènes observés se trouvent des ambiguïtés d'échelle intrinsèques dans la paramétrisation des réseaux linéaires profonds, qui sont également présentes dans les réseaux ReLU. Nous concluons avec un encastrement invariant d'échelle de tels réseaux [6], qui peut être utilisé pour analyser l'identifiabilité des (la classe d'équivalence des) paramètres des réseaux ReLU à partir de leur réalisation.
[1] A. Benichoux, E. Vincent, R. Gribonval, A fundamental pitfall in blind deconvolution with sparse and shift-invariant priors, Proc. ICASSP 2013.
[2] Q.T. Le, E. Riccietti, R. Gribonval, Spurious Valleys, Spurious Minima and NP-hardness of Sparse Matrix Factorization With Fixed Support, 2021, arXiv:2112.00386.
[3] L. Zheng, E. Riccietti, R. Gribonval, Identifiability in Two-Layer Sparse Matrix Factorization, 2021, arXiv:2110.01235.
[4] Q.T. Le, L. Zheng, E. Riccietti, R. Gribonval, Fast learning of fast transforms, with guarantees, Proc. ICASSP 2022
[5] L. Zheng, E. Riccietti, R. Gribonval, Efficient Identification of Butterfly Sparse Matrix Factorizations, 2022, arXiv:2110.01230
[6] P. Stock, R. Gribonval, An Embedding of ReLU Networks and an Analysis of their Identifiability, to appear in Constructive Approximation
Rendez-vous le 5 juillet à 17h30, à l'Institut Pascal !