Towards Democratizing AI: Scaling and Learning (Fair) Graph Representations in an Implementation Agnostic Fashion

Résumé

La conception de méthodes d'intégration de graphes a récemment suscité un regain d'intérêt. Peu d'entre elles, si ce n'est aucune, peuvent s'adapter à un graphe de grande taille avec des millions de nœuds en raison de la complexité de calcul et des exigences en matière de mémoire. Dans cet exposé, je présenterai une approche visant à remédier à cette limitation en introduisant le cadre MultI-Level Embedding (MILE) - une méthodologie générique permettant aux méthodes d'intégration de graphes contemporains de s'adapter à des graphes de grande taille. MILE réduit de façon répétée le graphe en plus petits graphes à l'aide d'une technique de correspondance hybride afin de maintenir la structure de base du graphe. Il applique ensuite les méthodes d'intégration existantes au graphe le plus grossier et affine les intégrations au graphe d'origine par le biais d'un réseau neuronal de convolution de graphe qu'il apprend. Si le temps le permet, je décrirai ensuite l'une des nombreuses extensions naturelles de MILE - dans un cadre distribué (DistMILE) pour améliorer encore l'évolutivité de l'intégration des graphes ou des mécanismes - pour apprendre des représentations équitables des graphes (FairMILE).

Le cadre MILE proposé et ses variantes (DistMILE, FairMILE) ne dépendent pas des techniques d'intégration de graphes sous-jacentes et peuvent être appliqués à de nombreuses méthodes d'intégration de graphes existantes sans les modifier et sans tenir compte de leur langage d'implémentation. Les résultats expérimentaux sur cinq ensembles de données à grande échelle démontrent que MILE augmente considérablement la vitesse (ordre de grandeur) de l'intégration des graphes tout en générant des intégrations de meilleure qualité, pour la tâche de classification des nœuds. MILE peut confortablement s'adapter à un graphe de 9 millions de nœuds et 40 millions d'arêtes, sur lequel les méthodes existantes manquent de mémoire ou prennent trop de temps à calculer sur une station de travail moderne. Nos expériences démontrent que DistMILE apprend des représentations de qualité similaire par rapport à d'autres lignes de base tout en réduisant le temps d'apprentissage des embeddings (jusqu'à 40 fois plus rapide que MILE). FairMILE apprend également des représentations équitables des données tout en réduisant le temps d'apprentissage des encastrements.

Travail conjoint avec Jionqian Liang (Google Brain), S. Gurukar (OSU) et Yuntian He (OSU).

Biographie

Srinivasan Parthasarathy est professeur d'informatique et d'ingénierie et directeur du laboratoire de recherche sur l'exploration des données à l'Ohio State. Ses recherches portent sur l'analyse des données, les bases de données et le calcul à haute performance. Il fait partie d'une poignée de chercheurs au niveau national qui ont reçu des bourses de carrière du ministère de l'énergie et de la National Science Foundation. Lui et ses étudiants ont reçu seize prix du meilleur article ou des nominations "best of" de la part de forums de premier plan dans le domaine, notamment le SIAM Data Mining, l'ACM SIG et l'ACM SIG : SIAM Data Mining, ACM SIGKDD, VLDB, ISMB, WWW, WSDM, HiPC, ICDM et ACM Bioinformatics. Il a présidé le comité de pilotage de la conférence SIAM Data Mining (élu) de 2012 à 2019, et a siégé au conseil d'administration de plusieurs revues sur l'informatique parallèle, l'apprentissage automatique et l'exploration de données. Depuis 2012, il a également contribué à la création de la première majeure de premier cycle en analyse de données à l'échelle nationale (États-Unis) de l'OSU, dont il est l'un des directeurs fondateurs.

Sparks of Interpretability, Recent Advancements in Explaining Large Vision Models

Résumé

Je montrerai où nous en sommes actuellement et ce qu'il est possible de faire avec les méthodes récentes d'IA explicable appliquées aux modèles de vision. En particulier, je présenterai trois techniques récentes d'explicabilité appliquées aux modèles de vision. Nous commencerons par les méthodes d'attribution avant de nous concentrer sur les avancées récentes dans les méthodes basées sur les concepts et la visualisation des caractéristiques. Vers la fin, nous explorerons comment ces trois méthodes ont plus en commun qu'on ne le pense, en démontrant les synergies potentielles entre elles tout en essayant d'expliquer les stratégies principales d'un grand modèle de vision sur ImageNet.

Biographie

Thomas Fel, doctorant français de 3ème année, travaille sur l'IA explicable conseillée par Thomas Serre à l'ANITI et à l'Université de Brown. Il fait également partie de l'équipe DEEL, qui travaille à rendre les systèmes d'IA certifiables. En septembre 2024, il rejoindra officiellement l'Institut Kempner à Harvard en tant que chercheur. Profondément fasciné par l'explicabilité (XAI) des grands modèles de vision, en utilisant une approche interdisciplinaire qui mélange la science informatique, les mathématiques et les principes des neurosciences. À long terme, son objectif est d'exploiter les connaissances issues de la recherche XAI pour approfondir notre compréhension de l'intelligence humaine. Il est  également passionné par la contribution à l'open source, en particulier en tant que créateur de Xplique.

Teams link

Identifiant de la réunion : 312 072 665 309

Code d'accès : StxHMe