Qu'est-ce que CodaLab ?
CodaLab, première plateforme mondiale de compétition en intelligence artificielle, catalyse l’innovation et la recherche scientifique en offrant un terrain de jeu propice à la résolution de défis complexes de notre société.
L’intelligence artificielle (IA) a émergé comme l’un des moteurs de l’innovation et de la transformation sociétale. D’après une étude publiée en janvier dernier, son essor reposerait notamment sur les plateformes de défis scientifiques et techniques. Ces dernières offrent un terrain fertile où chercheurs et entreprises peuvent tester de nouvelles idées pour résoudre des problèmes complexes. « En permettant des évaluations indépendantes et impartiales, ces plateformes accroissent la crédibilité et la fiabilité des avancées réalisées », ajoute Isabelle Guyon, responsable de l’animation scientifique de CodaLab.
Entièrement open source, elle est portée par les chercheurs et les ingénieurs du Laboratoire Interdisciplinaire des Sciences du Numérique (LISN – CNRS/Université Paris-Saclay).
Qu'est-ce que CodaBench ?
Codabench est une plateforme open source permettant d'organiser des benchmarks d'IA. Elle est flexible et puissante, mais facile à utiliser. Vous définissez les tâches (par exemple les ensembles de données et les mesures de succès), puis l'interface pour les soumissions de code (algorithmes), ajoutez quelques pages de documentation, effectuez un téléchargement et c'est tout ! Votre benchmark est créé, prêt à accepter les soumissions de nouveaux algorithmes. Tout peut être entièrement personnalisé, y compris le code du programme de notation. Les organisateurs peuvent même connecter leurs propres calculateurs à leurs benchmarks, ce qui leur permet de disposer d'une puissance de calcul illimitée. Les participants peuvent tester leurs méthodes, obtenir un retour d'information en temps réel et des résultats sur un tableau de classement compétitif, des graphiques détaillés, etc.
Codabench permet également de créer des benchmarks inversés. Dans ce cas, les rôles des ensembles de données et des algorithmes sont intervertis. Dans ce scénario, vous définissez les algorithmes de référence et les participants fournissent les ensembles de données.
