Titre

Sample Complexity of Q-learning: from Single-agent to Federated Learning

Résumé

L'apprentissage Q, qui cherche à apprendre la fonction Q optimale d'un processus de décision de Markov (MDP) sans modèle, est au cœur des pratiques d'apprentissage par renforcement. Cependant, la compréhension théorique de sa complexité d'échantillon non asymptotique reste insatisfaisante, malgré des efforts récents significatifs. Dans cet exposé, nous montrons tout d'abord une limite étroite de la complexité d'échantillon de l'apprentissage Q dans le cadre d'un agent unique, ainsi qu'une limite inférieure correspondante pour établir sa sous-optimalité minimax. Nous montrons ensuite comment les versions fédérées de l'apprentissage Q permettent un apprentissage collaboratif en utilisant des données collectées par de multiples agents sans partage central, où un schéma de moyenne d'importance est introduit pour dévoiler la bénédiction de l'hétérogénéité.

Biographie

Dr. Yuejie Chi est professeur titulaire du groupe Sense of Wonder en génie électrique et informatique dans le domaine des systèmes d'intelligence artificielle à l'université Carnegie Mellon, avec des nominations de courtoisie au département d'apprentissage automatique et au CyLab. Elle est titulaire d'un doctorat et d'une maîtrise de l'université de Princeton, ainsi que d'une licence en génie électrique de l'université de Tsinghua. Ses recherches portent sur les fondements théoriques et algorithmiques de la science des données, du traitement des signaux, de l'apprentissage automatique et des problèmes inverses, avec des applications dans les domaines de la détection, de l'imagerie, de la prise de décision et des systèmes sociétaux, au sens large. Mme Chi a notamment reçu le Presidential Early Career Award for Scientists and Engineers (PECASE) et le premier IEEE Signal Processing Society Early Career Technical Achievement Award pour ses contributions au traitement des signaux structurés en haute dimension. Elle est membre de l'IEEE (classe 2023) pour ses contributions au traitement statistique des signaux avec des structures de faible dimension.