Research · In conversation

Talks & presentations

Research talks, invited lectures, tutorials and conversations. Slides and recordings are linked where available.

Interviews & outreach

Additional presentation deposits on HAL · 2010

2026

IA, Mathématiques et Formalisation

Paris, CNRS — Journée des Réseaux Thématiques — Nov. 2026

About this talk

En deux ans, les modèles de langage sont passés d'un niveau faible à la production de preuves de niveau recherche, souvent adossées à des assistants de preuve comme Lean ou Rocq. Ces assistants de preuve sont le fruit de plusieurs décennies de travail d'une communauté petite et exigeante, où la France compte depuis l'origine et qui, de Feit–Thompson à la bibliothèque Mathlib, avait considérablement développé la formalisation de la recherche recherche bien avant l'arrivée de l'IA. Les effets sur la communauté sont déjà là : doublement des dépôts de mathématiques sur arXiv en un an, revues qui suspendent leurs soumissions, annonces spectaculaires dont la validation reste en cours, prises de position collectives contrastées. Cet exposé propose un état des lieux: ce que ces outils savent faire et ce qu'une preuve formelle garantit vraiment, puis ce qui change pour la publication, l'évaluation, la formation des jeunes chercheurs et l'indépendance de la recherche. Je présente ensuite les compétences et les initiatives déjà présentes en France, puis le réseau thématique IAMF (Insmi et INS2I), qui sera créé au premier janvier 2027. Il se veut un lieu de dialogue indépendant, ouvert à toutes et tous quel que soit l'usage que chacun fait de l'IA, pour se rencontrer, se former et évaluer les outils.

Distributional Reinforcement Learning via Moment Matching

Berlin, Weierstrass Institut — Workshop: Stochastic processes with reinforcement — Nov. 2026

About this talk

In reinforcement learning, an agent typically chooses at each time among a set of Markov kernels so as to maximize some utility function of her path. Distributional Reinforcement Learning (DistRL) aims at estimating the law of the obtained utility. We will present here a DistRL approach that leverages the exact computability of specific moments of the return distribution via generalized dynamic programming. This approach offers a principled and theoretically grounded alternative to existing DistRL policy evaluation and planning methods, with the key advantage of avoiding the accumulation of approximations during the iterations. We study the accuracy of generic reconstruction methods of the full return distribution from its computed moments: we prove an error bound on the Wasserstein W1 distance that is independent of the horizon (or discount factor). Then, we focus on the use of the Maximum Entropy principle: under additional regularity assumptions, we prove a much stronger control of the error under the Kullback-Leibler divergence.

Markov Decision Processes, Distributional RL, Risk-aware Optimization, Maximum Entropy

Affûter son esprit critique à l'ère de l'IA - Partie 1 et Partie 2

Podcast Partager pour mieux régner, par Aurélie Delattre — May 2026

About this talk

L'IA existe depuis bien plus longtemps qu'on ne le croit. Mais alors pourquoi avons-nous le sentiment d'avoir découvert l'IA il y a 3 ans seulement ? Est-ce une question de sémantique ? Un mauvais usage du terme intelligence artificielle ? Vivons-nous une révolution technologique qui transforme en profondeur notre société comme l'a fait internet au début du siècle ? À l'heure où tout s'accélère, où l'on se dépêche d'utiliser l'IA pour rester dans la course, je vous invite à prendre le temps. Prendre le temps d'écouter notre discussion, car elle est passionnante. Prendre le temps de comprendre l'IA pour mieux l'utiliser. Car c'est bien l'objectif du premier épisode : remonter à ses origines, découvrir la théorie, la comparer aux pratiques actuelles, afin de déceler les enjeux éthiques associés à l'intelligence artificielle.

Dans la deuxième partie, nous allons découvrir comment l'apprentissage se transforme, à l'heure où l'IA s'accélère et se glisse dans notre quotidien. L'école a-t-elle définitivement perdu le monopole du savoir ? Comment évaluer les élèves et les étudiants ? Y a-t-il une bonne et une mauvaise manière d'utiliser l'IA ? Comment garder son esprit critique ? Tous ces questionnements dépassent largement les bancs de l'école. Ils nous invitent à réfléchir à notre usage de l'IA et à notre dépendance éventuelle. En plus de nous partager son vécu en tant qu'enseignant-chercheur, Aurélien Garivier nous livre ici quelques conseils indispensables pour utiliser l'IA de manière éthique.

2025

An Introduction to Reinforcement Learning

Lyon — Workshop: Machine Learning methods for Chemistry and Physics — Jun. 2025

About this talk

Reinforcement Learning (RL) offers a powerful framework for sequential decision-making under uncertainty, with some spectacular successes in the recent decade and a growing impact in the physical sciences. In this talk, we present the core principles of RL and highlight its relevance to modern AI developments. We try to give a special focus on possible applications in chemistry and physics, such as molecular design or adaptive experimental control.

Markov Decision Processes, Distributional RL, risk-aware optimization

Où en est l'intelligence artificielle ? État de l'art, performances et perspectives

INSEE — Réunion annuelle des directeurs régionaux, et présentation à une délégation japonaise — Jun. 2025

About this talk

On présente ici avec un peu de prudence le futur de l'IA, et l'histoire de celui-ci. On présente ensuite les principaux défis, techniques ou non, qui guident ou limitent son développement actuel. Dans l'autre document, on présente plus particulièrement le positionnement du site lyonnais dans le front de recherche.

artificial intelligence, machine learning

Optimization in Markov Decision Processes: beyond expectations

Paris — PEPR-IA days et Colloquium du LMBP (Clermont-Ferrand) (archive lookup), Séminaire Probabilité et Statistique d'Orsay — Mar. 2025

About this talk

What are the functionals of the reward that can be computed and optimized exactly in Markov Decision Processes? In the finite-horizon, undiscounted setting, Dynamic Programming (DP) can only handle these operations efficiently for certain classes of statistics. We summarize the characterization of these classes for policy evaluation, and give a new answer for the planning problem. Interestingly, we prove that only generalized means can be optimized exactly, even in the more general framework of Distributional Reinforcement Learning (DistRL).

Markov Decision Processes, Distributional RL, risk-aware optimization

2024

Random Projections: on sub-Gaussianity and sparsity

ENS de Lyon — Congrès des Jeunes Chercheurs en Mathématiques Appliquées de la SMAI — Oct. 2024

About this talk

Random projections are a simple and computationally efficient dimensionality reduction technique in unsupervised machine learning. They are based on the existence of low-distortion embeddings of points from high-dimensional into low-dimensional Euclidean space. We will discuss in this talk how to construct such projections, and in particular the possibility to use simple and sparse matrices.

machine learning, dimensionality reduction, Johnson-Lindenstrauss, sparsity

Optimisation dans les processus de décision markoviens : au-delà des espérances

Poitiers — Journées MAS 2024 — Aug. 2024

About this talk

Les équations de Bellman permettent d'optimiser l'espérance de l'utilité dans les processus de décision markoviens. Mais comment faire si l'on souhaite optimiser d'autres fonctionnelles de l'utilité, par exemple pour des raisons de gestion des risques ? L'apprentissage distributionnel peut représenter un espoir intéressant, dans la mesure où il permet de garder une trace non seulement du comportement moyen, mais de l'ensemble de la distribution. On s'efforcera dans cet exposé de cerner quelles sont les fonctionnelles de l'utilité qui sont optimisables par programmation dynamique, et d'illustrer dans quelle mesure celles-ci répondent à la problématique de gestion des risques.

Markov Decision Processes, Distributional RL, risk-aware optimization

2023

Discussion autour du film "Algorithmes, vers un monde manipulé"

Paris — Festival Pariscience — Oct. 2023

About this talk

Calculer le danger qu'encourt une femme victime de violences conjugales, proposer de la publicité ciblée, évaluer les droits aux aides sociales... À l’ère numérique, nos existences sont régies par les algorithmes. Voici une enquête sur le "capitalisme de surveillance" et ses dangers, nourrie d’analyses de chercheurs et de témoignages d’utilisateurs.

Intelligence artificielle, risques

Missing Mass and Optimal Discovery

Bangalore — IISC networks seminar — Jul. 2023

About this talk

We tackle a novel problem arising in the context of security analysis in power systems, which we refer to as "optimal discovery with probabilistic expert advice." To address this challenge, we propose an algorithm that leverages the optimistic paradigm and utilizes the Good-Turing missing mass estimator. Through rigorous analysis, we establish two distinct regret bounds to evaluate the performance of this algorithm, imposing only weak assumptions on the probabilistic experts. Furthermore, by imposing more stringent assumptions, we demonstrate a macroscopic optimality result by comparing the algorithm against both an oracle strategy and uniform sampling. To support our theoretical findings, we supplement our study with numerical experiments, which provide concrete illustrations of the algorithm's performance and its alignment with the established theoretical framework.

Bandit problems, missing mass

On some informational limits of stochastic optimization

Bangalore — Data Science: Probabilistic and Optimization Methods, ICTS — Jul. 2023

About this talk

The sample complexity of sequential or active testing problems can often be determined by simple information-theoretic arguments, but not always. We will discuss in this talk some paradigmatic situations, some of which are well understood and some of which remain to be investigated.

Sequential Decision Making, Optimization, Bandits

Understanding the Efficiency of Machine Learning: Progress and Challenges

Lyon — Workshop NUTS (Réseau Numérique en Terre Solide), and Solvay Digital Days (Nov. 23) — May 2023

About this talk

From supervised learning to data generation, neural networks have deeply changed the theory and practice of machine learning over the last decade. But why are they working, and how reliable are they? Can fairness, privacy, and interpretability be considered as well?

Machine Learning, Neural Networks, Differential Privacy, Fairness, Generative Methods, Interpretability

Intelligence artificielle et Machine Learning : état de l’art, performances et perspectives

CPE Lyon — Colloque IA (archive lookup), rencontres "IA au coeur de l'entreprise" — Mar. 2023

About this talk

Comment comprendre les progrès réalisés ces dernières décennies par l'intelligence artificielle ? Quelles perspectives ouvrent-ils ? Quels sont maintenant les grands défis de la recherche pour permettre des avancées applicatives nouvelles ?

Machine Learning, Artificial Intelligence

2022

Confidentialité différentielle pour l'analyse de données

Paris — Journée Aléatoire 2022 de la SFDS, de la SMAI et de la SMF — Sep. 2022

About this talk

Dans quelle mesure peut-on exploiter les résultats d'une étude statistique tout en garantissant la confidentialité des données personnelles de chacun de ses participants ? Depuis une dizaine d'années, la notion de "confidentialité différentielle" s'impose, suscitant un grand nombre de questions nouvelles. Nous essaierons dans cet exposé de donner un aperçu de ces questions, et des possibilités d'y répondre.

Machine Learning, Differential Privacy

On the complexity of All ε-Best Arms Identification

Grenoble — European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD'22) — Sep. 2022

About this talk

We consider the problem introduced by [MJTN20] of identifying all the ε-optimal arms in a finite stochastic multi-armed bandit with Gaussian rewards. In the fixed confidence setting, we give a lower bound on the number of samples required by any algorithm that returns the set of ε-good arms with a failure probability less than some risk level δ. This bound writes as T * ε (µ) log(1/δ), where T * ε (µ) is a characteristic time that depends on the vector of mean rewards µ and the accuracy parameter ε. We also provide an efficient numerical method to solve the convex max-min program that defines the characteristic time. Our method is based on a complete characterization of the alternative bandit instances that the optimal sampling strategy needs to rule out, thus making our bound tighter than the one provided by [MJTN20]. Using this method, we propose a Track-and-Stop algorithm that identifies the set of ε-good arms w.h.p and enjoys asymptotic optimality (when δ goes to zero) in terms of the expected sample complexity. Finally, using numerical simulations, we demonstrate our algorithm's advantage over state-of-the-art methods, even for moderate values of the risk parameter.

Bandit models, Best-arm identification

2021

How to include fairness into the machine learning models?

PSL seminar — "Which paths to achieve fairness in algorithmic decisions?", track Equity metrics: legal and/or technical issue? — Dec. 2021

About this talk

While the unprecedented possibilities offered by machine learning techniques to exploit user data is raising at the same time major hopes and fears, the scale at which they are now used imposes new precautions and responsibilities. This presentation will provide some examples showing how the ethical and legislative expectations are addressed by the developers of AI and evolve the algorithms.

Machine Learning, Fairness

Comment apprendre tout en respectant la confidentialité des données ?

Lyon — Théminaire, Séminaire de la détente mathématique (archive lookup), MMI, Séminaire du Département Informatique — Nov.-Dec. 2021

About this talk

Les algorithmes d'analyse automatique des données sont maintenant très utilisés dans de nombreux contextes, de la recommandation de contenu à la reconnaissance d'images. Cela n'est pas sans poser des questions sociales, notamment quand les données sont sensibles: l'utilisation de ces algorithmes permet-elle de retrouver des données personnelles ? Par exemple, il peut être très intéressant d'utiliser des données de l'assurance maladie pour détecter très tôt d'éventuels effets secondaires indésirables de certains traitements. Mais comment le faire tout en garantissant aux patients de ne pas trahir le secret médical ? Nous verrons comment ce problème a donné naissance à la notion de "confidentialité différentielle", et comment ce problème est abordé d'un point de vue algorithmico-probabiliste.

Machine Learning, Differential Privacy

Intelligence artificielle et Machine Learning: Concepts, Méthodes, Normalisation

Séminaire — Persée, valorisation numérique du patrimoine scientifique — Dec. 2021

About this talk

Des injections d'IA pour doper les outils Persée ? État des lieux, pistes de réflexion, propositions de collaboration. Dans cet exposé introductif, nous expliquerons la démarche de l'apprentissage automatique pour la résolution de problèmes, les principales questions qu'il permet de traiter, et comment formaliser un cas pratique pour s'y raccrocher.

Machine Learning

Concentration of Measure for Machine Learning: An Introduction

Université de Marseille — Lectures on « High-Dimensional Data Analysis » (GDR MIA) (archive lookup) — Oct. 2021

About this talk

The analysis of high-dimensional data sets is now ubiquitous in many applications and blends tools from probability theory, machine learning, geometry, graph theory, statistics and optimization. The objective of this two-day event is to gather researchers from different backgrounds to explore recent advances in this field and to stimulate discussions. The outline of the course (which is scheduled from 9am to 5:30pm) is as follows: Motivation (Binary Classification, 1-nearest neighbor, Dimensionality Reduction, Missing Mass Estimation); Chernoff’s Method( Basics, Johnson-Lindenstrauss Lemma, Non-parametric Bounds, application to Good-Turing estimator, extensions to dependent variables, application to histograms and missing mass); KL Divergence and Lower Bounds (Kullback-Leibler Divergence, No Free Lunch Theorem); Uniform Laws of Large Numbers (VC-dim, Sauer's lemma, symmetrization, Finite VC-dimension implies learnability).

Machine Learning, Concentration Inequalities

The complexity of optimizing noisy functions on graphs

GDR MascotNum — Workshop on "Stochastic Simulators" (archive lookup) — Mar. 2021

About this talk

We will present the current status of our research on exact bounds for the sequential sample complexity of optimizing discrete functions perturbed by centered noise. The simplest setting (PAC best-arm identification in finite bandit models) is now well understood, and precise information bounds are known. Our current effort to extend these results to more structured models (involving a graph or a continuous space) will be presented.

Machine Learning, Sequential Decision Making

2020

Loyauté des décisions algorithmiques ; L’IA du quotidien peut-elle être éthique ?

Université Paris-Dauphine — webinaire INTER-FAIR — Dec. 2020

About this talk

Les incompatibilités entre exploitation des données et respect de la vie privée sont explorées depuis longtemps. La banalisation des algorithmes d’intelligence artificielle vient exacerber cette tension. Pour détecter et réduire le risque de discrimination ainsi que pour répondre au droit à l’explication légitime des citoyens, les algorithmes exploitant des données personnelles se doivent d’être déployés dans un cadre juridique et éthique strict. Au-delà du constat, nous nous attacherons, lors de ce café et pour répondre à cette nécessité, à lister également quelques possibilités de contrôle à développer.

Machine learning, Fairness

Introduction à l'apprentissage automatique, puis apprentissage séquentiel et non supervisé en entreprise

Formation DIRECCTE "L'IA, un outil de compétitivité pour les entreprises" — Direction régionale des entreprises, de la concurrence, de la consommation, du travail et de l'emploi — Nov. 2020

About this talk

Nous verrons dans cette introduction en quoi consiste l'approche "machine learning" pour la résolution de problèmes, quels sont les grands types de problème résolubles par apprentissage, quel type de données les algorithmes d'apprentissage savent traiter, et comment parfois s'y ramener, quelles sont les grandes familles d'algorithmes d'apprentissage et quels outils permettent de les mettre en oeuvre. Nous détaillerons ensuite deux cas pratiques de problèmes industriels pour lesquels des solutions s'appuyant sur l'apprentissage automatique ont été proposées. Le premier exemple concerne les systèmes d'enchères sur internet, et le second a trait à la catégorisation automatique de questions pour la création d'une FAQ.

Machine Learning, Sequential Decision Making

Sur la complexité des problèmes d'optimisation séquentielle

Université Clermont-Ferrand — Colloquium du laboratoire de mathématiques — Feb. 2020

About this talk

Que ce soit pour des essais cliniques, pour les moteurs de recommandation ou pour l'optimisation des paramètres d'algorithmes d'apprentissage automatique, de nombreux problèmes nécessitent la maximisation d'une fonction dite "boite noire", dont on peut observer des évaluations bruitées en un nombre limité de points de notre choix. La complexité de ce problème d'optimisation est mesurée par le nombre d'observations nécessaires avant de pouvoir donner, avec un risque faible, une bonne approximation du maximum. En commençant par des exemples très simples, puis élargissant progressivement le champ, nous présenterons comment des outils de théorie de l'information et d'apprentissage séquentiel permettent de déterminer cette complexité, ainsi que des algorithmes ne pouvant être beaucoup améliorés.

Sequential Decision Making, Optimization, Bandits

The problem-dependent complexity of sequential optimization

Paris, Google France — Deepmind Seminar — Jan. 2020

About this talk

We will present the current status of our research on exact bounds for the sequential sample complexity of optimizing functions perturbed by centered noise. The simplest setting (PAC best-arm identification in finite bandit models) is now well understood, and precise information bounds are known. Our current effort to extend these results to more structured models (involving a graph or a continuous space) will be presented.

Sequential Decision Making, Optimization, Bandits

2019

Éthique et Intelligence Artificielle

Lyon — Les cafés de la statistique — Nov. 2019

About this talk

Associant données massives (big data) et algorithmes d’apprentissage automatique (machine learning), la puissance des outils de décision automatique suscite autant d’espoir que de craintes. De nombreux textes législatifs européens (RGPD) et français récemment promulgués tentent d’encadrer les usages de ces outils. Cependant, les risques de discrimination, les problèmes de transparence et ceux de qualité des décisions algorithmiques sont toujours très présents : la législation va toujours moins vite que la pratique… Les incompatibilités entre exploitation des données et respect de la vie privée sont explorées depuis longtemps. La banalisation des algorithmes d’intelligence artificielle vient exacerber cette tension. Pour détecter et réduire le risque de discrimination ainsi que pour répondre au droit à l’explication légitime des citoyens, les algorithmes exploitant des données personnelles se doivent d’être déployés dans un cadre juridique et éthique strict. Au-delà du constat, nous nous attacherons, lors de ce café et pour répondre à cette nécessité, à lister également quelques possibilités de contrôle à développer.

Machine learning, Fairness

Regret Minimization on Non-Parametric Bandits via the Empirical Likelihood Method

Madrid, Real Academia de Ciencias — Conference of the Euro-Maghreb International Research Network in Mathematics and Applications (archive lookup) — Nov. 2019

About this talk

An agent must choose at each time step among K options, each producing an independent draw of an unknown probability distribution. Her goal is to maximize the sum of the values obtained. How should she make her choices? For the case where the random variables are only assumed to be bounded, we propose an asymptotically optimal algorithm based on the construction of upper confidence bounds obtained by the Empirical Likelihood Method.

Machine learning, Bandit Models, Empirical Likelihood

On Information Inequalities and the Complexity of Sequential Decision Problems

Orsay — Seminar of the Machine Learning Master — Nov. 2019

About this talk

We present sequential and active statistics problems, and how Information Theory can help provide lower bounds, but also optimal algorithms.

Machine learning

Introduction to the mathematics of Deep Learning

ENS Lyon — Lyon Probability Seminar Reading Group — Oct. 2019

About this talk

Presentation of Neural Networks for classification and Regression, and some challenges for a mathematical analysis: approximation, optimization, and generalization. This talk introduces the three next lectures: [Daniely '17. Depth Separation for Neural Networks], [Mei, Montanari, Nguyen '18-'19. A Mean Field View of the Landscape of Two-Layers Neural Networks] and [Bartlett, Long, Lugosi, Tsigler '19 Benign Overfitting in Linear Regression]. It was followed by a presentation by Rémi Gribonval on some approximation results.

Machine learning

Automatic Decision by Machine Learning and Fairness

Strasbourg — Colloque francophone international sur l'enseignement de la statistique — Sep. 2019

About this talk

L'objectif de cet exposé est de sensibiliser à la question de la loyauté des algorithmes de décision automatique basés sur l'apprentissage statistique. Après avoir rappelé la démarche de cette dernière, nous développerons un exemple illustrant quelques problèmes qu'ils peuvent poser, et la manière dont des statisticiens peuvent l'aborder.

Machine learning

On the convergence of Gradient Descent for depth 2 Neural Networks

ENS Lyon, Reading group: Maths of Deep Learning — Groupe Scidolyse — Jun. 2019

About this talk

We present recent results by Montanari et al. on a statistical physics interpretation of gradient descent for depth-2 neural networks, which yields convergence results

Machine learning

2018

Complexity of Sequential Decision Problems

ENS Lyon, Théminaire — Théminaire de l'ENS Lyon — Nov. 2018

About this talk

From clinical trials to content recommender systems, dynamic allocation systems are present everywhere, and various strategies have been developed in order to optimize them. We present on a simple example how information inequalities can, and sometimes cannot, help understand their limits of performance

Machine learning, Recommender systems, Bandit Problems

Introduction à certains problèmes de décisions séquentielles

Rencontre des Statisticiens Lyonnais (RSL), Campus de La Doua — Oct. 2018

About this talk

Que ce soit pour les systèmes de recommandation, pour l'allocation dynamique de ressources ou pour l'exploration des arbres dans les jeux, de nombreux systèmes de décision automatiques s'appuient sur le modèle simple dit du "bandit manchot" où un agent doit choisir, à chaque instant, une source aléatoire dont il observe ensuite une réalisation.

Nous présenterons dans cet exposé quelques stratégies permettant d'exploiter au mieux ces sources.

Dans la première partie, introductive, on présentera simplement le modèle et quelques idées générales pour son étude statistique. Dans une deuxième partie, nous verrons comment inégalités d'information et inégalités de déviations auto-normalisées permettent d'identifier finement la complexité de certaines tâches à résoudre.

UCB, Bandit Problems

Missing Mass, and Optimal Discovery

ENS Lyon — Laboratoire de l'Informatique du Parallélisme — May 2018

About this talk

We consider an original problem that arises from the issue of security analysis of a power system and that we name optimal discovery with probabilistic expert advice. We address it with an algorithm based on the optimistic paradigm and on the Good-Turing missing mass estimator. We prove two different regret bounds on the performance of this algorithm under weak assumptions on the probabilistic experts. Under more restrictive hypotheses, we also prove a macroscopic optimality result, comparing the algorithm both with an oracle strategy and with uniform sampling. Finally, we provide numerical experiments illustrating these theoretical findings.

Machine learning, UCB, Good-Turing, Bandit Problems

Minimisation du regret pour des bandits non-paramétriques grâce à la méthode de la vraisemblance empirique

ENS Lyon — Séminaire de l'UMPA — Apr. 2018

About this talk

Un agent doit choisir à chaque instant parmi K options produisant chacune une variable aléatoire de distribution inconnue. Son but est de maximiser la somme des variables obtenues. Comment doit-il s’y prendre ?

Pour le cas où les variables sont seulement supposées bornées, nous présentons une solution asymptotiquement optimale basée sur la construction de bornes supérieures de confiance par la méthode de la vraisemblance empirique.

Empirical Likelihood, Non-Parametrics, Bandit Problems

Quelques idées pour les problèmes de décisions séquentielles

ENS Lyon — Laboratoire de l'Informatique du Parallélisme — Mar. 2018

About this talk

Que ce soit pour les systèmes de recommandation, pour l'allocation dynamique de ressources ou pour l'exploration des arbres dans les jeux, de nombreux systèmes de décision automatiques s'appuient sur le modèle simple dit du "bandit manchot" où un agent doit choisir, à chaque instant, une source aléatoire dont il observe ensuite une réalisation.

Nous présenterons dans cet exposé quelques stratégies permettant d'exploiter au mieux ces sources. Plus précisément, nous verrons comment inégalités d'information et inégalités de déviations auto-normalisées permettent d'identifier finement la complexité de certaines tâches à résoudre.

Vers une intelligence artificielle responsable

Université Paris 5 Descartes — Journée Intelligence Artificielle de la SFDS — Mar. 2018

About this talk

La plupart des succès qui valent à l'intelligence artificielle son retentissement médiatique actuel présentent une double caractéristique : certes ils voient des systèmes automatiques réaliser de façon très autonome des tâches que l'on pensait jusque là propres à l'intelligence humaine ou animale, mais ils se limitent généralement à des objectifs non critiques ne portant pas de lourde responsabilité. Des tentatives pour dépasser cette limite posent un certain nombre de questions d'ordre juridique, éthique, et même technique. Et si le développement de l'intelligence artificielle passait désormais plutôt par des systèmes moins autonomes, mais dont on pourrait garantir la fiabilité ?

Big Data, Machine learning

2017

On the Complexity of Best Arm Identification with Fixed Confidence

Séminaire UT1-UT3, Toulouse — Sep. 2017

About this talk

We consider the problem of finding the highest mean among a set of probability distributions that can be sampled sequentially. We provide a complete characterization of the complexity of this task in simple parametric settings: we give a tight lower bound on the sample complexity, and we propose the 'Track-and-Stop' strategy, which we prove to be asymptotically optimal. This algorithm consists in a new sampling rule (which tracks the optimal proportions of arm draws highlighted by the lower bound) and in a stopping rule named after Chernoff, for which we give a new analysis.

The Complexity of Best-Arm Identification

Barcelona, FoCM2017 — Workshop on Stochastic Computation (archive lookup) — Jul. 2017

About this talk

We consider the problem of finding the highest mean among a set of probability distributions that can be sampled sequentially. We provide a complete characterization of the complexity of this task in simple parametric settings: we give a tight lower bound on the sample complexity, and we propose the 'Track-and-Stop' strategy, which we prove to be asymptotically optimal. This algorithm consists in a new sampling rule (which tracks the optimal proportions of arm draws highlighted by the lower bound) and in a stopping rule named after Chernoff, for which we give a new analysis.

Machine learning, Bandit Problems

Présentation Thématique Big Data au Conseil de Prospective de l'IMT

Institut de Mathématiques de Toulouse — Apr. 2017

About this talk

Avec Fabrice Deluzet et Francesco Costantino, nous présentons pour l'ensemble du laboratoire un aperçu de la thématique Big Data. Nous discutons en particulier de quelques thèmes de recherche actifs ou amenés à le devenir, ainsi que du vivier de potentiels candidats à des postes de chercheurs ou d'enseignants-chercheurs.

Big Data

Big Data, Machine Learning : qu'est-ce que la science des données ?

Bordeaux, Journées IREM — Journées de conférences ou ateliers à destination des enseignants et étudiants. (archive lookup) — Jan. 2017

About this talk

slides de la présentation
vidéo de la présentation (voir Journée de l'IREM - 18 janvier 2017 11h-12h)
Que ce soit dans l'industrie ou dans le champ scientifique, on entend depuis quelques années beaucoup parler d'une "révolution des données" qui viendrait modifier en profondeur les pratiques et même la vie des gens. Au-delà de l'emballement médiatique et des effets de mode, le but de cet exposé sera de présenter les principaux enjeux liés aux possibilités qu'offrent aujourd'hui les systèmes d'information numériques et à leur exploitation par des algorithmes de traitement automatique.

Big Data, Machine learning

2016

Sur la complexité de l'identification du meilleur bras sous contrainte de risque dans un modèle de bandits

Grenoble, Journées MAS 2016 — Journées MAS 2016 — Aug. 2016

About this talk

Nous considérons un modèle d'optimisation discrète où, à chaque instant, le choix d'une option donne accès à une observation bruitée de la valeur associée. Nous donnons une estimation précise du nombre de tirages nécessaires pour identifier avec un risque $\delta$ donné l'option ayant la plus grande valeur moyenne associée : nous donnons une borne inférieure précise (qui implique elle-même un problème d'optimisation), et nous décrivons un algorithme (appelé "Track-and-Stop") qui atteint asymptotiquement cette borne inférieure quand le risque $\delta$ tend vers $0$.

Machine learning, Bandit Problems

Optimal Best Arm Identification with Fixed Confidence

New York — COLT 2016 (archive lookup), videolectures — Jun. 2016

About this talk

We provide a complete characterization of the complexity of best-arm identification in one-parameter bandit problems. We prove a new, tight lower bound on the sample complexity. We propose the 'Track-and-Stop' strategy, which is proved to be asymptotically optimal. It consists in a new sampling rule (which tracks the optimal proportions of arm draws highlighted by the lower bound) and in a stopping rule named after Chernoff, for which we give a new analysis.

Machine learning, Bandit Problems

On the Complexity of Best Arm Identification with Fixed Confidence

Séminaire Pluridisciplinaire d'Optimisation de Toulouse — SPOT (archive lookup) — Jun. 2016

About this talk

I will present a complete characterization of the complexity of best-arm identification in one-parameter bandit problems.

In other words, we give a new, tight lower bound for the expected number of observations required in order to identify, with high probability, the maximum of a discrete function observed in noise. Furthermore, we propose the 'Track-and-Stop' strategy, which we prove to be asymptotically optimal. As a conclusion, I will present perspectives of extensions to continuous optimization.

Joint work with Emilie Kaufmann, accepted at COLT'16. Version arXiv accessible ici: http://arxiv.org/abs/1602.04589

Bandit Problems

Recent advances in the understanding of bandit models

Grenoble, rencontres — ANR ALICIA — May 2016

About this talk

I present here our recent contributions on the following problems (joint work with Emilie Kaufmann, Tor Lattimore, Pierre Ménard, Gilles Stoltz): what is the complexity of best-arm identification? what is the real interest of sequential methods? what is the best technique for obtaining lower bounds? what is the true behaviour of the regret before the far asymptotic regime?

Bandit Problems

De l'intérêt des méthodes séquentielles (une introduction)

Toulouse, rencontres — ANR SPADRO — May 2016

About this talk

We study the problem of minimising regret in two-armed bandit problems with Gaussian noise. Our objective is to use this simple setting to illustrate that strategies based on an exploration phase (up to a stopping time) followed by exploitation are necessarily suboptimal. The results hold regardless of whether or not the difference in means between the two arms is known. Besides the main message, we also refine existing concentration results, which allow us to design fully sequential strategies with finite-time regret guarantees that are (a) asymptotically optimal as the horizon grows and (b) order-optimal in the minimax sense. Furthermore we provide empirical evidence that the theory also holds in practice and discuss extensions to non-gaussian and multiple-armed case.

(Joint work with Emilie Kaufmann and Tor Lattimore)

Bandit Problems

Optimal Discovery with Probabilistic Expert Advice

Lancaster University, UK — Multi-armed Bandit Workshop 2016 at STOR-i (archive lookup) — Jan. 2016

About this talk

We consider a variant of a bandit model that arises from some issue of security analysis of a power system. We address it with an optimistic, UCB-type policy using the Good-Turing missing mass estimator. We provide two distinct performance analyses: a "classical" regret bound under weak assumptions on the probabilistic experts, and a macroscopic optimality result under more restrictive hypotheses. These analyses are illustrated by some numerical experiments.

UCB, Good-Turing, Bandit Problems

2015

Systèmes de recommandation et algorithmes de bandits: notebook ipython pour l'enseignement

Lille, JDS — 47èmes Journées de Statistique de la SFdS (archive lookup) — Jun. 2015

About this talk

Les systèmes de recommandation automatiques à très grande échelle sont aujourd'hui omniprésents sur internet : ouvrages conseillés à l'achat dans les librairies en ligne, articles recommandés sur les sites d'information, sans parler des cadres publicitaires qui financent l'essentiel de très nombreux sites aujourd'hui...

Trouver la meilleure recommandation à faire à un visiteur peut être considéré comme un "problème de bandits" : il faut en même temps apprendre ses préférences, et utiliser les interactions déjà passées pour maximiser le nombre de recommandations suivies, tout en restant capable de gérer des flux de données très importants.

Nous présentons ici quelques-uns des algorithmes les plus célèbres pour résoudre ce type de problèmes, et notamment l'algorithme ϵ-greedy, l'algorithme UCB (Upper Confidence Bound), et l'algorithme EXP3 (Exponential weights for Exploration and Exploitation). Leurs mérites respectifs sont soulignés et discutés, avec la présentation des résultats théoriques les plus importants les concernant.

Nous montrons en outre comment expérimenter l'efficacité de ces méthodes pour la recommandation : ceci pose une difficulté particulière, car des jeux de données statiques rendent peu aisée l'évaluation de méthodes vouées à interagir avec des utilisateurs. Nous montrons en particulier comment mettre en place des expériences sur deux jeux de données célèbres : movielens et jester.

Big Data, Teaching, UCB, Bandit Problems

Optimism in Reinforcement Learning and Kullback-Leibler Divergence

Toulouse, CIMI — IMPRECISE PROBABILITIES WORKSHOP (archive lookup) — May 2015

About this talk

We consider model-based reinforcement learning in finite Markov Decision Processes (MDPs), focussing on so-called optimistic strategies. In MDPs, optimism can be implemented by carrying out extended value iterations under a constraint of consistency with the estimated model transition probabilities. The UCRL2 algorithm by Auer, Jaksch and Ortner (2009), which follows this strategy, has been shown to guarantee near-optimal regret bounds. In this talk, we strongly argue in favor of using the Kullback-Leibler (KL) divergence for this purpose. By studying the linear maximization problem under KL constraints, we provide an efficient algorithm, termed KL-UCRL, for solving KL-optimistic extended value iteration. Using recent deviation bounds on the KL divergence, we prove that KL-UCRL provides the same guarantees as UCRL2 in terms of regret. However, numerical experiments on classical benchmarks show a significantly improved behavior, particularly when the MDP has reduced connectivity. To support this observation, we provide elements of comparison between the two algorithms based on geometric considerations.

Self-Normalized, Reinforcement Learning, Empirical Likelihood

On the Complexity of Best Arm Identification in Multi-Armed Bandit Models

Berkeley — Information Theory, Learning and Big Data Workshop, Simons Institute (archive lookup), YouTube presentation — Mar. 2015

About this talk

The stochastic multi-armed bandit model is a simple abstraction that has proven useful in many different contexts in statistics and machine learning. Whereas the achievable limit in terms of regret minimization is now well known, our aim is to contribute to a better understanding of the performance in terms of identifying the m-best arms. We introduce generic notions of complexity for the two dominant frameworks considered in the literature: fixed-budget and fixed-confidence settings. In the fixed-confidence setting, we provide the first known distribution-dependent lower bound on the complexity that involves information-theoretic quantities and holds when m>=1 under general assumptions. In the specific case of two armed-bandits, we derive refined lower bounds in both the fixed-confidence and fixed-budget settings, along with matching algorithms for Gaussian and Bernoulli bandit models. These results show in particular that the complexity of the fixed-budget setting may be smaller than the complexity of the fixed-confidence setting, contradicting the familiar behavior observed when testing fully specified alternatives. In addition, we also provide improved sequential stopping rules that have guaranteed error probabilities and shorter average running times. The proofs rely on two technical results that are of independent interest : a deviation lemma for self-normalized sums, and a novel change of measure inequality for bandit models.

Big Data, Machine learning, UCB, Empirical Likelihood, Bandit Problems

2014

Bandits for Exploration: Best Arm Identification and Discovery with Probabilistic Experts

Imperial College, Multi-armed bandits meeting — http://wwwf.imperial.ac.uk/~amijatov/IP/lps.php — Oct. 2014

About this talk

Whereas the achievable limits in terms of regret minimization in simple bandit models are now well known, it is often meaningful to consider slightly different goals and/or slightly different models.

In this talk, I first present recent contributions to a better understanding of the complexity of identifying the m-best arms. Generic notions of complexity are introduced and investigated for the two dominant frameworks considered in the literature: fixed-budget and fixed-confidence settings.

Then, I present optimal discovery with probabilistic expert advice, a problem arising from security analysis of power systems. While not involving a bandit model, I will show how some basic ideas of the bandit literature still lead to optimal solutions.

UCB, Self-Normalized, Good-Turing, Bandit Problems

Allocation dynamique de ressources et modèles de bandits

Toulouse School of Economics, UT1 — séminaire MAD — Oct. 2014

About this talk

Un agent doit choisir, à chaque instant, une action parmi une famille d'actions disponibles. Chaque action conduit à une récompense aléatoire de distribution inconnue. Comment doit-il s'y prendre pour maximiser la somme des récompenses qu'il recueille ? Une bonne politique doit réaliser un savant équilibre entre l'exploitation des actions qui se sont révélées payantes par le passé et l'exploration de nouvelles possibilités qui pourraient s'avérer encore meilleures. L'étude mathématique de ces problèmes dits de bandits (en référence à la situation paradigmatique d'un joueur faisant face à une lignée de machines à sous) remonte aux années 1930. De nombreux travaux ont suivi : on présentera principalement dans cet exposé les algorithmes dits "optimistes", qui accordent toujours le bénéfice du doute aux actions mal connues, et qui ont l'avantage de pouvoir être appliquées dans une grande variété de situations qu'on essayera d'esquisser en fin d'exposé.

UCB, Reinforcement Learning, Good-Turing, Bandit Problems

Allocation dynamique de ressources et modèles de bandits

INRA Toulouse — Séminaire MIAT (archive lookup) — Sep. 2014

About this talk

Un agent doit choisir, à chaque instant, une action parmi une famille d'actions disponibles. Chaque action conduit à une récompense aléatoire de distribution inconnue. Comment doit-il s'y prendre pour maximiser la somme des récompenses qu'il recueille ? Une bonne politique doit réaliser un savant équilibre entre l'exploitation des actions qui se sont révélées payantes par le passé et l'exploration de nouvelles possibilités qui pourraient s'avérer encore meilleures. L'étude mathématique de ces problèmes dits de bandits (en référence à la situation paradigmatique d'un joueur faisant face à une lignée de machines à sous) remonte aux années 1930. De nombreux travaux ont suivi : on présentera principalement dans cet exposé les algorithmes dits "optimistes", qui accordent toujours le bénéfice du doute aux actions mal connues, et qui ont l'avantage de pouvoir être appliquées dans une grande variété de situations qu'on essayera d'esquisser en fin d'exposé.

UCB, Reinforcement Learning, Good-Turing, Bandit Problems

Cours de Machine Learning

Aussois — Ecole d'été pluridisciplinaire de Théorie des Jeux — Sep. 2014

About this talk

Ce cours vise à présenter l'apprentissage statistique aux doctorants et post-doctorants en théorie des jeux : après une introduction générale, un accent particulier est mis sur les liens entre ces deux disciplines, notamment en ce qui concerne la prédiction de séquence individuelle, l'agrégation et le boosting.

Machine learning, UCB

Perfect Simulation of Processes With Long Memory: A ``Coupling Into and From The Past'' Algorithm

Buenos Aires, Conference on Stochastic Processes and their Applications — SPA'14 — Jul. 2014

About this talk

We describe a new algorithm for the perfect simulation of variable length Markov chains and random systems with perfect connections. This algorithm generalizes Propp and Wilson's simulation scheme, and is based on the idea of coupling into and from the past. It improves on existing algorithms by relaxing the conditions required on the kernel and by accelerating convergence, even in the simple case of finite order Markov chains. Chains of variable or infinite order are an old object of consideration that raised considerable interest recently because of its applications in applied probability, from information theory to bio-informatics and linguistics.

VLMC, Perfect Simulation

Empirical Likelihood Upper Confidence Bounds For Bandit Models

Barcelona, Journées Statistiques du Sud 2014 — 7èmes Journées Statistiques du Sud — Jun. 2014

About this talk

The classical Upper-Confidence Bound policies are known to have some nice optimality properties in simple bandit models. In more general contexts, however, they appear to be quite unsatisfying, because of the too rudimentary estimation procedure they rely on. In this talk, I will explain how the Empirical Likelihood method may be adapted to address this issue. A central requirement of the bandit context is the necessity to obtain non-asymptotic confidence bounds, while most results on the Empirical Likelihood method are asymptotic

UCB, Self-Normalized, Empirical Likelihood, Bandit Problems

Optimistic Solutions for Dynamic Resource Allocation

Paris (AgroParisTech) — StatLearn 2014 — Apr. 2014

About this talk

In applications such as recommender systems, classical dynamic allocation rules are not completely satisfying because they tend to propose always the same "blockbusters" and do not offer a sufficient variety of options. In this talk, I will present a model that, although inspired from real-time security analysis of a power system, can address this issue. I will present an algorithm based on the optimistic paradigm and on the Good-Turing missing mass estimator. I will present two different regret bounds on the performance of this algorithm under weak assumptions on the probabilistic experts. Under more restrictive hypotheses, a macroscopic optimality result comparing the algorithm both with an oracle strategy and with uniform sampling, can be derived. Finally, I will show numerical experiments illustrating these theoretical findings.

UCB, Good-Turing, Empirical Likelihood, Bandit Problems

2013

Optimal Discovery with Probabilistic Expert Advice: Finite Time Analysis and Macroscopic Optimality

CIRM, Rencontres de Statistique Mathématique "Mathematical Statistics with Applications in Mind" — site web, Programme de la rencontre — Dec. 2013

About this talk

We consider an original problem that arises from the issue of security analysis of a power system and that we name optimal discovery with probabilistic expert advice. We address it with an algorithm based on the optimistic paradigm and on the Good-Turing missing mass estimator. We prove two different regret bounds on the performance of this algorithm under weak assumptions on the probabilistic experts. Under more restrictive hypotheses, we also prove a macroscopic optimality result, comparing the algorithm both with an oracle strategy and with uniform sampling.

Finally, we provide numerical experiments illustrating these theoretical findings.

UCB, Good-Turing, Bandit Problems

Informational Confidence Bounds for Self-Normalized Averages and Applications

Seville (Spain) — 2013 IEEE Information Theory Workshop — Sep. 2013

About this talk

We present deviation bounds for self-normalized averages and applications to estimation with a random number of observations.

The results rely on a peeling argument in exponential martingale techniques that represents an alternative to the method of mixture.

The motivating examples of bandit problems and context tree estimation are detailed.

VLMC, UCB, Self-Normalized, Bandit Problems

Quelques idées sur les problèmes de bandits

Mini-colloque LPT-IMT 2013, Séminaire de l'équipe GEPETTO (LAAS Toulouse) (archive lookup) — May 2013

About this talk

Un agent doit choisir, à chaque instant, une action parmi une famille d'actions disponibles. Chaque action conduit à une récompense aléatoire de distribution inconnue. Comment doit-il s'y prendre pour maximiser la somme des récompenses qu'il recueille ? Une bonne politique doit réaliser un savant équilibre entre l'exploitation des actions qui se sont révélées payantes par le passé et l'exploration de nouvelles possibilités qui pourraient s'avérer encore meilleures.

L'étude mathématique de ces problèmes dits de bandits (en référence à la situation paradigmatique d'un joueur faisant face à une lignée de machines à sous) remonte aux années 1930. De nombreux travaux ont suivi : on présentera principalement dans cet exposé les algorithmes dits "optimistes", qui accordent toujours le bénéfice du doute aux actions mal connues, et qui ont l'avantage de pouvoir être appliquées dans une grande variété de situations.

Bandit Problems, UCB

2012

2011

Analyses d'algorithmes pour l'estimation et l'optimisation stochastiques

Soutenance d'habilitation à diriger des recherches (HDR), Orsay — Nov. 2011

VLMC, UCB, Sequential Monte-Carlo, Self-Normalized, Reinforcement Learning, Good-Turing, Empirical Likelihood, BIC, Bayesian Methods, HMM, MDL, Perfect Simulation, Non-Parametrics, Model Selection, Bandit Problems

The KL-UCB for bounded bandit problems, and beyond

Budapest, Hongrie — COLT 2011, videolectures — Jul. 2011

About this talk

This paper presents a finite-time analysis of the KL-UCB algorithm, an online, horizon-free index policy for stochastic bandit problems. We prove two distinct results: first, for arbitrary bounded rewards, the KL-UCB algorithm satisfies a uniformly better regret bound than UCB and its variants; second, in the special case of Bernoulli rewards, it reaches the lower bound of Lai and Robbins. Furthermore, we show that simple adaptations of the KL-UCB algorithm are also optimal for specific classes of (possibly unbounded) rewards, including those generated from exponential families of distributions. A large-scale numerical study comparing KL-UCB with its main competitors (UCB, MOSS, UCB-Tuned, UCB-V, DMED) shows that KL-UCB is remarkably efficient and stable, including for short time horizons. KL-UCB is also the only method that always performs better than the basic UCB policy. Our regret bounds rely on deviations results of independent interest which are stated and proved in the Appendix. As a by-product, we also obtain an improved regret bound for the standard UCB algorithm.

UCB, Self-Normalized, Bandit Problems

2010

2009

2008

2007

2006

2005