Selected Presentations

Oct. 2020 -
Learning in high dimension: some insights from statistical physics
ENS Lyon,

After Florent Krzakala's second lecture in les Houches, we present some insights on the possibility to learn in very high dimension, and on the double descent phenomenon, in some simple (and less simple) teacher-student settings.

Keywords:
Feb. 2020 -
Sur la complexité des problèmes d'optimisation séquentielle
Université Clermont-Ferrand

Que ce soit pour des essais cliniques, pour les moteurs de recommandation ou pour l'optimisation des paramètres d'algorithmes d'apprentissage automatique, de nombreux problèmes nécessitent la maximisation d'une fonction dite "boite noire", dont on peut observer des évaluations bruitées en un nombre limité de points de notre choix. La complexité de ce problème d'optimisation est mesuré par le nombre d'observations nécessaires avant de pouvoir donner, avec un risque faible, une bonne approximation du maximum. En commençant par des exemples très simples, puis élargissant progressivement le champ, nous présenterons comment des outils de théorie de l'information et d'apprentissage séquentiel permettent de déterminer cette complexité, ainsi que des algorithmes ne pouvant être beaucoup améliorés.

Jan. 2020 -
Mathematical Challenges in Machine Learning
Lyon,

We present Neural Networks for classification and Regression, and three necessary but challenging mathematical problems they suggest: approximation, optimization, and generalization.

Keywords:
Jan. 2020 -
The problem-dependent complexity of sequential optimization
Paris, Google France

We will present the current status of our research on exact bounds for the sequential sample complexity of optimizing functions perturbed by centered noise. The simplest setting (PAC best-arm identification in finite bandit models) is now well understood, and precise information bounds are known. Our current effort to extend these results to more structured models (involving a graph or a continuous space) will be presented.

Nov. 2019 -
Éthique et Intelligence Artificielle
Lyon,

Associant données massives (big data) et algorithmes d’apprentissage automatique (machine learning), la puissance des outils de décision automatique suscite autant d’espoir que de craintes. De nombreux textes législatifs européens (RGPD) et français récemment promulgués tentent d’encadrer les usages de ces outils. Cependant, les risques de discrimination, les problèmes de transparence et ceux de qualité des décisions algorithmiques sont toujours très présents : la législation va toujours moins vite que la pratique… Les incompatibilités entre exploitation des données et respect de la vie privée sont explorées depuis longtemps. La banalisation des algorithmes d’intelligence artificielle vient exacerber cette tension. Pour détecter et réduire le risque de discrimination ainsi que pour répondre au droit à l’explication légitime des citoyens, les algorithmes exploitant des données personnelles se doivent d’être déployés dans un cadre juridique et éthique strict. Au-delà du constat, nous nous attacherons, lors de ce café et pour répondre à cette nécessité, à lister également quelques possibilités de contrôle à développer.

Nov. 2019 -
Regret Minimization on Non-Parametric Bandits via the Empirical Likelihood Method
Madrid, Real Academia de Ciencias

An agent must choose at each time stp among K options, each producing an independent draw of an unknown probability distribution. Her goal is to maximize the sum of the values obtained. How should she make her choices? For the case where the random variables are only assumed to be bounded, we propose an asymptotically optimal algorithm based on the construction of upper confidence bounds obtained by the Empirical Likelihood Method.

Nov. 2019 -
On Information Inequalities and the Complexity of Sequential Decision Problems
Orsay

We present sequential and active statistics problems, and how Information Theory can help providing lower bounds, but also optimal algorithms.

Keywords:
Oct. 2019 -
Introduction to the mathematics of Deep Learning
ENS Lyon

Presentation of Neural Networks for classification and Regression, and some challenges for a mathematical analysis: approximation, optimization, and generalization. This talk introduces the three next lectures: [Daniely '17. Depth Separation for Neural Networks], [Mei, Montanari, Nguyen '18-'19. A Mean Field View of the Landscape of Two-Layers Neural Networks] and [Bartlett, Long, Lugosi, Tsigler '19 Benign Overfitting in Linear Regression]. It was followed by a presentation by Rémi Gribonval on some approximation results.

Keywords:
Sep. 2019 -
Automatic Decision by Machine Learning and Fairness
Strasbourg

L'objectif de cet exposé est de sensibiliser à la question de la loyauté des algorithmes de décision automatique basé sur l'apprentissage statistique. Après avoir rappelé la démarche de cette dernière, nous développerons un exemple illustrant quelques problèmes qu'ils peuvent poser, et la manière dont des statisticiens peuvent l'aborder.

Keywords:
Jun. 2019 -
On the convergence of Gradient Descent for depth 2 Neural Networks
ENS Lyon, Reading group: Maths of Deep Learning

We present recent results by Montanari and al. on a statistical physics interpretation of gradient descent for depth-2 neural networks, which yields convergence results

Keywords:
Apr. 2019 -
Introduction à l'apprentissage statistique
Lyon, Université Claude Bernard

Introduction à l'apprentissage statistique : cadre formel, premiers algortihmes, minimisation du risque empirique et structurel, SVM et réseaux de neurones

Keywords:
Nov. 2018 -
Complexity of Sequential Decision Problems
ENS Lyon, Théminaire

From clinical trials to content recommender systems, dynamic allocation systems are present everywhere, and various strategies have been developed in order to optimize them. We present on a simple... more

Oct. 2018 -
Introduction à certains problèmes de décisions séquentielles
Rencontre des Statisticiens Lyonnais (RSL), Campus de La Doua

Que ce soit pour les systèmes de recommandation, pour l'allocation dynamique de ressources ou pour l'exploration des arbres dans les jeux, de nombreux systèmes de décision automatiques s'appuient... more

Keywords:
Oct. 2018 -
Comment les maths peuvent-elles aider les machines à apprendre ?
ENS Lyon, Journée de rentrée de l'UMPA

Présentation de mon domaine de recherche en 15 minutes

May. 2018 -
Missing Mass, and Optimal Discovery
ENS Lyon

We consider an original problem that arises from the issue of security analysis of a power system and that we name optimal discovery with probabilistic expert advice. We address it with an... more

Apr. 2018 -
Minimisation du regret pour des bandits non-paramétriques grâce à la méthode de la vraisemblance empirique
ENS Lyon

Un agent doit choisir à chaque instant parmi K options produisant chacune une variable aléatoire de distribution inconnue. Son but est de maximiser la somme des variables obtenues. Comment doit-il... more

Apr. 2018 -
Rapport Villani sur l'IA: rapide tour d'horizon
Toulouse, groupe de travail learning

Compte-rendu de lecture du rapport Villani par Philippe Besse, Aurélien Garivier, Sébastien Gerchinovitz et Mathieu Serrurier, suivi d'un débat

Mar. 2018 -
Quelques idées pour les problèmes de décisions séquentielles
ENS Lyon

Que ce soit pour les systèmes de recommandation, pour l'allocation dynamique de ressources ou pour l'exploration des arbres dans les jeux, de nombreux systèmes de décision automatiques s'appuient... more

Mar. 2018 -
Vers une intelligence artificielle responsable
Université Paris 5 Descartes

La plupart des succès qui valent à l'intelligence artificielle son retentissement médiatique actuel présentent une double caractéristique : certes ils voient des systèmes automatiques réaliser de... more

Sep. 2017 -
On the Complexity of Best Arm Identification with Fixed Confidence
Séminaire UT1-UT3, Toulouse

We consider the problem of finding the highest mean among a set of probability distributions that can be sampled sequentially. We provide a complete characterization of the complexity of this task... more

Jul. 2017 -
The Complexity of Best-Arm Identification
Barcelona, FoCM2017

We consider the problem of finding the highest mean among a set of probability distributions that can be sampled sequentially. We provide a complete characterization of the complexity of this task... more

Apr. 2017 -
Présentation Thématique Big Data au Conseil de Prospective de l'IMT
Institut de Mathématiques de Toulouse

Avec Fabrice Deluzet et Francesco Costantino, nous présentons pour l'ensemble du laboratoire un aperçu de la thématique Big Data. Nous discutons en particulier de quelques thèmes de recherche... more

Keywords:
Aug. 2016 -
Sur la complexité de l'identification du meilleur bras sous contrainte de risque dans un modèle de bandits
Grenoble, Journées MAS 2016

Nous considérons un modèle d'optimisation discrète où, à chaque instant, le choix d'une option donne accès à une observation bruitée de la valeur associée. Nous donnons une estimation précise du... more

Jul. 2016 -
Projet Enseignement : Statistique et Informatique pour les Big Data
INP ENSIACET Labège

Bilan du projet UPS-INSA : Statistique et Informatique pour les Big Data

Keywords:
Jun. 2016 -
Optimal Best Arm Identification with Fixed Confidence
New York

We provide a complete characterization of the complexity of best-arm identification in one-parameter bandit problems. We prove a new, tight lower bound on the sample complexity. We propose the... more

Jun. 2016 -
On the Complexity of Best Arm Identification with Fixed Confidence
Séminaire Pluridisciplinaire d'Optimisation de Toulouse

I will present a complete characterization of the complexity of best-arm identification in one-parameter bandit problems.
In other words, we give a new, tight lower bound for the expected... more

Keywords:
May. 2016 -
Recent advances in the understanding of bandit models
Grenoble, rencontres

I present here our recent contributions on the following problems (joint work with Emilie Kaufmann, Tor Lattimore, Pierre Ménard, Gilles Stoltz): what is the complexity of best-arm identification... more

Keywords:
May. 2016 -
De l'intérêt des méthodes séquentielles (une introduction)
Toulouse, rencontres

We study the problem of minimising regret in two-armed bandit problems with Gaussian noise. Our
objective is to use this simple setting to illustrate that strategies based on an exploration... more

Keywords:
Mar. 2016 -
Sequential Optimization and Computer Experiments
Toulouse

Every day, one pick a point $x$ and observe the (possibly noisy) value of an unknown function $f$ at point $x$. How to find as fast as possible the minimum value of $f$? In this introductory... more

Jan. 2016 -
Optimal Discovery with Probabilistic Expert Advice
Lancaster University, UK

We consider a variant of a bandit model that arises from some issue of security analysis of a power system. We address it with an optimistic, UCB-type policy using the Good-Turing missing mass... more

Jun. 2015 -
Systèmes de recommandation et algorithmes de bandits: notebook ipython pour l'enseignement
Lille, JDS

Les systèmes de recommandation automatiques à très grande échelle sont aujourd'hui omniprésents sur internet : ouvrages conseillés à l'achat dans les librairies en ligne, articles... more

May. 2015 -
Optimism in Reinforcement Learning and Kullback-Leibler Divergence
Toulouse, CIMI

We consider model-based reinforcement learning in finite Markov Decision Processes (MDPs), focussing on so-called optimistic strategies. In MDPs, optimism can be implemented by carrying out... more

Mar. 2015 -
On the Complexity of Best Arm Identification in Multi-Armed Bandit Models
Berkeley

The stochastic multi-armed bandit model is a simple abstraction that has proven useful in many different contexts in statistics and machine learning. Whereas the achievable limit in terms of... more

Oct. 2014 -
Bandits for Exploration: Best Arm Identification and Discovery with Probabilistic Experts
Imperial College, Multi-armed bandits meeting

Whereas the achievable limits in terms of regret minimization in simple bandit models are now well known, it is often meaningful to consider slightly different goals and/or slightly different... more

Oct. 2014 -
Allocation dynamique de ressources et modèles de bandits
Toulouse School of Economics, UT1

Un agent doit choisir, à chaque instant, une action parmi une famille d'actions
disponibles. Chaque action conduit à une récompense aléatoire de distribution
inconnue. Comment... more

Sep. 2014 -
Allocation dynamique de ressources et modèles de bandits
INRA Toulouse

Un agent doit choisir, à chaque instant, une action parmi une famille d'actions
disponibles. Chaque action conduit à une récompense aléatoire de distribution
inconnue. Comment... more

Sep. 2014 -
Cours de Machine Learning
Aussois,

Ce cours vise à présenter l'apprentissage statistique aux doctorants et post-doctorants en théorie des jeux : après une introduction générale, un accent particulier est mis sur les liens... more

Keywords:
Jul. 2014 -
Perfect Simulation of Processes With Long Memory: A ``Coupling Into and From The Past'' Algorithm
Buenos Aires, Conference on Stochastic Processes and their Applications

We describe a new algorithm for the perfect simulation of variable length Markov chains and random systems with perfect connections. This algorithm generalizes Propp and Wilson's simulation... more

Jun. 2014 -
Empirical Likelihood Upper Confidence Bounds For Bandit Models
Barcelona, Journées Statistiques du Sud 2014

The classical Upper-Confidence Bound policies are known to have some nice optimality
properties in simple bandit models. In more general contexts, however, they appear
to be quite... more

Apr. 2014 -
Empirical Likelihood for Optimistic Algorithms in Dynamic Resource Allocation
Paris X Nanterre

Bandit models, and especially the UCB algorithms, are presented together with statistical challenges they involve: non-asymptotic estimation, self-normalized deviations, Empirical Likelihood.

Apr. 2014 -
Optimistic Solutions for Dynamic Resource Allocation
Paris (AgroParisTech)

In applications such as recommender systems, classical dynamic allocation rules are not a completely satisfying because they tend to propose always the same "blockbusters" and do not... more

Dec. 2013 -
Optimal Discovery with Probabilistic Expert Advice: Finite Time Analysis and Macroscopic Optimality
CIRM, Rencontres de Statistique Mathématique "Mathematical Statistics with Applications in Mind"

We consider an original problem that arises from the issue of security analysis of a power system and that we name optimal discovery with probabilistic expert advice. We address it with an... more

Sep. 2013 -
Informational Confidence Bounds for Self-Normalized Averages and Applications
Seville (Spain)

We present deviation bounds for self-normalized averages and applications to estimation with a random number of observations.
The results rely on a peeling argument in exponential martingale... more

May. 2013 -
Quelques idées sur les problèmes de bandits

Un agent doit choisir, à chaque instant, une action parmi une famille d'actions disponibles. Chaque action conduit à une récompense aléatoire de distribution inconnue. Comment doit-il s'... more

Keywords:
Jul. 2012 -
Problèmes de bandits et estimation
Séminaire de recherche du département TSI de Telecom ParisTech
Dec. 2011 -
Exploration optimale à l'aide d'experts probabilistes
Séminaire du CMAP (Ecole Polytechnique, Palaiseau)
Keywords:
Jul. 2011 -
The KL-UCB for bounded bandit problems, and beyond
Budapest, Hongrie

This paper presents a finite-time analysis of the KL-UCB algorithm, an online, horizon-free index policy for stochastic bandit problems. We prove two distinct results: first, for arbitrary... more

Jul. 2011 -
A Propp-Wilson algorithm for Context Tree Sources
Workshop "Jorma's Razor 2", Sao Sebastiao, Brésil
Sep. 2010 -
Arbres de Contextes Probabilisés
Journées MAS 2010, Toulouse
Mar. 2010 -
Présentation de l'équipe et de l'apprentissage par renforcement
Evaluation AERES de l'équipe STA du LTCI à Telecom ParisTech, avec François Roueff
Aug. 2009 -
Context tree models for source coding
Ecole Brésilienne de Probabilités de l'USP à Maresias
Keywords:
Jul. 2009 -
Coding on infinite alphabets
European Meetings of Statisticians (EMS) à Toulouse
Keywords:
Jun. 2008 -
Stratégies UCB en environnement non stationnaire
European Workshop on Reinforcement Learning in Lille
Jun. 2008 -
Estimation d'arbres de contexte
Journées de la SFDS'08 à Ottawa, Journées statistiques du Sud'08
Keywords:
Oct. 2007 -
Codage en alphabet infini et entropie métrique
Workshop Mafia/Toulouse à Nissan-lèz-Ensérunes
Keywords:
Mar. 2007 -
Théorie de l'information : application à l'identification d'ordre
Université Paris I, Clermont-Ferrand, Grenoble, Dijon, Nice, Toulouse, Paris Dauphine
Apr. 2006 -
Théorie de l'information et identification d'ordre
Congrès Jeunes probabilistes et statisticiens, Aussois
Keywords:
Jul. 2005 -
Context Tree Weighting and Renewal Processes
25th European Meeting of Statisticians, Oslo
Jun. 2005 -
Modèles à arbres de contextes
Séminaire du Laboratoire Statistique et Génome d'Evry