![\"plot](\"..\/..\/lise.vaudor\/Rfigures\/Arbres_decisionnels\/Lise_Vaudor_headband.png\")
<\/p>\n<\/p>\n
Les arbres d\u00e9cisionnels font partie des m\u00e9thodes d’apprentissage supervis\u00e9<\/strong>, et font \u00e0 ce titre partie de la bo\u00eete \u00e0 outils du parfait petit dataminer. Ils visent \u00e0 pr\u00e9dire les valeurs<\/strong> prises par une variable en fonction d’un jeu de variables d’entr\u00e9e (qu’on appellera ici les descripteurs). Cette pr\u00e9diction se fait \u00e0 travers la construction d’un arbre<\/strong> dont chaque noeud<\/strong> correspond \u00e0 une d\u00e9cision<\/strong> quant \u00e0 la valeur de la variable \u00e0 pr\u00e9dire. Cette d\u00e9cision est prise en fonction de la valeur d’un des descripteurs<\/strong>.<\/p>\n La variable \u00e0 pr\u00e9dire et les descripteurs, peuvent \u00eatre quantitatifs ou cat\u00e9goriels.<\/p>\n Consid\u00e9rons l’exemple suivant (purement fictif):<\/p>\n On imagine que le propri\u00e9taire d’un magasin de v\u00eatements a not\u00e9 tous les articles disponibles selon leur prix, leur qualit\u00e9 (note de 0 \u00e0 100), leur branchitude (note de 0 \u00e0 100) et leur flashitude (note de 0 \u00e0 100). Il note si ces articles ont \u00e9t\u00e9 achet\u00e9s par des clients au cours de la semaine pass\u00e9e.<\/p>\n L’arbre de classification ci-dessus s’interpr\u00e8te de la mani\u00e8re suivante.<\/p>\n Si la valeur de branchitude d’un article est sup\u00e9rieure \u00e0 85, alors les clients l’ach\u00e8tent (11 achats contre 1 non-achat).<\/p>\n Si la branchitude d’un article est inf\u00e9rieure \u00e0 85 mais sa flashitude est sup\u00e9rieure \u00e0 65, alors les clients l’ach\u00e8tent (7 achats contre un non-achat).<\/p>\n Si la branchitude d’un article est inf\u00e9rieure \u00e0 85, et sa flashitude inf\u00e9rieure \u00e0 17.5, alors les clients ne l’ach\u00e8tent pas (13 non-achats contre 3 achats). Si la branchitude est inf\u00e9rieure \u00e0 65, la flashitude entre 17.5 et 65, mais la qualit\u00e9 est bonne (sup\u00e9rieure \u00e0 75), alors les clients l’ach\u00e8tent tout de m\u00eame (8 achats contre 4 non-achats). Si au contraire la qualit\u00e9 de l’article est m\u00e9diocre (inf\u00e9rieure \u00e0 75), alors les clients ne l’ach\u00e8tent pas (21 non achats contre 9 achats).<\/p>\n (En r\u00e9sum\u00e9, si j’\u00e9tais le g\u00e9rant de ce magasin, pour maximiser mes ventes, j’essaierais de proposer des articles branch\u00e9s et flashy, et pr\u00e9f\u00e9rentiellement de bonne qualit\u00e9, sans trop me soucier du prix auquel je les affiche…)<\/p>\n Nous allons voir maintenant comment construire cet arbre. Le jeu de donn\u00e9es \u00e9voqu\u00e9 ci-dessus se trouve ici<\/a>.<\/p>\n Pour calculer l’arbre de d\u00e9cision, nous allons utiliser le package Le graphique ci-dessus est g\u00e9n\u00e9r\u00e9 \u00e0 travers les commandes suivantes:<\/p>\n Examinons l’objet renvoy\u00e9 par la fonction Voici comment lire cette sortie :<\/p>\n Dans cette partie je vais expliquer comment sont \u00e9tablis les crit\u00e8res de d\u00e9cision abord\u00e9s ci-dessus. L’arbre de d\u00e9cision est cr\u00e9\u00e9 de sorte que chaque noeud divise un ensemble d’individus en deux sous-ensembles (correspondant aux 2 branches) les plus homog\u00e8nes possibles<\/strong> en terme de variable \u00e0 pr\u00e9dire.<\/p>\n Pour calculer l’h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 d’un ensemble d’individus, on a recours \u00e0 une mesure appel\u00e9e impuret\u00e9<\/strong>.<\/p>\n Pour quantifier l’impuret\u00e9 d’un \u00e9chantillon<\/strong> (i.e. son h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 en termes de classes), on utilise une fonction, dite index de Gini<\/strong>.<\/p>\n (NB: tous les codes dans cette sous-partie ne sont pas \u00e0 reproduire pour construire un arbre d\u00e9cisionnel, ils servent simplement \u00e0 illustrer la mani\u00e8re dont l’arbre se construit, \u00e9tape par \u00e9tape!)<\/p>\n L’index de Gini s’applique \u00e0 une probabilit\u00e9 (par exemple probabilit\u00e9 d’une classe i<\/em>, p<\/em>i<\/em><\/sub>):<\/p>\n Plus la probabilit\u00e9 d’une classe i<\/em> est proche de 0.5, (i.e. plus l’\u00e9chantillon semble h\u00e9t\u00e9rog\u00e8ne pour la classe i<\/em>), et plus l’index de Gini est \u00e9lev\u00e9.<\/p>\n Pour calculer l’impuret\u00e9 d’un \u00e9chantillon, on somme les indices de Gini pour l’ensemble des classes.<\/p>\n Consid\u00e9rons l’ensemble des donn\u00e9es. On a 51.2821% de classe \u00ab\u00a0non\u00a0\u00bb et 48.7179% de classe \u00ab\u00a0oui\u00a0\u00bb. Cela correspond \u00e0 une impuret\u00e9 de 0.4997.<\/p>\n Chacun des noeuds de l’arbre est construit de mani\u00e8re \u00e0 repr\u00e9senter la plus grande r\u00e9duction d’impuret\u00e9 possible<\/strong>. C’est-\u00e0-dire que l’on cherche la variable<\/strong> et le seuil<\/strong> qui vont maximiser la diff\u00e9rence entre l’impuret\u00e9 de la branche-parent (A) et l’impuret\u00e9 des branches-enfants (\u00e0 gauche -L- et \u00e0 droite -R-):<\/p>\n o\u00f9 pr(A)<\/em> correspond \u00e0 la probabilit\u00e9 de la branche A<\/em>.<\/p>\n Consid\u00e9rons ainsi le premier noeud de l’arbre ci-dessus.<\/p>\n Nous avons vu que l’impuret\u00e9 pour la branche principale de l’arbre \u00e9tait:<\/p>\n Consid\u00e9rons le descripteur (\u00ab\u00a0Branchitude\u00a0\u00bb) et le seuil (85) indiqu\u00e9s par l’arbre de d\u00e9cision calcul\u00e9 par la fonction Cette valeur de perte d’impuret\u00e9 est la valeur maximale<\/strong> que l’on puisse obtenir pour le premier noeud, parmi tous les descripteurs et tous les seuils possibles.<\/p>\n Pour vous en convaincre, vous pouvez tester quelques autres possibilit\u00e9s (nous n’allons pas toutes les tester ici…)<\/p>\n Consid\u00e9rons par exemple ce qu’on obtiendrait avec une autre valeur de seuil (65 au lieu de 85):<\/p>\n ou encore, consid\u00e9rons un autre descripteur, par exemple, la \u00ab\u00a0Flashitude\u00a0\u00bb:<\/p>\n Dans ces deux cas, la perte d’impuret\u00e9 est effectivement moindre que celle correspondant \u00e0 la sortie du mod\u00e8le (ouf!).<\/p>\n","protected":false},"excerpt":{"rendered":" Qu’est-ce que c’est? Les arbres d\u00e9cisionnels font partie des m\u00e9thodes d’apprentissage supervis\u00e9, et font \u00e0 ce titre partie de la bo\u00eete \u00e0 outils du parfait petit dataminer. Ils visent \u00e0 pr\u00e9dire les valeurs prises par une variable en fonction d’un jeu de variables d’entr\u00e9e (qu’on appellera ici les descripteurs). Cette pr\u00e9diction se fait \u00e0 travers la construction d’un arbre dont chaque noeud correspond \u00e0 une d\u00e9cision quant \u00e0 la valeur.. Read More<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-247","post","type-post","status-publish","format-standard","hentry","category-tous-les-posts"],"_links":{"self":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/247","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/comments?post=247"}],"version-history":[{"count":26,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/247\/revisions"}],"predecessor-version":[{"id":1093,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/247\/revisions\/1093"}],"wp:attachment":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/media?parent=247"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/categories?post=247"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/tags?post=247"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Exemple:<\/h2>\n
![\"plot](\"..\/..\/lise.vaudor\/Rfigures\/Arbres_decisionnels\/decision_tree.png\")
<\/p>\nConstruction d’un arbre de d\u00e9cision<\/h2>\n
rpart<\/code>.<\/p>\nmagasin=read.table(paste(dat.path,\"magasin.csv\",sep=\"\"),\n sep=\";\", header=T, dec=\",\")\nattach(magasin)\ndt=rpart(Achat~Prix+Flashitude+Branchitude+Qualite, data=magasin)\n<\/code><\/pre>\nplot(dt)\ntext(dt, use.n=T)\n<\/code><\/pre>\nrpart<\/code>.<\/p>\nprint(dt)\n\n## n= 78 \n## \n## node), split, n, loss, yval, (yprob)\n## * denotes terminal node\n## \n## 1) root 78 38 non (0.51282 0.48718) \n## 2) Branchitude< 85 66 27 non (0.59091 0.40909) \n## 4) Flashitude< 65 58 20 non (0.65517 0.34483) \n## 8) Flashitude< 17.5 16 3 non (0.81250 0.18750) *\n## 9) Flashitude>=17.5 42 17 non (0.59524 0.40476) \n## 18) Qualite< 75 30 9 non (0.70000 0.30000) *\n## 19) Qualite>=75 12 4 oui (0.33333 0.66667) *\n## 5) Flashitude>=65 8 1 oui (0.12500 0.87500) *\n## 3) Branchitude>=85 12 1 oui (0.08333 0.91667) *\n<\/code><\/pre>\n\n
Comment \u00e7a marche?<\/h2>\n
Calcul de l’impuret\u00e9<\/h1>\n
$$ Gini(p_i)=p_i(1-p_i) $$\n<\/code><\/pre>\ncalcul_impurete=function(x){\n probas=table(x)\/length(x)\n impurete=sum(probas*(1-probas))\n return(impurete)\n}\n\nprobas=table(Achat)\/length(Achat)\nimpurete=calcul_impurete(Achat)\n<\/code><\/pre>\nCalcul de la r\u00e9duction d’impuret\u00e9<\/h1>\n
$$ \n \\Delta I=pr(A)I(A)-pr(A_L)I(A_L)-pr(A_R)I(A_R)\n $$\n<\/code><\/pre>\nprA=1\nIA=calcul_impurete(Achat)\nprint(IA)\n\n## [1] 0.4997\n<\/code><\/pre>\nrpart<\/code>:<\/p>\nn=length(Achat)\nindL=which(Branchitude<85)\nindR=which(Branchitude>=85)\nprL=length(indL)\/n\nprR=length(indR)\/n\nIL=calcul_impurete(Achat[indL])\nIR=calcul_impurete(Achat[indR])\n\nperte_impurete=prA*IA-prL*IL-prR*IR\nprint(perte_impurete)\n\n## [1] 0.06708\n<\/code><\/pre>\nprA=1\nindL=which(Branchitude<65)\nindR=which(Branchitude>=65)\n\nprL=length(indL)\/n\nprR=length(indR)\/n\nIL=calcul_impurete(Achat[indL])\nIR=calcul_impurete(Achat[indR])\n\nperte_impurete=prA*IA-prL*IL-prR*IR\nprint(perte_impurete)\n\n## [1] 0.0158\n<\/code><\/pre>\nprA=1\nindL=which(Flashitude<65)\nindR=which(Flashitude>=65)\n\nn=length(Achat)\nprL=length(indL)\/n\nprR=length(indR)\/n\nIA=calcul_impurete(Achat)\nIL=calcul_impurete(Achat[indL])\nIR=calcul_impurete(Achat[indR])\n\nperte_impurete=prA*IA-prL*IL-prR*IR\nprint(perte_impurete)\n\n## [1] 0.0501\n<\/code><\/pre>\n