![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Random_forest\/Lise_Vaudor_headband-1.png\")
<\/p>\n<\/p>\n
Il y a quelques mois, je vous proposais un billet sur les arbres d\u00e9cisionnels<\/a>. Comme on dit, c’\u00e9tait l’arbre qui cachait la for\u00eat (ha!ha! quelle joie d’avoir un blog pour pouvoir faire de tels jeux de mots). Voici donc la suite naturelle de ce billet,cette fois sur les for\u00eats d’arbres d\u00e9cisionnels<\/strong> ou for\u00eats al\u00e9atoires<\/strong> (alias \u00ab\u00a0random forests\u00a0\u00bb<\/strong> en anglais).<\/p>\n Les for\u00eats al\u00e9atoires sont compos\u00e9es (comme le terme \u00ab\u00a0for\u00eat\u00a0\u00bb l’indique) d’un ensemble d’arbres d\u00e9cisionnels. Ces arbres se distinguent les uns des autres par le sous-\u00e9chantillon de donn\u00e9es sur lequel ils sont entra\u00een\u00e9s<\/strong>. Ces sous-\u00e9chantillons sont tir\u00e9s au hasard (d’o\u00f9 le terme \u00ab\u00a0al\u00e9atoire\u00a0\u00bb) dans le jeu de donn\u00e9es initial.<\/p>\n On va utiliser le package On utilise le jeu de donn\u00e9es iris:<\/p>\n Dans ce jeu de donn\u00e9es, des iris de trois esp\u00e8ces diff\u00e9rentes sont d\u00e9crits par :<\/p>\n Pour produire une for\u00eat al\u00e9atoire (ici sans modifier les param\u00e8tres par d\u00e9faut) \u00e0 l’aide de la fonction randomForest, rien de plus simple:<\/p>\n Ici la fonction print nous permet d’afficher quelques caract\u00e9ristiques de l’objet produit. On apprend ainsi que la for\u00eat est compos\u00e9e de 500 arbres, qu’\u00e0 chaque noeud l’algorithme fait un essai sur 2 variables, que le taux d’erreur est de 4%. La matrice de confusion<\/strong> est \u00e9galement affich\u00e9e (on y reviendra tr\u00e8s bient\u00f4t!).<\/p>\n Chaque arbre de la for\u00eat est construit sur une fraction (\u00ab\u00a0in bag\u00a0\u00bb) des donn\u00e9es (c’est la fraction qui sert \u00e0 l’entra\u00eenement<\/strong> de l’algorithme. Alors pour chacun des individus de la fraction restante (\u00ab\u00a0out of bag\u00a0\u00bb) l’arbre peut pr\u00e9dire une classe.<\/p>\n Pour ce qui est de la construction de l’arbre lui-m\u00eame, je vous renvoie une fois encore \u00e0 ce billet<\/a>.<\/p>\n Par d\u00e9faut, la fonction On peut ainsi acc\u00e9der au nombre de fois o\u00f9 chaque individu est \u00ab\u00a0out of bag\u00a0\u00bb de la mani\u00e8re suivante (ici je n’affiche que les dix premiers individus):<\/p>\n Sur l’ensemble des arbres sur lesquels les individus ont \u00e9t\u00e9 \u00ab\u00a0out of bag\u00a0\u00bb, on peut s’int\u00e9resser \u00e0 la proportion de votes<\/strong> que chaque classe a recueilli. Ici, par exemple, je m’int\u00e9resse \u00e0 un sous-\u00e9chantillon de trois individus:<\/p>\n Pour les trois individus affich\u00e9s ci-dessus:<\/p>\n Ainsi, pour identifier les individus qui tendent \u00e0 poser probl\u00e8me, on peut utiliser la marge<\/strong>. Pour un individu donn\u00e9, qui appartient \u00e0 la classe i<\/em>, on note P<\/em>j<\/em><\/sub> la proportion de votes pour la classe j<\/em>. Alors la marge correspond \u00e0:<\/p>\n Il s’agit ainsi de la diff\u00e9rence entre la proportion de votes pour la classe correcte<\/strong> (i<\/em>) et la proportion de votes pour la classe sortie majoritaire parmi les autres classes<\/strong> (j<\/em>\u2004\u2260\u2004i<\/em>).<\/p>\n Ainsi, plus la marge est proche de 1 et plus la confiance accord\u00e9e \u00e0 la pr\u00e9diction est grande<\/strong>… Au contraire, quand la marge est faible ou m\u00eame n\u00e9gative, la confiance \u00e0 accorder \u00e0 la classification pour l’individu consid\u00e9r\u00e9 est faible.<\/p>\n La classe pr\u00e9dite est pour chaque individu est, par d\u00e9faut, celle qui recueille le plus de votes sur l’ensemble des arbres o\u00f9 l’individu est \u00ab\u00a0out of bag\u00a0\u00bb.<\/p>\n Voici comment la r\u00e9cup\u00e9rer sous R<\/p>\n On peut bien \u00e9videmment comparer la classe observ\u00e9e et la classe pr\u00e9dite:<\/p>\n Surprise! on retrouve la matrice de confusion, que l’on peut aussi afficher de la mani\u00e8re suivante:<\/p>\n Le taux d’erreur correspond \u00e0 la proportion de cas o\u00f9 la pr\u00e9diction est incorrecte:<\/p>\n Il est ici d’environ 5%.<\/p>\n Imaginons maintenant que nous disposions d’un jeu de donn\u00e9es dans lequel figurent les descripteurs des individus (longueur et largeur des s\u00e9pales, longueur et largeur des p\u00e9tales) mais pas leur esp\u00e8ce. Par exemple, les donn\u00e9es disponibles ici<\/a><\/p>\n Je peux alors r\u00e9utiliser ma for\u00eat al\u00e9atoire comme classificateur:<\/p>\n L’importance d’une variable dans la classification correspond \u00e0 la diminution moyenne de l’impuret\u00e9<\/strong> qu’elle permet. Pour chaque arbre, la diminution totale de l’impuret\u00e9 li\u00e9e \u00e0 une variable correspond \u00e0 la diminution de l’impuret\u00e9 cumul\u00e9e sur l’ensemble des noeuds qu’elle r\u00e9git. Cette diminution est ensuite moyenn\u00e9e sur l’ensemble des arbres.<\/p>\n Pour rappel, l’impuret\u00e9 est mesur\u00e9es par l’index de Gini (cf ce billet<\/a> sur les arbres d\u00e9cisionnels).<\/p>\n Ici les deux variables qui ont clairement le plus d’importance dans la classification des esp\u00e8ces sont la longueur et la largeur de p\u00e9tales.<\/p>\n Dans la construction de chacun des arbres il y a une part d’al\u00e9a li\u00e9e \u00e0 la fraction du jeu de donn\u00e9e consid\u00e9r\u00e9e pour l’entra\u00eenement de l’algorithme… Le taux d’erreur observ\u00e9 pour chaque arbre est donc al\u00e9atoire. Plus on construit d’arbres, et plus le taux d’erreur \u00ab\u00a0moyen\u00a0\u00bb va converger vers une valeur fixe (ici 5%).<\/p>\n Observons ainsi le taux d’erreur si l’on s’int\u00e8gre les votes de 1, 2, 3, …. 5000 arbres parmi ceux construits par la fonction randomForest (le nombre d’arbres peut \u00eatre modifi\u00e9 par le param\u00e8tre ntree):<\/p>\n On observe que le taux d’erreur se stabilise autour de 4% (soit 6 erreurs de classement sur 150 individus) quand le nombre d’arbres atteint 3000 environ. Mais en produisant une for\u00eat qui ne compte \u00ab\u00a0que\u00a0\u00bb 500 arbres, on a un taux d’erreur qui tourne autour de 6\/150 avec parfois un \u00ab\u00a0bond\u00a0\u00bb \u00e0 7\/150 donc ce n’est pas non plus l’horreur…<\/p>\n On peut \u00e9galement \u00e9valuer (entre autres) l’effet du param\u00e8tre Les valeur des param\u00e8tres sont fix\u00e9es par d\u00e9faut d’une mani\u00e8re qui permet \u00ab\u00a0raisonnablement\u00a0\u00bb\u00a0\u00bb d’esp\u00e9rer atteindre la convergence pour 500 arbres… mais rien n’emp\u00eache de s’en assurer, empiriquement, \u00e0 travers le genre de graphique pr\u00e9sent\u00e9 ci-dessus…<\/p>\n Pour une discussion plus approfondie de ces param\u00e8tres, rendez-vous sur la page d’aide de la fonction randomForest, ou bien allez voir l’article de Liaw and Wiener (2002)!<\/p>\n Liaw, Andy, and Matthew Wiener. 2002. \u201cClassification and Regression by randomForest.\u201d R News<\/em> 2 (3): 18\u201322. http:\/\/CRAN.R-project.org\/doc\/Rnews\/<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":" Qu’est-ce que c’est ? Il y a quelques mois, je vous proposais un billet sur les arbres d\u00e9cisionnels. Comme on dit, c’\u00e9tait l’arbre qui cachait la for\u00eat (ha!ha! quelle joie d’avoir un blog pour pouvoir faire de tels jeux de mots). Voici donc la suite naturelle de ce billet,cette fois sur les for\u00eats d’arbres d\u00e9cisionnels ou for\u00eats al\u00e9atoires (alias \u00ab\u00a0random forests\u00a0\u00bb en anglais). Les for\u00eats al\u00e9atoires sont compos\u00e9es (comme le.. Read More<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-425","post","type-post","status-publish","format-standard","hentry","category-tous-les-posts"],"_links":{"self":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/425","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/comments?post=425"}],"version-history":[{"count":13,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/425\/revisions"}],"predecessor-version":[{"id":794,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/425\/revisions\/794"}],"wp:attachment":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/media?parent=425"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/categories?post=425"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/tags?post=425"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}randomForest<\/code>.<\/p>\nrequire(randomForest)\n<\/code><\/pre>\ndata(iris)\n<\/code><\/pre>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Random_forest\/plot_simple-1.png\")
<\/p>\n\n
Construction d’une for\u00eat al\u00e9atoire<\/h1>\n
iris.rf <- randomForest(iris[,1:4], iris$Species)\nprint(iris.rf)\n\n## \n## Call:\n## randomForest(x = iris[, 1:4], y = iris$Species) \n## Type of random forest: classification\n## Number of trees: 500\n## No. of variables tried at each split: 2\n## \n## OOB estimate of error rate: 4.67%\n## Confusion matrix:\n## setosa versicolor virginica class.error\n## setosa 50 0 0 0.00\n## versicolor 0 47 3 0.06\n## virginica 0 4 46 0.08\n<\/code><\/pre>\nrandomForest<\/code> tire au hasard n individus parmi les n (avec remplacement, ce qui devrait correspondre, en moyenne, \u00e0 l’\u00e9chantillonnage au hasard de 63.2% des individus). Ainsi sur les n<\/em>\u2004=\u2004500 arbres, chaque individu fera partie de la fraction \u00ab\u00a0in bag\u00a0\u00bb et \u00ab\u00a0out of bag\u00a0\u00bb en moyenne 0.632\u2005\u2005500\u2004=\u2004316 et 0.368\u2005<\/em>\u2005500\u2004=\u2004184 fois (en moyenne, mais pas forc\u00e9ment exactement, du fait de l’al\u00e9a d’\u00e9chantillonnage).<\/p>\nprint(iris.rf$oob.times[1:10])\n\n## [1] 178 182 183 178 195 177 185 187 200 176\n<\/code><\/pre>\nsous_echant=c(25,75,135)\niris$Species[sous_echant]\n\n## [1] setosa versicolor virginica \n## Levels: setosa versicolor virginica\n\niris.rf$oob.times[sous_echant]\n\n## [1] 185 197 189\n\niris.rf$votes[sous_echant,]\n\n## setosa versicolor virginica\n## 25 1 0.0000000 0.000000000\n## 75 0 0.9949239 0.005076142\n## 135 0 0.5026455 0.497354497\n<\/code><\/pre>\n\n
$$ P_i-max_{j\\neq i}(P_j)\n $$\n<\/code><\/pre>\nm=margin(iris.rf)\nprint(m[sous_echant]) \n\n## setosa versicolor virginica \n## 1.000000000 0.989847716 -0.005291005\n<\/code><\/pre>\nPr\u00e9diction<\/h1>\n
print(iris.rf$predicted[1:10])\n\n## 1 2 3 4 5 6 7 8 9 10 \n## setosa setosa setosa setosa setosa setosa setosa setosa setosa setosa \n## Levels: setosa versicolor virginica\n<\/code><\/pre>\ntable(iris$Species, iris.rf$predicted)\n\n## \n## setosa versicolor virginica\n## setosa 50 0 0\n## versicolor 0 47 3\n## virginica 0 4 46\n<\/code><\/pre>\niris.rf$confusion\n\n## setosa versicolor virginica class.error\n## setosa 50 0 0 0.00\n## versicolor 0 47 3 0.06\n## virginica 0 4 46 0.08\n<\/code><\/pre>\nerror_rate=1-sum(diag(iris.rf$confusion))\/sum(iris.rf$confusion)\nprint(error_rate)\n\n## [1] 0.04755561\n<\/code><\/pre>\nPr\u00e9diction sur un nouveau jeu de donn\u00e9es<\/h1>\n
predicted=predict(iris.rf,newdata=Species_to_predict)\nprint(predicted[1:5])\n\n## 1 2 3 4 5 \n## versicolor virginica virginica virginica virginica \n## Levels: setosa versicolor virginica\n<\/code><\/pre>\nImportance des variables<\/h1>\n
iris.rf$importance\n\n## MeanDecreaseGini\n## Sepal.Length 9.714378\n## Sepal.Width 2.290949\n## Petal.Length 44.439867\n## Petal.Width 42.828712\n\nvarImpPlot(iris.rf)\n<\/code><\/pre>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Random_forest\/variable_importance-1.png\")
<\/p>\nParam\u00e9trisation de la for\u00eat<\/h1>\n
iris.rf=randomForest(iris[,1:4], iris$Species, ntree=5000) \nplot(iris.rf$err.rate[,1], type=\"l\")\n<\/code><\/pre>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Random_forest\/error_rate-1.png\")
<\/p>\nsampsize<\/code> qui fixe la taille de l’\u00e9chantillon \u00ab\u00a0in bag\u00a0\u00bb, ou encore l’effet du param\u00e8tre maxnodes<\/code>, qui limite le nombre de noeuds de chaque arbre:<\/p>\niris.rf2=randomForest(iris[,1:4], iris$Species, sampsize=140) \niris.rf3=randomForest(iris[,1:4], iris$Species, maxnodes=5) \n<\/code><\/pre>\nR\u00e9f\u00e9rences<\/h2>\n