![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Nettoyer_ses_donnees\/Lise_Vaudor_headband-1.png\")
<\/p>\n<\/p>\n
Plus je travaille avec R, plus je travaille sur les donn\u00e9es de coll\u00e8gues, et plus je r\u00e9alise l’importance (en termes de temps, et en termes de cons\u00e9quences sur l’analyse elle-m\u00eame) de l’\u00e9tape pr\u00e9alable \u00e0 l’analyse: le nettoyage<\/strong> et la mise en forme<\/strong> des donn\u00e9es.<\/p>\n En effet, la fa\u00e7on dont on structure son jeu de donn\u00e9es va d’une part conditionner notre capacit\u00e9 \u00e0 comprendre, intuitivement, quelles sont les analyses que l’on peut r\u00e9aliser (les donn\u00e9es doivent ainsi \u00eatre organis\u00e9es correctement, en lien avec la question de recherche que l’on se pose!). Une organisation correcte du jeu de donn\u00e9es va \u00e9galement nous permettre de r\u00e9aliser facilement les analyses en question. Sous R, les fonctions sont con\u00e7ues pour proc\u00e9der facilement \u00e0 l’analyse (la plupart du temps, m\u00eame, en deux coups de cuill\u00e8re \u00e0 pot) pourvu qu’on leur fournisse des arguments \u00ab\u00a0conformes\u00a0\u00bb en entr\u00e9e.<\/p>\n Deux types de probl\u00e8mes peuvent se pr\u00e9senter lorsque l’on travaille sur des jeux de donn\u00e9es \u00ab\u00a0sales\u00a0\u00bb:<\/p>\n En g\u00e9n\u00e9ral, lire un tableau de donn\u00e9es sera la premi\u00e8re chose que vous voudrez faire en travaillant sous R. N\u00e9anmoins, ce n’est pas forc\u00e9ment l’\u00e9tape la plus facile: en pratique la lecture des tableaux de donn\u00e9es est souvent probl\u00e9matique, par exemple si les noms de colonnes contiennent des caract\u00e8res sp\u00e9ciaux ou des espaces<\/strong>, si le s\u00e9parateur d\u00e9cimal du fichier est une virgule<\/strong> et non un point, si le fichier contient des commentaires<\/strong>, etc.<\/p>\n Ce genre de probl\u00e8mes arrive tr\u00e8s souvent \u00e0 ceux qui travaillent ordinairement avec Excel et pour qui le tableau de donn\u00e9es est \u00e9galement un document de travail (avec des commentaires, des noms de colonnes \u00e0 rallonge destin\u00e9s \u00e0 \u00eatre les plus explicites possible, des graphiques, des mises en forme destin\u00e9es \u00e0 rendre le document plus lisible, etc.).<\/p>\n N’oubliez que pour R, ce tableau est cens\u00e9 ne comporter que de la donn\u00e9e BRUTE<\/strong>!… Veillez donc \u00e0 bien \u00ab\u00a0nettoyer\u00a0\u00bb le fichier que vous voulez lire dans R: avoir des noms de colonnes simples et sans espaces<\/strong>, enlever les commentaires et mises en forme inutiles, etc.<\/p>\n On peut \u00e9galement sp\u00e9cifier certains des arguments de la fonction read.table pour contr\u00f4ler la lecture du fichier. Ces options sont d\u00e9taill\u00e9es dans le fichier d’aide associ\u00e9 \u00e0 la fonction: on peut l’ouvrir gr\u00e2ce \u00e0 l’une ou l’autre des commandes suivantes:<\/p>\n Les fonctions de la famille de La plupart du temps, les autres arguments importants pour r\u00e9ussir \u00e0 importer un jeu de donn\u00e9es sont:<\/p>\n Si vous travaillez avec RStudio, vous pouvez aussi utiliser le bouton \u00ab\u00a0Import Dataset<\/strong>\u00ab\u00a0, dans l’onglet \u00ab\u00a0Environnement\u00a0\u00bb, qui reconna\u00eet \u00ab\u00a0intuitivement\u00a0\u00bb (et souvent assez bien) les caract\u00e9ristiques d’un fichier de donn\u00e9es.<\/p>\n Passons maintenant \u00e0 la question de la structure du jeu de donn\u00e9es. Dans l’id\u00e9al, un jeu de donn\u00e9es devrait \u00eatre structur\u00e9 de la mani\u00e8re suivante:<\/p>\n Ainsi, pour mettre en forme correctement un jeu de donn\u00e9es, il convient de bien d\u00e9finir ce qui est variable<\/strong>, et ce qui est individu<\/strong>, et de faire en sorte que les variables apparaissent en colonne<\/strong>, et les individus en ligne<\/strong>.<\/p>\n Alors, certes, j’ai un peu l’impression d’enfoncer une porte ouverte… Mais en pratique, les probl\u00e8mes de structure dans un jeu de donn\u00e9es sont courants, ce qui montre que l’exercice n’est pas si trivial.<\/p>\n Consid\u00e9rons le jeu de donn\u00e9es suivant, qui porte sur des abondances d’oiseaux dans diff\u00e9rents sites touristiques parisiens, \u00e0 diverses dates:<\/p>\n Si vous souhaitez travailler sur ce m\u00eame exemple, vous trouverez le fichier ici<\/a>.<\/p>\n Si la mise en forme de ce jeu de donn\u00e9es permet de visualiser facilement l’\u00e9volution des abondances de moineau et pigeon au cours du temps, elle pose question dans le sens o\u00f9, en fait, on pourrait consid\u00e9rer que les colonnes Date1, Date2 et Date3 ne renseignent pas des variables diff\u00e9rentes, mais bien la m\u00eame variable… Ainsi, il vaudrait mieux que le jeu de donn\u00e9es soit organis\u00e9 de la mani\u00e8re suivante:<\/p>\n Dans cette deuxi\u00e8me mise en forme, une observation correspond \u00e0 l’abondance d’une esp\u00e8ce donn\u00e9e, \u00e0 un endroit donn\u00e9, et \u00e0 une date donn\u00e9e. Dans la mise en forme pr\u00e9c\u00e9dente, une observation correspondait \u00e0 l’abondance d’une esp\u00e8ce donn\u00e9e, \u00e0 un endroit donn\u00e9.<\/p>\n Et voici maintenant un des avantages que l’on a \u00e0 organiser ses donn\u00e9es de la \u00ab\u00a0bonne\u00a0\u00bb mani\u00e8re: il devient facile de r\u00e9aliser des analyses et des graphiques qui retranscrivent correctement le contenu du jeu de donn\u00e9es… Ici par exemple, on r\u00e9alise tr\u00e8s facilement avec le package ggplot2 un graphique qui montre l’ensemble du contenu du jeu de donn\u00e9es:<\/p>\n Il serait impossible (ou du moins, difficile et p\u00e9nible) de r\u00e9aliser ce m\u00eame graphique avec le m\u00eame jeu de donn\u00e9es mis en forme selon le premier mod\u00e8le, en tout cas en utilisant la logique \u00ab\u00a0intuitive\u00a0\u00bb de ggplot2, car dans ce cas les colonnes Alors, comment passer d’une mise en forme \u00e0 l’autre? Eh bien, auparavant, pour passer de l’un \u00e0 l’autre, il fallait soit changer le format de tableau \u00e0 la main<\/strong> (par exemple, pour ceux qui ne sont pas trop \u00e0 l’aise avec les langages de script, \u00e0 coups de copier-coller dans votre tableur favori…), soit transformer le tableau \u00e0 l’aide de quelques lignes de commande<\/strong> (par exemple sous R, par exemple \u00e0 l’aide d’une boucle for). Cela pouvait vite \u00eatre long (surtout dans le premier cas), compliqu\u00e9 (surtout dans le deuxi\u00e8me cas), et p\u00e9nible (dans les deux cas).<\/p>\n Heureusement, il existe d\u00e9sormais des packages qui sont l\u00e0 pour nous simplifier la t\u00e2che. Permettez-moi ainsi de vous pr\u00e9senter le package Voici par exemple comment passer du jeu donn\u00e9es avec les colonnes La fonction <\/p>\n N’est-ce pas merveilleusement simple?<\/p>\n Notez que Deuxi\u00e8me exemple d’op\u00e9ration assez classique: prendre une colonne<\/strong> (comme La fonction Ici aussi, on a une fonction inverse… Il s’agit de Plus je travaille avec R, plus je travaille sur les donn\u00e9es de coll\u00e8gues, et plus je r\u00e9alise l’importance (en termes de temps, et en termes de cons\u00e9quences sur l’analyse elle-m\u00eame) de l’\u00e9tape pr\u00e9alable \u00e0 l’analyse: le nettoyage et la mise en forme des donn\u00e9es. En effet, la fa\u00e7on dont on structure son jeu de donn\u00e9es va d’une part conditionner notre capacit\u00e9 \u00e0 comprendre, intuitivement, quelles sont les analyses que l’on.. Read More<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-585","post","type-post","status-publish","format-standard","hentry","category-tous-les-posts"],"_links":{"self":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/585","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/comments?post=585"}],"version-history":[{"count":7,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/585\/revisions"}],"predecessor-version":[{"id":592,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/585\/revisions\/592"}],"wp:attachment":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/media?parent=585"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/categories?post=585"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/tags?post=585"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\n
read.table<\/code> (ou consoeur) qui va poser probl\u00e8me.<\/li>\nNettoyer un fichier de donn\u00e9es pour le lire sous R<\/h1>\n
help(read.table)\n?read.table\n<\/code><\/pre>\nread.table<\/code> (read.csv<\/code>, read.delim<\/code>, etc.) ont pour argument principal l’argument file<\/code><\/strong>, qui indique le chemin du fichier que vous cherchez \u00e0 lire. Attention, dans le chemin indiqu\u00e9, il faut proscrire les \u00ab\u00a0\\\u00a0\u00bb, et les remplacer par \u00ab\u00a0\/\u00a0\u00bb ou \u00ab\u00a0\\\u00a0\u00bb (la raison \u00e0 cela, c’est que dans R, l’antislash est un caract\u00e8re r\u00e9serv\u00e9 -un \u00ab\u00a0escape character\u00a0\u00bb-).<\/p>\n\n
sep<\/code>: le s\u00e9parateur de colonnes (qui peut \u00eatre \";\"<\/code>, \",\"<\/code>, \" \"<\/code>, \"\"<\/code>, etc.)<\/li>\ndec<\/code>: le s\u00e9parateur d\u00e9cimal (qui peut \u00eatre \u00ab\u00a0,\u00a0\u00bb si vous travaillez par exemple avec Excel en VF!)<\/li>\nheader<\/code> : qui vous permet d’indiquer si la premi\u00e8re ligne du fichier correspond \u00e0 des noms de colonnes (header=TRUE<\/code>) ou non<\/li>\n<\/ul>\nMettre en forme du tableau de donn\u00e9es avec tidyr<\/h1>\n
## Variable1 Variable2 Variable3\n## individu1 ... ... ...\n## individu2 ... ... ...\n## individu3 ... ... ...\n## individu4 ... ... ...\n## individu5 ... ... ...\n<\/code><\/pre>\nExemple: plusieurs colonnes correspondent \u00e0 une m\u00eame variable<\/h2>\n
## Espece Site Date1 Date2 Date3\n## 1 moineau Saint-Germain-des-Pr\u00e9s\/6\u00e8me 5 15 13\n## 2 moineau Champs-Elys\u00e9es\/8\u00e8me 1 3 11\n## 3 moineau Montmartre\/18\u00e8me 15 6 4\n## 4 moineau Buttes Chaumont\/19\u00e8me 5 10 8\n## 5 pigeon Saint-Germain-des-Pr\u00e9s\/6\u00e8me 6 21 6\n## 6 pigeon Champs-Elys\u00e9es\/8\u00e8me 20 3 9\n## 7 pigeon Montmartre\/18\u00e8me 9 20 3\n## 8 pigeon Buttes Chaumont\/19\u00e8me 2 6 10\n<\/code><\/pre>\n## Espece Site Date Abondance\n## 1 moineau Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date1 5\n## 2 moineau Champs-Elys\u00e9es\/8\u00e8me Date1 1\n## 3 moineau Montmartre\/18\u00e8me Date1 15\n## 4 moineau Buttes Chaumont\/19\u00e8me Date1 5\n## 5 pigeon Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date1 6\n## 6 pigeon Champs-Elys\u00e9es\/8\u00e8me Date1 20\n## 7 pigeon Montmartre\/18\u00e8me Date1 9\n## 8 pigeon Buttes Chaumont\/19\u00e8me Date1 2\n## 9 moineau Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date2 15\n## 10 moineau Champs-Elys\u00e9es\/8\u00e8me Date2 3\n## 11 moineau Montmartre\/18\u00e8me Date2 6\n## 12 moineau Buttes Chaumont\/19\u00e8me Date2 10\n## 13 pigeon Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date2 21\n## 14 pigeon Champs-Elys\u00e9es\/8\u00e8me Date2 3\n## 15 pigeon Montmartre\/18\u00e8me Date2 20\n## 16 pigeon Buttes Chaumont\/19\u00e8me Date2 6\n## 17 moineau Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date3 13\n## 18 moineau Champs-Elys\u00e9es\/8\u00e8me Date3 11\n## 19 moineau Montmartre\/18\u00e8me Date3 4\n## 20 moineau Buttes Chaumont\/19\u00e8me Date3 8\n## 21 pigeon Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date3 6\n## 22 pigeon Champs-Elys\u00e9es\/8\u00e8me Date3 9\n## 23 pigeon Montmartre\/18\u00e8me Date3 3\n## 24 pigeon Buttes Chaumont\/19\u00e8me Date3 10\n<\/code><\/pre>\nlibrary(ggplot2)\np=ggplot(mynewdata, aes(x=Date, y=Abondance))\np=p+geom_point(aes(col=Espece,shape=Site))\nplot(p)\n<\/code><\/pre>\n![\"\"](\"..\/..\/lise.vaudor\/Rfigures\/Nettoyer_ses_donnees\/exemple_ggplot-1.png\")
<\/p>\nDate1<\/code>, Date2<\/code>, et Date3<\/code> seraient consid\u00e9r\u00e9s a priori comme des variables ind\u00e9pendantes les unes des autres.<\/p>\ntidyr<\/code>. Comme son nom l’indique, l’objectif de tidyr (prononcer \u00ab\u00a0tidyer\u00a0\u00bb,in English of course), est de proposer quelques fonctions qui permettent de r\u00e9aliser des op\u00e9rations classiques<\/strong> lorsque l’on nettoie<\/strong> et restructure<\/strong> ses jeux de donn\u00e9es. (J’ai bien dit \u00ab\u00a0classiques\u00a0\u00bb, hein… dans certains, cas, il reste utile voire indispensable de savoir un petit peu programmer…).<\/p>\nDate1<\/code>, Date2<\/code>, et Date3<\/code>, \u00e0 un jeu de donn\u00e9e avec une seule colonne Date<\/code>:<\/p>\ngather<\/code> prend en entr\u00e9e:<\/p>\n\n
data<\/code>: le jeu de donn\u00e9es d’origine,<\/li>\nkey<\/code>: le nom de la variable cat\u00e9gorielle \u00e0 cr\u00e9er, ici Date<\/code> (ses niveaux correspondront aux actuels noms de colonnes de mydata, \u00e0 l’exception des colonnes indiqu\u00e9es ici par un \u00ab\u00a0–\u00a0\u00bb ,i.e., ici, Espece<\/code> et Site<\/code>)<\/li>\nvalue<\/code>: le nom de la nouvelle variable contenant les valeurs auparavant contenues dans Date1<\/code>, Date2<\/code>, Date3<\/code><\/li>\n<\/ul>\nprint(head(mydata))\n\n## Espece Site Date1 Date2 Date3\n## 1 moineau Saint-Germain-des-Pr\u00e9s\/6\u00e8me 5 15 13\n## 2 moineau Champs-Elys\u00e9es\/8\u00e8me 1 3 11\n## 3 moineau Montmartre\/18\u00e8me 15 6 4\n## 4 moineau Buttes Chaumont\/19\u00e8me 5 10 8\n## 5 pigeon Saint-Germain-des-Pr\u00e9s\/6\u00e8me 6 21 6\n## 6 pigeon Champs-Elys\u00e9es\/8\u00e8me 20 3 9\n\nprint(head(mynewdata))\n\n## Espece Site Date Abondance\n## 1 moineau Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date1 5\n## 2 moineau Champs-Elys\u00e9es\/8\u00e8me Date1 1\n## 3 moineau Montmartre\/18\u00e8me Date1 15\n## 4 moineau Buttes Chaumont\/19\u00e8me Date1 5\n## 5 pigeon Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date1 6\n## 6 pigeon Champs-Elys\u00e9es\/8\u00e8me Date1 20\n<\/code><\/pre>\ngather<\/code> a (en quelque sorte) une fonction inverse, spread<\/code>:<\/p>\nmydataisback=spread(data=mynewdata,\n key=Date,\n value=Abondance)\nprint(head(mydataisback))\n\n## Espece Site Date1 Date2 Date3\n## 1 moineau Buttes Chaumont\/19\u00e8me 5 10 8\n## 2 moineau Champs-Elys\u00e9es\/8\u00e8me 1 3 11\n## 3 moineau Montmartre\/18\u00e8me 15 6 4\n## 4 moineau Saint-Germain-des-Pr\u00e9s\/6\u00e8me 5 15 13\n## 5 pigeon Buttes Chaumont\/19\u00e8me 2 6 10\n## 6 pigeon Champs-Elys\u00e9es\/8\u00e8me 20 3 9\n<\/code><\/pre>\nExemple: une m\u00eame colonne correspond \u00e0 plusieurs variables<\/h2>\n
Site<\/code> dans le jeu de donn\u00e9es ci-dessus) et en faire deux variables<\/strong>, \u00e0 l’aide de la fonction separate<\/code>…<\/p>\nfinaldata=separate(data=mynewdata,\n col=Site,\n into=c(\"Quartier\", \"Arrondissement\"),\n sep=\"\/\")\nprint(head(finaldata))\n\n## Espece Quartier Arrondissement Date Abondance\n## 1 moineau Saint-Germain-des-Pr\u00e9s 6\u00e8me Date1 5\n## 2 moineau Champs-Elys\u00e9es 8\u00e8me Date1 1\n## 3 moineau Montmartre 18\u00e8me Date1 15\n## 4 moineau Buttes Chaumont 19\u00e8me Date1 5\n## 5 pigeon Saint-Germain-des-Pr\u00e9s 6\u00e8me Date1 6\n## 6 pigeon Champs-Elys\u00e9es 8\u00e8me Date1 20\n<\/code><\/pre>\nseparate<\/code> prend en entr\u00e9e:<\/p>\n\n
data<\/code>: le jeu de donn\u00e9es d’origine,<\/li>\ncol<\/code>: le nom de la colonne \u00e0 s\u00e9parer en plusieurs variables<\/li>\ninto<\/code>: les noms des nouvelles variables<\/li>\n<\/ul>\nunite<\/code>:<\/p>\nbacktomynewdata=unite(finaldata,\n col=Site,\n Quartier,\n Arrondissement,\n sep=\"\/\")\nprint(head(mynewdata))\n\n## Espece Site Date Abondance\n## 1 moineau Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date1 5\n## 2 moineau Champs-Elys\u00e9es\/8\u00e8me Date1 1\n## 3 moineau Montmartre\/18\u00e8me Date1 15\n## 4 moineau Buttes Chaumont\/19\u00e8me Date1 5\n## 5 pigeon Saint-Germain-des-Pr\u00e9s\/6\u00e8me Date1 6\n## 6 pigeon Champs-Elys\u00e9es\/8\u00e8me Date1 20\n<\/code><\/pre>\n","protected":false},"excerpt":{"rendered":"