Chapitre 2 Extraction de données textuelles par web scraping

Principe: récupérer la donnée (notamment textuelle) présente sur des pages web.

Le plus souvent, il s’agit de récupérer des données sur une série de pages qui sont toutes organisées de la même manière (par exemple, données issues de pages de recette sur Marmiton, données issues de petites annonces sur Leboncoin, données correspondant à l’ensemble des équipes ou des joueurs sur un site sportif, etc.)

Utilisation du package rvest hexlogo_rvest

Pour récolter le contenu textuel d’une page web, il faut être en mesure de:

  • lire une page html dans R
  • repérer l’élément d’intérêt dans la page (connaissance basique du html, SelectorGadget)
  • parcourir l’arborescence de la page
  • sélectionner un élément de la page
  • récupérer le contenu de l’élément

2.1 Langage html

Le langage html est consitué de balises qui permettent de mettre en forme le contenu statique d’une page web.

Considérons ainsi cette page web, toute simple (ici encapsulée dans ce document):

Le code html correspondant à cette page est le suivant:

<html>
<style>
h1 {background-color: powderblue;}
.image {margin-left:50%;}
.comment{border-style:solid; background-color:LemonChiffon;}
.comment-author{font-style: italic;}
</style>
<h1> MA VIE A LA FERME </h1>
<div class="ingredients">
  <b> INGREDIENTS</b>
  <ul>
    <li> >1 cochon(s) </li>
    <li> >1 légume(s) </li>
  </ul>
</div>
<div class="right"><div class="image"><img src='images/cochon.png'>
<p> Je fais de la bouillie pour mes petits cochons.</p>
<p> Pour un cochon, pour deux cochons, pour trois cochons, pour quatre, puis pour cinq, pour six, pour sept, pour huit, pour neuf, boeuf! </p>
<b>Commentaires</b>
</div>
</div>
<div class="comment">Et pour une poule sur un mur qui picoterait du pain dur?</div>
<div class="comment-author">Emma, 22 ans, Limoges</div>
<div class="comment">Je vois que vous êtes, telle la petite poule rousse, bien aimable. Avez-vous pu compter sur l'aide du chat et du canard pour semer vos 5 grains de blé?</div>
<div class="comment-author">Michel, 56 ans, Rennes</div>
</html>

2.2 Lire une page html

Lire la page html dans R: on obtient

library(rvest)
html=xml2::read_html("data/blog_de_ginette.htm", encoding="UTF-8")
html
## {xml_document}
## <html>
## [1] <head>\n<meta http-equiv="Content-Type" content="text/html; charset= ...
## [2] <body>\n<h1> MA VIE A LA FERME </h1>\r\n<div class="ingredients">\r\ ...

2.3 Extraire certains éléments d’une page html

Extraire certains éléments (des “nodes” ou “nodesets”):

rvest::html_nodes(html,"b")
## {xml_nodeset (2)}
## [1] <b> INGREDIENTS</b>
## [2] <b>Commentaires</b>
rvest::html_nodes(html,".comment-author") 
## {xml_nodeset (2)}
## [1] <div class="comment-author">Emma, 22 ans, Limoges</div>
## [2] <div class="comment-author">Michel, 56 ans, Rennes</div>
rvest::html_nodes(html,".ingredients") %>% 
  rvest::html_children()
## {xml_nodeset (2)}
## [1] <b> INGREDIENTS</b>
## [2] <ul>\n<li> &gt;1 cochon(s) </li>\r\n    <li> &gt;1 légume(s) </li>\r ...

2.3.1 Extraire le type de certains éléments

Extraire le type des nodes ou nodesets:

rvest::html_nodes(html,".image") %>% 
  rvest::html_name()
## [1] "div"

2.3.2 Extraire le contenu de certains éléments

Extraire le contenu des nodes ou nodesets:

rvest::html_nodes(html,"b") %>% 
  rvest::html_text() 
## [1] " INGREDIENTS" "Commentaires"

2.3.3 Extraire les attributs de certains éléments

Extraire les attributs des nodes ou nodesets:

rvest::html_nodes(html,"div") %>% 
  rvest::html_attrs()
## [[1]]
##         class 
## "ingredients" 
## 
## [[2]]
##   class 
## "right" 
## 
## [[3]]
##   class 
## "image" 
## 
## [[4]]
##     class 
## "comment" 
## 
## [[5]]
##            class 
## "comment-author" 
## 
## [[6]]
##     class 
## "comment" 
## 
## [[7]]
##            class 
## "comment-author"

2.4 Passage au format rectangulaire, et mise en fonction

On extrait les données et on les met sous forme de table:

page <- "data/blog_de_ginette.htm"
html <- xml2::read_html(page, encoding="UTF-8")
texte <- html %>%
  rvest::html_nodes(".comment") %>%
  html_text()
auteur <- html %>%
  rvest::html_nodes(".comment-author") %>%
  html_text()
tib_commentaires <- tibble::tibble(texte,auteur)
tib_commentaires
## # A tibble: 2 x 2
##   texte                                                  auteur           
##   <chr>                                                  <chr>            
## 1 Et pour une poule sur un mur qui picoterait du pain d~ Emma, 22 ans, Li~
## 2 Je vois que vous êtes, telle la petite poule rousse, ~ Michel, 56 ans, ~

On peut en fait écrire une fonction qui prendrait pour entrée l’url de la page considérée et nous renverrait ce même tableau en sortie:

extrait_commentaires <- function(page){
  html <- xml2::read_html(page, encoding="UTF-8")
  texte <- html %>%
    rvest::html_nodes(".comment") %>%
    html_text()
  auteur <- html %>%
    rvest::html_nodes(".comment-author") %>%
    html_text()
  tib_commentaires <- tibble::tibble(doc=rep(page,length(texte)),
                                     texte,
                                     auteur)
  return(tib_commentaires)
}

extrait_commentaires("data/blog_de_ginette.htm")
## # A tibble: 2 x 3
##   doc             texte                                     auteur        
##   <chr>           <chr>                                     <chr>         
## 1 data/blog_de_g~ Et pour une poule sur un mur qui picoter~ Emma, 22 ans,~
## 2 data/blog_de_g~ Je vois que vous êtes, telle la petite p~ Michel, 56 an~
extrait_commentaires("data/blog_de_jean-marc.htm")
## # A tibble: 6 x 3
##   doc             texte                               auteur              
##   <chr>           <chr>                               <chr>               
## 1 data/blog_de_j~ Les thons, avec un t comme crocodi~ "Eddie, 76 ans, Sai~
## 2 data/blog_de_j~ Pourquoi ces thons ne préféraient-~ Yves, 40 ans, Lyon  
## 3 data/blog_de_j~ Tout ça me fait penser au blog de ~ Roberta, 18 ans, Co~
## 4 data/blog_de_j~ Je préfère la chanson qui parle de~ Eduardo, 29 ans, Fe~
## 5 data/blog_de_j~ On ne comprend pas trop cette pass~ Lise, 35 ans, Lyon  
## 6 data/blog_de_j~ Et pendant ce temps-là, le roi des~ Nadia, 43 ans, Lisi~

2.5 Itération

Imaginons maintenant qu’on ne traite pas seulement du blog de Ginette, mais aussi de tout un tas d’autres pages structurées de la même façon.

Ici, on va supposer simplement qu’on a 3 pages structurées de la même manière:

On dispose maintenant de la fonction extrait_commentaires() qui prend pour entrée le nom de la page html, et renvoie en sortie un tableau relatif aux commentaires sur la page. On voudrait appliquer cette fonction, de manière itérative à l’ensemble des pages html qui nous intéressent.

Le package purrr permet d’appliquer une fonction à différents éléments d’une liste ou d’un vecteur, de manière itérative (…il est évidemment possible de réaliser la même opération à l’aide d’une boucle for…).

pages=c("data/blog_de_ginette.htm",
        "data/blog_de_jean-marc.htm",
        "data/blog_de_norbert.htm")

list_commentaires <- purrr::map(pages, extrait_commentaires)
list_commentaires
## [[1]]
## # A tibble: 2 x 3
##   doc             texte                                     auteur        
##   <chr>           <chr>                                     <chr>         
## 1 data/blog_de_g~ Et pour une poule sur un mur qui picoter~ Emma, 22 ans,~
## 2 data/blog_de_g~ Je vois que vous êtes, telle la petite p~ Michel, 56 an~
## 
## [[2]]
## # A tibble: 6 x 3
##   doc             texte                               auteur              
##   <chr>           <chr>                               <chr>               
## 1 data/blog_de_j~ Les thons, avec un t comme crocodi~ "Eddie, 76 ans, Sai~
## 2 data/blog_de_j~ Pourquoi ces thons ne préféraient-~ Yves, 40 ans, Lyon  
## 3 data/blog_de_j~ Tout ça me fait penser au blog de ~ Roberta, 18 ans, Co~
## 4 data/blog_de_j~ Je préfère la chanson qui parle de~ Eduardo, 29 ans, Fe~
## 5 data/blog_de_j~ On ne comprend pas trop cette pass~ Lise, 35 ans, Lyon  
## 6 data/blog_de_j~ Et pendant ce temps-là, le roi des~ Nadia, 43 ans, Lisi~
## 
## [[3]]
## # A tibble: 4 x 3
##   doc            texte                               auteur               
##   <chr>          <chr>                               <chr>                
## 1 data/blog_de_~ A quel moment faut-il claquer du b~ Jonas, 37 ans, Stras~
## 2 data/blog_de_~ Norbert, mon petit chat, ça fait b~ Julie, 34 ans, Saint~
## 3 data/blog_de_~ L'ambiance doit être sympa quand l~ Mickaël, 23 ans, Glos
## 4 data/blog_de_~ Vous devez avoir un grain pour écr~ Viviane, 58 ans, Ser~
tibtot_commentaires <- list_commentaires %>%
  dplyr::bind_rows()
tibtot_commentaires
## # A tibble: 12 x 3
##    doc             texte                             auteur               
##    <chr>           <chr>                             <chr>                
##  1 data/blog_de_g~ Et pour une poule sur un mur qui~ Emma, 22 ans, Limoges
##  2 data/blog_de_g~ Je vois que vous êtes, telle la ~ Michel, 56 ans, Renn~
##  3 data/blog_de_j~ Les thons, avec un t comme croco~ "Eddie, 76 ans, Sain~
##  4 data/blog_de_j~ Pourquoi ces thons ne préféraien~ Yves, 40 ans, Lyon   
##  5 data/blog_de_j~ Tout ça me fait penser au blog d~ Roberta, 18 ans, Col~
##  6 data/blog_de_j~ Je préfère la chanson qui parle ~ Eduardo, 29 ans, Fer~
##  7 data/blog_de_j~ On ne comprend pas trop cette pa~ Lise, 35 ans, Lyon   
##  8 data/blog_de_j~ Et pendant ce temps-là, le roi d~ Nadia, 43 ans, Lisie~
##  9 data/blog_de_n~ A quel moment faut-il claquer du~ Jonas, 37 ans, Stras~
## 10 data/blog_de_n~ Norbert, mon petit chat, ça fait~ Julie, 34 ans, Saint~
## 11 data/blog_de_n~ L'ambiance doit être sympa quand~ Mickaël, 23 ans, Glos
## 12 data/blog_de_n~ Vous devez avoir un grain pour é~ Viviane, 58 ans, Ser~