Travailler avec des textes:

De la donnée brute à la visualisation

L. Vaudor, ISIG, UMR 5600-EVS

Rencontres R 2018

De la donnée textuelle “brute”… comme quoi?

Donnée textuelle en langage “contraint”:

adresses
noms
chemins de fichiers, liens
etc.

Donnée textuelle en “langage naturel”:

oeuvres littéraires
enquêtes, entretiens
journaux
sites web
données réseaux sociaux (Twitter, Facebook, etc.) etc.

Import dans R de données textuelles

Du texte sur support physique au texte numérisé

transcription d’un enregistrement audio en un texte sur support numérique (Speech Recognition API, HP IDOL : API client transcribeR)
OCRisation de l’image (numérique) du support au texte sur support numérique (Tesseract OCR engine in R vignette

Du support numérisé à R

import de tables
import de corpus (notamment, si traitement par ailleurs par des logiciels dédiés)
interrogation d’APIs
web-scraping

APIs

Recueil de données de certains sites ou réseaux sociaux via les APIs + APIs clients…

Recueillir de la donnée textuelle:

Wikipedia => package wikipediR
Twitter => rtweet

Traiter de la donnée textuelle:

Google Translate => package googleLanguageR
=> géocodage via OpenStreetMap => package ggmap

Programme

Introduction
Partie 1: Collecte de données textuelles par web scraping
EXOS
Partie 2: Nettoyage et manipulation de chaînes de caractère
EXOS
Partie 3: Traitement du langage naturel
EXOS
Partie 4: Visualisation
EXOS

Parti pris

dplyr: manip de tableaux
ggplot2: graphiques
stringr: strings
purrr: itération

rvest: web scraping
tidytext+widyr: langage naturel
proustr: langage naturel en français
wordcloud: nuages de mots
ggraph: graphes

Supports

Le cours (quatre parties indépendantes).

(http://perso.ens-lyon.fr/lise.vaudor/tuto-texte/)

La mise en application: projet Marmiton

exos sur Datacamp, ici (https://www.datacamp.com/courses/textr) en quatre parties indépendantes
corrigé complet du projet Marmiton, ici: (https://github.com/lvaudor/tuto_texte_Marmiton/)