Textométrie

Manipulation de tableaux

Corpus wp_flood_words

Dans la suite de cet ouvrage, nous considérerons un nouveau vrai corpus de textes correspondant à l’ensemble des communiqués de presse du Ministère de la Transition écologique et de la Cohésion des territoires mis en ligne ici.

Considérons les tables suivantes, qui résultent d’un travail de récupération (par web scraping), nettoyage, tokenisation, lemmatisation de ce corpus :

Contenu lexical

Ici, on repart du tableau wp_flood_words.

On pourrait être amené à

• calculer la fréquence des mots
• calculer la fréquence des mots pour différentes parties du corpus
• ne garder que les \(n\) mots les plus fréquents
• etc.

Fréquences d’occurrence

Le descripteur le plus basique que l’on puisse fournir concernant les lemmes est leur fréquence. On la calcule très simplement à l’aide des fonctions de dplyr:

freq_lemmes <- wp_flood_words %>%
  group_by(lemma) %>% 
  summarise(freq=n()) %>% 
  arrange(desc(freq)) %>% 
  na.omit()
head(freq_lemmes)

Bon. La version ci-dessus est la “version longue”, faite pour remobiliser les verbes de base de dplyr. Full disclosure: il existe une version raccourcie:

freq_lemmes=wp_flood_words %>% 
  count(lemma, sort=TRUE)
head(freq_lemmes)

Table lexicale

Si l’on veut caractériser les fréquences de termes non pas dans l’absolu (dans le corpus entier) mais selon une partition du corpus on peut calculer la table lexicale:

tib_lex=table(wp_flood_words$lemma,wp_flood_words$flood)
dim(tib_lex)

[1] 9221  285

tib_lex[1:5,1:5]

             
              wd:Q100293305 wd:Q10310765 wd:Q1033970
  aba                     0            0           0
  abandon                 0            0           0
  abandonment             0            1           0
  abate                   0            0           0
  abbe                    0            0           0
             
              wd:Q103821287 wd:Q10436112
  aba                     0            0
  abandon                 0            0
  abandonment             0            0
  abate                   0            0
  abbe                    0            0

Ici la table lexicale porte sur l’ensemble des lemmes elle a donc pour dimension 8453 lignes (le nombre de lemme distincts) x 4 colonnes (le nombre de ministres).

Table lexicale “longue”

La table lexicale ci-dessus permet ainsi de visualiser les effectifs croisés lemma * événement d’inondation. Cependant, pour toute analyse ultérieure de ces effectifs mieux vaut s’en tenir à une mise en forme “tidy” longue:

tib_lex_long=wp_flood_words %>% 
  group_by(lemma,flood,flood_label) %>% 
  summarise(n=n())
head(tib_lex_long)

Co-occurrences, corrélations

Si l’on s’intéresse non plus seulement à la fréquence individuelle des termes mais qu’on cherche à caractériser les termes qui sont souvent employés ensemble (au sein d’un même document par exemple) on peut utiliser les fonctions du package widyr.

Considérons une paire de mots: motA et motB. - mot:T (pour TRUE) correspond à l’apparition du mot - mot:F (pour FALSE) correspond à la non-apparition du mot - \(N_{A=x,B=y}\) correspond à un effectif croisé des cas où motA:x (T ou F) et motB:y (T ou F)

La fréquence de cooccurrence d’une paire mots correspond ainsi au nombre de fois où ces deux mots apparaissent dans une même entité (ci-dessous, le “doc”). En se référant au tableau ci-dessus, il s’agirait de \(N_{TT}\)

Co-occurrences

Pour calculer les cooccurences et corrélations (un processus assez calculatoire) je vais d’abord filtrer tib_lemmes pour ne garder que les mots ayant une fréquence d’occurrence haute…

tib_lemmes_light <- wp_flood_words %>%
  group_by(lemma) %>% 
  mutate(n=n()) %>% 
  filter(n>2000) %>% 
  ungroup()

On utilise le package widyr pour calculer les effectifs croisés:

mots_cooc <- tib_lemmes_light %>% 
  widyr::pairwise_count(lemma,feature=flood,sort=TRUE)

head(mots_cooc)

Corrélation

La corrélation, quant à elle, correspond à :

\[Cor=\frac{N_{TT}N_{FF}-N_{TF}N_{FT}}{\sqrt{N_{T.}N_{F.}N_{.F}N_{.T}}}\]

mots_cors <- tib_lemmes_light %>% 
  widyr::pairwise_cor(lemma,flood,sort=TRUE)
head(mots_cors)

TF-IDF

Le \(TF-IDF\) (pour “term frequency-inverse document frequency”) est une métrique qui reflète l’importance relative d’un mot dans un document.

Le \(TF-IDF\) se calcule comme le produit \(TF*IDF\). La multiplication par \(IDF\) sert notamment à minimiser la valeur de \(TF-IDF\) pour les termes les plus fréquents, qu’on suppose peu discriminants.

TF-IDF

tib_tfidf <- wp_flood_words %>% 
  count(flood,lemma) %>% 
  tidytext::bind_tf_idf(lemma,flood,n) %>% 
  arrange(desc(tf_idf))

head(tib_tfidf, n=30)

Spécificités

Le package textometry comprend une fonction qui permet de calculer des scores de spécificité. Le but de ce score est (comme pour le TF-IDF) d’identifier les termes spécifiques à une partie du corpus.

Le modèle probabiliste associé à cet indice est expliqué [ici] (https://txm.sourceforge.net/doc/manual/0.7.9/fr/manual59.xhtml). On peut expliquer ce modèle à travers l’image de boules et d’urnes (oui oui, comme quand on fait des probabilités au lycée…).

Spécificités

Spécificités

Spécificités

#pr(X>=3)=1-pr(X<2)
1-phyper(q=2,m=4,n=32-4,k=11)

[1] 0.1055339

Spécificités

Spécificités

tib_spec <- mixr::tidy_specificities(wp_flood_words,
                                     lemma,
                                     flood)
head(tib_spec)