![\"plot](\"..\/..\/lise.vaudor\/Rfigures\/Regression_lineaire_Erreur_1\/Lise_Vaudor_headband.png\")
<\/p>\n<\/p>\n
Dans ce billet, je souhaite montrer comment estimer l’incertitude<\/strong> associ\u00e9e \u00e0 l’estimation des param\u00e8tres<\/strong> (pente et ordonn\u00e9e \u00e0 l’origine) d’un mod\u00e8le de r\u00e9gression lin\u00e9aire simple<\/strong>. Pour ce faire, je vais:<\/p>\n Consid\u00e9rons un mod\u00e8le de r\u00e9gression simple<\/strong>:<\/p>\n o\u00f9:<\/p>\n Le mod\u00e8le de r\u00e9gression simple repose sur une hypoth\u00e8se de distribution normale<\/strong> pour l’erreur r\u00e9siduelle E<\/em>r<\/em><\/sub>:<\/p>\n Consid\u00e9rons un jeu de donn\u00e9es d’exemple. Pour \u00eatre s\u00fbre que ces donn\u00e9es suivent une loi de r\u00e9gression, et pour connaitre exactement les vrais param\u00e8tres de cette loi, je vais en fait les simuler<\/strong>:<\/p>\n Je sais donc exactement comment X<\/em> et Y<\/em> ont \u00e9t\u00e9 g\u00e9n\u00e9r\u00e9es, et quelles sont les valeurs r\u00e9elles<\/strong> des param\u00e8tres de la loi de r\u00e9gression…<\/p>\n Cependant, je vais maintenant faire comme si je n’en savais rien<\/strong>, afin de pouvoir, in fine<\/em>, comparer les valeurs estim\u00e9es<\/strong> des param\u00e8tres \u00e0 leurs vraies valeurs<\/strong>.<\/p>\n Voici comment ajuster un mod\u00e8le de r\u00e9gression simple sous R (et estimer<\/strong> les valeurs de param\u00e8tres):<\/p>\n On obtient bien des estimations<\/strong> de a<\/em> et b<\/em> proches quoique diff\u00e9rentes des valeurs r\u00e9elles<\/strong> du fait du hasard d’\u00e9chantillonnage<\/strong>.<\/p>\n Voici comment se calcule analytiquement<\/strong> l’incertitude autour de param\u00e8tre de pente:<\/p>\n Soit A<\/em> la variable al\u00e9atoire correspondant \u00e0 la valeur de pente estim\u00e9e. La valeur observ\u00e9e de A<\/em> est a<\/em>.<\/p>\n La variance de A est:<\/p>\n Par ailleurs, si l’on d\u00e9finit la variable al\u00e9atoire<\/p>\n alors T suit une loi de Student \u00e0 \u03bd<\/em>\u2004=\u2004n<\/em>\u2005\u2212\u20052 ddl.<\/p>\n On peut donc calculer un intervalle de confiance d’ordre 1\u2005\u2212\u2005\u03b1<\/em> pour la pente:<\/p>\n Le principe de ce calcul est en quelque sorte le suivant: \u00e0 partir des hypoth\u00e8ses du mod\u00e8le<\/strong>, on est en mesure de pr\u00e9dire (par un raisonnement math\u00e9matique) comment la la variable al\u00e9atoire correspondant \u00e0 la pente estim\u00e9e<\/strong> se distribue autour de la pente r\u00e9elle<\/strong>. C’est \u00e0 partir de cette distribution que l’on peut proposer un intervalle de confiance<\/strong> pour la valeur de pente.<\/p>\n V\u00e9rifions ci-apr\u00e8s le calcul de la variance de A en tirant 1000 fois au hasard une variable E<\/em>r<\/em><\/sub> conforme au mod\u00e8le:<\/p>\n V\u00e9rifions que la variable T<\/em> suit bien une loi de Student \u00e0 n<\/em>\u2005\u2212\u20052 degr\u00e9s de libert\u00e9:<\/p>\n Calculons alors l’intervalle de confiance pour \u03b1<\/em>\u2004=\u20040.05:<\/p>\n Comparons ce r\u00e9sultat \u00e0 celui renvoy\u00e9 par la fonction Le r\u00e9sultat est bien le m\u00eame… \u00e0 quelques diff\u00e9rences d’arrondi et de calcul de variance pr\u00e8s… Ouf!<\/p>\n Vous constatez ici qu’il est bien plus simple d’obtenir ce r\u00e9sultat sous R en utilisant les fonctions disponibles, que de le calculer \u00e0 la main (et encore bien plus que de comprendre d’o\u00f9 il sort, quand on n’a pas les bases en maths pour \u00e7a!). C’est \u00e0 la fois la force et la faiblesse de R… ses fonctions vous facilitent la vie en vous procurant des r\u00e9sultats simplement… mais encore faut-il \u00eatre bien s\u00fbr de comprendre de quoi il retourne pour ne pas faire des erreurs d’interpr\u00e9tation.<\/p>\n Int\u00e9ressons-nous maintenant au deuxi\u00e8me param\u00e8tre de la r\u00e9gression, celui correspondant \u00e0 l’ordonn\u00e9e \u00e0 l’origine<\/strong>.<\/p>\n Voici comment calculer analytiquement<\/strong> l’incertitude autour de ce param\u00e8tre (on retrouve exactement le m\u00eame type de raisonnement que pour la pente):<\/p>\n Soit B<\/em> la variable al\u00e9atoire correspondant \u00e0 la valeur d’ordonn\u00e9e \u00e0 l’origine estim\u00e9e. La valeur observ\u00e9e de B<\/em> est b<\/em>.<\/p>\n La variance de B est:<\/p>\n Par ailleurs, si l’on d\u00e9finit la variable al\u00e9atoire<\/p>\n alors T suit une loi de Student \u00e0 \u03bd<\/em>\u2004=\u2004n<\/em>\u2005\u2212\u20052 ddl.<\/p>\n On peut donc calculer un intervalle de confiance d’ordre 1\u2005\u2212\u2005\u03b1<\/em> pour la pente:<\/p>\n La fa\u00e7on de calculer cet intervalle de confiance \u00e0 la main et de l’illustrer par des simulations \u00e9tant extr\u00eamement proche des m\u00e9thodes que nous avons utilis\u00e9es pour la pente, je vous en fais gr\u00e2ce… (et je vous demande donc de me croire sur parole quant \u00e0 la formule analytique…). Par ailleurs, nous avons d\u00e9j\u00e0 \u00e9voqu\u00e9 la fonction Voici comment l’on pourrait repr\u00e9senter graphiquement<\/strong> les intervalles de confiance<\/strong> autour de la pente et de l’ordonn\u00e9e \u00e0 l’origine du mod\u00e8le de r\u00e9gression:<\/p>\n On est donc en mesure de repr\u00e9senter l’incertitude sur a<\/em> (sous r\u00e9serve que l’estimation de b<\/em> soit correcte)<\/strong>, et l’incertitude sur b<\/em> (sous r\u00e9serve que l’estimation de a<\/em> soit correcte<\/strong>.<\/p>\n Mais, me direz-vous, comment combiner ces deux incertitudes pour repr\u00e9senter l’incertitude sur l’emplacement de la droite de r\u00e9gression<\/strong>, dans son ensemble?<\/p>\n Eh bien, on ne peut pas les combiner \u00ab\u00a0directement\u00a0\u00bb: il s’agit en fait d’un autre r\u00e9sultat analytique (eh oui!), puisqu’on cherche \u00e0 estimer un intervalle de confiance non pas autour de la pente a<\/em>, ou de l’ordonn\u00e9e \u00e0 l’origine b<\/em>, mais un autour d’un point de la droite<\/strong> Y\u2004=\u2004aX\u2005+\u2005b<\/em><\/p>\n Pour consulter et comprendre le r\u00e9sultat analytique, vous pouvez par exemple consulter ce document<\/a> issu des cours de statistiques de l’\u00e9cole des Mines de Nancy.<\/p>\n En pratique, voici la mani\u00e8re de calculer cet intervalle de confiance en utilisant les fonctions disponibles sous R:<\/p>\n Dans ce billet, je souhaite montrer comment estimer l’incertitude associ\u00e9e \u00e0 l’estimation des param\u00e8tres (pente et ordonn\u00e9e \u00e0 l’origine) d’un mod\u00e8le de r\u00e9gression lin\u00e9aire simple. Pour ce faire, je vais: montrer comment le calcul d’incertitude d\u00e9rive de r\u00e9sultats analytiques (i.e. d’\u00e9quations qui permettent, si on le souhaite, de calculer l’incertitude \u00ab\u00a0\u00e0 la main\u00a0\u00bb), fournir les lignes de code permettant de calculer (et repr\u00e9senter) ce m\u00eame r\u00e9sultat sous R, illustrer (pour.. Read More<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-296","post","type-post","status-publish","format-standard","hentry","category-tous-les-posts"],"_links":{"self":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/296","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/comments?post=296"}],"version-history":[{"count":23,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/296\/revisions"}],"predecessor-version":[{"id":319,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/posts\/296\/revisions\/319"}],"wp:attachment":[{"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/media?parent=296"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/categories?post=296"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/perso.ens-lyon.fr\/lise.vaudor\/wp-json\/wp\/v2\/tags?post=296"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\n
La r\u00e9gression lin\u00e9aire simple: mod\u00e8le, ajustement du mod\u00e8le<\/h2>\n
$$Y=aX + b + E_r$$\n<\/code><\/pre>\n\n
$$E_r \\sim \\mathcal{N}(0,\\sigma_r)$$\n<\/code><\/pre>\nn=15 # taille de l'\u00e9chantillon\nsigma_x=4.56 # variabilit\u00e9 de X\nsigma_r=2.67 # variabilit\u00e9 des r\u00e9sidus\na=3.44 # param\u00e8tre \"vrai\" de pente\nb=1.33 # param\u00e8tre \"vrai\" d'ordonn\u00e9ee \u00e0 l'origine\n\n## Simulation de valeurs pour X:\nX=rnorm(n,3,sigma_x)\n## Simulation de valeurs pour l'erreur r\u00e9siduelle:\nE_r=rnorm(n,0,sigma_r)\n## Simulation de valeurs pour Y:\nY=a*X+b+E_r\n<\/code><\/pre>\nreg=lm(Y~X)\na_est=reg$coeff[[2]] \nb_est=reg$coeff[[1]]\n\nprint(c(a,a_est))\n\n## [1] 3.440 3.423\n\nprint(c(b,b_est))\n\n## [1] 1.33 1.44\n<\/code><\/pre>\nplot(X,Y)\nabline(b,a, col=\"red\", lwd=2)\nabline(b_est,a_est,col=\"blue\", lwd=2)\nlegend(\"topleft\",\n c(\"valeurs r\u00e9elles des param\u00e8tres\", \"valeurs estim\u00e9es des param\u00e8tres\"), \n col=c(\"red\",\"blue\"),\n lwd=2)\n<\/code><\/pre>\n![\"plot](\"..\/..\/lise.vaudor\/Rfigures\/Regression_lineaire_Erreur_1\/regression_estimee_vs_reelle.png\")
<\/p>\nIncertitude autour du param\u00e8tre de pente, a<\/em><\/h2>\n
Calcul analytique<\/h1>\n
$$s_a^2=\\frac{s_r^2}{n \\sigma_x^2}$$\n<\/code><\/pre>\n $$T=\\frac{a-A}{s_a}$$\n<\/code><\/pre>\n $$IC=[a-t_{1-\\alpha\/2}s_a, a + t_{1-\\alpha\/2}s_a]$$\n<\/code><\/pre>\nV\u00e9rification par simulations<\/h1>\n
# Variance r\u00e9elle de A\ns_a=sqrt((sigma_r^2)\/(n*sigma_x^2))\nprint(s_a)\n\n## [1] 0.1512\n\n# Variance estim\u00e9e de A\ns_a_est=sqrt((sd(reg$residuals)^2)\/((n-1)*sd(X)^2))\nprint(s_a_est)\n\n## [1] 0.1533\n\ns_a_est=sqrt(((sd(reg$residuals)*((n-1)\/n))^2)\/(n*(sd(X)*((n-1)\/n))^2))\nprint(s_a_est)\n\n## [1] 0.1481\n\n# Variance de A illustr\u00e9e par des simulations\nv_A=rep(NA,1000)\nfor (i in 1:1000){\n E=rnorm(n,0,sigma_r)\n Y=a*X+b+E\n mylm_tmp=lm(Y~X)\n v_A[i]=mylm_tmp$coeff[2]\n}\ns_a_sim=sd(v_A) \nprint(s_a_sim)\n\n## [1] 0.1551\n<\/code><\/pre>\nT_obs=(a-v_A)\/s_a_sim\nhist(T_obs, col=\"blue\", freq=F, main=\"distribution de T\", breaks=20)\n# Distribution th\u00e9orique de la variable T:\nT_theo=pt(seq(-10,10,by=0.1),df=n-2)\nT_theo=diff(T_theo)\/0.1\npoints(seq(-9.95,9.95,by=0.1),T_theo, type=\"l\", col=\"red\", lwd=2)\n<\/code><\/pre>\n![\"plot](\"..\/..\/lise.vaudor\/Rfigures\/Regression_lineaire_Erreur_1\/pente_Student.png\")
<\/p>\nIC_a_inf=a_est-qt(0.975,n-2)*s_a_est\nIC_a_sup=a_est+qt(0.975,n-2)*s_a_est\nprint(c(IC_a_inf,IC_a_sup))\n\n## [1] 3.103 3.743\n<\/code><\/pre>\nconfint<\/code> de R, fonction \u00ab\u00a0cl\u00e9s en main\u00a0\u00bb pour le calcul des intervalles de confiance autour des param\u00e8tres de r\u00e9gression:<\/p>\nconfint(reg)\n\n## 2.5 % 97.5 %\n## (Intercept) -0.4405 3.321\n## X 3.0793 3.766\n<\/code><\/pre>\nIncertitude autour du param\u00e8tre d’ordonn\u00e9e \u00e0 l’origine, b<\/em><\/h2>\n
Calcul analytique<\/h1>\n
$$s_b^2=s_r^2\\left(\\frac{1}{n}+\\frac{\\bar(x)^2}{n \\sigma_x^2}\\right)$$\n<\/code><\/pre>\n $$T=\\frac{b-B}{s_b}$$\n<\/code><\/pre>\n $$IC=[b-t_{1-\\alpha\/2}s_b, b + t_{1-\\alpha\/2}s_b]$$\n<\/code><\/pre>\nconfint<\/code> qui permet de calculer cet intervalle de confiance sous R.<\/p>\nRepr\u00e9sentation des incertitudes sur le graphe<\/h2>\n
layout(1:2)\nplot(X,Y, main=\"incertitude sur la pente\")\nabline(reg$coeff, lwd=2, col=\"red\")\nIC_a=confint(reg)[2,]\nabline(b_est,IC_a[1], col=\"blue\")\nabline(b_est,IC_a[2], col=\"blue\")\n\nplot(X,Y, main=\"incertitude sur l'ordonn\u00e9e \u00e0 l'origine\")\nabline(reg$coeff, lwd=2, col=\"red\")\nIC_b=confint(reg)[1,]\nabline(IC_b[1],a_est, col=\"blue\")\nabline(IC_b[2],a_est, col=\"blue\")\n<\/code><\/pre>\n![\"plot](\"..\/..\/lise.vaudor\/Rfigures\/Regression_lineaire_Erreur_1\/intervalles_de_confiance_parametres_regression.png\")
<\/p>\nplot(X,Y)\nabline(reg,col=\"red\")\nnewX=seq(from=min(X), to=max(X), length.out=100)\nprd<-predict(reg,newdata=data.frame(X=newX),interval = c(\"confidence\"), \nlevel = 0.90,type=\"response\")\nlines(newX,prd[,2],col=\"blue\",lty=2)\nlines(newX,prd[,3],col=\"blue\",lty=2)\n<\/code><\/pre>\n![\"plot](\"..\/..\/lise.vaudor\/Rfigures\/Regression_lineaire_Erreur_1\/intervalle_de_confiance_autour_droite_regression.png\")
<\/p>\n","protected":false},"excerpt":{"rendered":"