Explorer un jeu de données avec describe() (EDA)

Médiane, quantile et quartile — Pandas et .describe()

Points clés de cette vidéo

.describe() calcule d'un coup les statistiques descriptives clés d'une colonne : moyenne, écart-type, min, max, quartiles
L'Analyse Exploratoire des Données (EDA) est l'étape où l'on explore ces statistiques avant toute modélisation, pour repérer anomalies et tendances
Une moyenne très différente de la médiane est souvent le signe d'une distribution asymétrique ou de valeurs extrêmes

Transcription de la vidéo

précédente je vous ai je vous ai expliqué enfin j'ai terminé la vidéo on vous expliquant que je préférais pour tout ce qui est histoire de de quartile quand il de travailler avec pandas donc on va pas on va on va descendre directement avec Panda ça va toujours utiliser la même liste qui est la liste valeurs mais je pourrais le faire j'aurais pu faire exactement sur sur ma liste salaire ça fonctionne exactement de la même manière mais ça ça vous l'ayez vous l'avez bien sûr compris ici en fait pourquoi j'utilise panasme on a vu qu'on avait avec même pas on a une erreur là pourquoi parce que quand je crée un objet donc en fonction d'une liste de valeur avec même pas et ben je peux appliquer des méthodes mais dans un monde très limité et je peux je peux lui demander d'aller chercher la médiane par exemple je peux lui demander d'aller chercher la variance je peux lui demander d'aller chercher les quartiers mais quand je vais lui demander d'aller chercher le Cantile et ben il sera pas capable de le faire il y a pas une méthode directement applicable sur un objet on peut le faire avec même pas hein mais pas pas dans cette pas dans cette version là en créant un objet et vous allez voir au fur et à mesure la vidéo pourquoi c'est important de de créer des objets et par contre on voit qu'on peut le faire avec pandas donc je vais le refaire et je vais aller un petit peu plus loin donc en gros je crée un objet qui s'appelle serre pour série je vais lui dire je vais appeler panda je vais lui dire que je vais créer donc je me répète mais c'est pour montrer à quel point c'est simple donc je vais créer je vais lui appeler je vais appeler une méthode qui s'appelle Serris pour dire je vais créer un objet de type série en fonction de ma liste qui s'appelle valeur je vais maintenant exécuter pour voir à quoi ça ressemble donc j'ai ça et maintenant ici je peux lui appliquer je peux lui appliquer des méthodes et maintenant alors comme je vous ai dit que en data challenge on utilise beaucoup les quartiers et ben alors je vais aller chercher le le quand il à 25% donc qui est le premier quartile il va me dire que c'est 35 si je veux le deuxième quartile et ben je mets 50 il va me dire que c'est que la valeur vaut 60 et on sait maintenant que le quand il a 50 % le quand il a 50 % ici c'est la médiane donc si je mets si je mets médiane ici et ben je vais avoir la même valeur mais ça je l'ai déjà montré et si je veux le troisième quartile et bien ici je me mets à 75 j'exécute et la valeur du troisième quartile c'est 85 alors là on voit que c'est un petit peu fastidieux si je voulais maintenant connaître les les trois quartiers premier quartile deuxième quartier le troisième quartile il leur aurait fallu alors que je lance sorc quand il a 25 ensuite S3 quand il a 50 ou alors sor médiane pour avoir le deuxième quartier et ensuite pour avoir le troisième quartile il aurait fallu lancer une troisième ligne de code ser. quand il 75 mais en fait il y a plus simple à faire avec pandas ce qu'il y a une méthode qui existe et qui s'appelle misscribe et je vais l'exécuter et en fait qu'est-ce que c'est cette méthode discord et ben en fait il va me il va me sortir les les indicateurs les plus usuels en statistique descriptive et c'est tout ce qu'on a vu dans dans les vidéos depuis le début et donc c'est quelque chose qui est qui est très utile alors qu'est-ce qui va me faire la première chose qui va me montrer c'est quand il va compter le nombre de valeurs il va me dire qu'il y en a 11 et bah pourquoi parce qu'il y a 11 valeur en fait dans mon set ensuite il va me montrer mine mine c'est la moyenne il va me dire que la moyenne est à 60 ensuite il va me mettre STD qui est qui est pour standard des vieilles chaînes parce que c'est la l'écart-type il va me dire que l'écart-type il est à ça ensuite il va me dire là il va me sortir la valeur minimum il va dire que la valeur minimum est à 10 il va me dire la valeur maximum est à 110 donc c'est ici indice et 110 il va me dire que le premier quartile donc à 25% il vaut 35 il va me dire que le deuxième quartile à 50% il est à 60 et il va me dire que le troisième quartile 75 il est à 85% en gros il me sort avec discret il me sort toutes les valeurs les plus utilisées en statistique descriptives toutes celles que j'ai montré depuis le début de mes vidéos elles sont en résumées ici en une méthode c'est pour ça que panda c'est utile pour ça on pourrait être tenté de dire que il a oublié une seule chose c'est la médiane puisqu'on voit pas ici médiane mais maintenant vous comprenez pourquoi la médiane n'est pas ici elle y est en fait elle est là pourquoi parce que la médiane c'est la valeur à 50%. et donc ici on a donc cette méthode discret je vais juste terminer avec cette méthode là dans une dans une prochaine vidéo et ensuite je vais je vais vraiment revenir sur sur la 25 50 et 75 et je vais vous montrer pourquoi on l'utilise ça en data science

Médiane, quantile et quartile — Pandas et .describe()

Discussion