Traiter les valeurs manquantes (dropna / fillna)

pandas — valeurs manquantes

Points clés de cette vidéo

.dropna() supprime les lignes (ou valeurs) manquantes (NaN) d'une Series ou d'un DataFrame
.fillna(valeur) remplace les valeurs manquantes par une valeur donnée, sans supprimer de ligne
Le choix entre les deux dépend du sens métier — supprimer perd de l'information, remplacer peut fausser une moyenne si mal choisi

Transcription de la vidéo

alors ici c'est la première vidéo d'un set de vidéo qui va s'appeler pandas valeurs manquante c'est c'est un sujet très important en data science parce que quand vous quand vous voulez manipuler les données si à l'intérieur de votre data 7 vous avez des valeurs manquantes ça peut être problématique quand vous allez appeler des méthodes de machine learning par exemple donc il y a des méthodes qui ne n'acceptent pas ne serait-ce qu'une seule valeur manquante donc c'est pas forcément obligatoire mais en tout cas ce qui est sûr c'est que quand vous allez importer créer un Data 7 la il y a une étape qui est obligatoire c'est de bien vérifier si une valeur manquante ou non s'il y a des valeurs manquantes il y a plusieurs possibilités pour les soit les supprimer les remplacer les modifier ou alors si vous n'avez pas besoin de le faire vous pouvez laisser tel quel mais en tout cas il y a une étape obligatoire qui est de savoir si vous avez des valeurs manquantes ou pas mais alors là c'est peut-être contre-intuitif ce que je vais vous montrer mais dans la première vidéo ce qu'on fait là dans les au tout départ ce que je je vais vous montrer c'est comment générer artificiellement des valeurs manquantes pourquoi on pourrait faire ça et bien parce que justement si on veut tester du code Python avec un Data 7 qui a des valeurs manquantes plutôt que d'aller en chercher vous pouvez prendre un Data 7 existant et lui générer des valeurs manquantes et c'est ce qu'on va faire ici donc la première chose que qu'on va faire pour générer des valeurs manquantes c'est qu'on va utiliser n'aime pas donc moi je vais utiliser pandas pour manipuler les objets donc ça sera des objets soit de type data frame donc en deux dimensions soit des objets de type série donc en une dimension et pour générer les valeurs manquantes je vais appeler numboy et je vais lui appeler une méthode qui s'appelle nan en anglais nan ça veut dire note un number en gros ça veut dire il considère quand il pratique quand il a une cellule qui considère comme ville et je vais bien vous expliquer la différence entre ce que entre na n et une cellule qui pourrait être qui a l'air vide mais qui ne l'est pas par exemple si vous mettez une chaîne de caractère vide pandas ne la considérera pas comme vide et considéra c'est une chaîne de caractère avec 0 caractère dedans donc là on le fort avec avec cette méthode numby on le force bien à considérer notre cellule comme en valeur manquante et pourquoi n'aime pas et ben parce qu'en fait la sous-couche de Panda c'est du ne pas donc si j'appelle une méthode nan donc là je vais l'exécuter il me il va me sortir quelque chose qui est Naël on a l'impression que c'est un objet spécifique ou si je veux voir le type d'objet que c'est parce que c'est peut-être un type spécifique on va voir que ça allait pas c'est un flott en fait donc il considère que c'est un nombre décimal mais on va dire particulier donc en statut note number retenez juste que quand vous avez du Nan sous pandas alors il sera pas écrit comme ça dans vos dans vos dates après il sera écrit comme ça si vous avez un autonome beurre ça veut dire que pandas considère qu'il y a une valeur manque à ce niveau là donc et on va utiliser donc je vais revenir on va utiliser cette méthode là pour pour générer donc je vais utiliser un Data 7 que j'ai déjà utilisé depuis longtemps donc il s'appelle ozone.txt l'âge avec avec cette cellule là je l'importe je expliquer donc voilà mon data frame donc c'est un objet pandas de type data frame en deux dimensions et on va regarder les infos qui à l'intérieur et je vais regarder le nombre de valeurs nulles donc en gros je vais regarder le nombre de valeurs non nul toutes les colonnes font 112 valeurs non nulles et j'ai 112 entrée dit autrement je n'ai aucune valeur nulle dans ce fait data 7 et donc là l'idée ça serait ce que ce que je vais vous montrer c'est comment on pourrait gérer des valeurs nulles dans ce data set là donc c'est la première étape génération de valeur manquante alors la première chose qu'on pourrait faire c'est simplement appeler notre data frame et appeler et lui dire que et lui a signé un nb.nine puisque je vous avais dit que nb.na N permet de gérer générer des nan donc on va des notes number donc des valeurs manquantes donc on va essayer de faire ça et on va voir ce qu'on a en sortie donc à chaque fois je vais je vais je vais je vais faire mon je vais faire une assignation donc avec égal juste en dessous je vais regarder à quoi ressemble maintenant je vais travailler sur ce data frame des f ozone et là qu'est-ce qu'il me dit ben il me dit que mon DF ozone c'est net à N il arrive même plus à me sortir le Data frame pourquoi on va regarder le type et c'est logique en fait ce que je lui ai dit c'est que maintenant mon c'est un en fait qu'est-ce que je lui ai dit là je lui ai dit tu crées un homme pie na n donc il m'a créé un flott de format note number et tu le mets dans ma variable DF ozone donc en gros qu'est-ce que j'ai fait j'ai remplacé remplacé ma variable DFO zone avant et pointé sur un objet pandas qui était un Data frame et maintenant elle pointe sur un un objet n'aime pas number donc c'est logique en fait qu'il a fait ses remplacements là il sait pas ça que je voulais donc je voulais vous montrer la première étape on va pas faire ça parce que si on fait ça on remplace la frame par une seule valeur Noten number et c'est pas ça que je cherche à faire suite dans la prochaine vidéo

pandas — valeurs manquantes

Discussion