用pandas进行简单的数据预处理

本文介绍了使用pandas进行数据预处理的步骤,包括查看统计数据、简单的可视化、去除重复项、处理缺失值、离散特征处理、数据归一化、去除高比例缺失值的行/列以及根据条件重新赋值。通过实例展示了如何处理kaggle上员工离职数据集,帮助理解数据预处理在机器学习中的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

首先看这样的数据。

file

这是kaggle上的关于员工离职的数据,现在要根据满意度,工作项目, 薪水等指标判断一个员工是否会离职。在进行机器学习之前,我们首先要进行数据的清理及预处理。

数据下载

https://github.com/ardendertat/Applied-Deep-Learning-with-Keras/blob/master/data/HR.csv

1、查看统计数据

csv文件读取

拿到数据以后,一般都要先看看数据长啥样,有多大,都有什么特征,用pandas查看这些是非常方便的。针对本例子中的csv文件, 我们使用read_csv函数来读取, 读进来之后是pandas中的DataFrame格式。

import numpy as np
import pandas as pd
# 使用read_csv读取数据
hr = pd.read_csv("HR.csv")

但有一点要注意,读取的时候要先看一下csv文件中格式。主要看两点,一是第一列(也有可能是前几列)是不是索引,二是看第一行是数据还是feature的名称。 read_csv方法默认会将第一行当成feature来解析。

# 如果第一列是索引
pd.read_csv('data.csv', index_col=0)
# 如果是纯数据没有feature的话
pd.read_csv('data.csv', header=None)

实际上如果你用的是ipython,可以直接输入 pd.read_csv?

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值