我要穿越小说网【www.51cy.org】第一时间更新《离语》最新章节。
要包括四点
??
3??数据类型转换数据类型往往会影响到后续的数据处理分析
环节Y因此Y需要明确每个字段的数据类型Y比如Y来自A表的
学号是字符型Y而来自B表的字段是日期型Y在数据清洗的时候
就需要对二者的数据类型进行统一处理
??
4??重复值处理重复值的存在会影响数据分析和挖掘结果的准
确性Y所以Y在数据分析和建模之前需要进行数据重复性检验Y
如果存在重复值Y还需要进行重复值的删除。
在进行数据清洗时Y需要注意如下事项X
??
1??数据清洗时优先进行缺失值异常值和数据类型转换的操作Y最后进
行重复值的处理
??
2??在对缺失值异常值进行处理时Y要根据业务的需求进行处理Y这些
处理并不是一成不变的Y常见的填充包括X统计值填充??常用的统计值有
均值中位数众数??前/后值填充??一般使用在前后数据存在关联的情
况下Y比如数据是按照时间进行记录的??零值填充。
在进行数据清洗时Y需要注意如下事项X
??
3??在数据清洗之前Y最为重要的对数据表的查看Y要了解表的结构和发
现需要处理的值Y这样才能将数据清洗彻底
??
4??数据量的大小也关系着数据的处理方式
??
5??在导入数据表后Y一般需要将所有列一个个地进行清洗Y来保证数据
处理的彻底性Y有些数据可能看起来是可以正常使用的Y实际上在进行处
理时可能会出现问题??比如某列数据在查看时看起来是数值类型Y但是其
实这列数据的类型却是字符串Y这就会导致在进行数值操作时无法使用??。
数据处理常常涉及数据集成操作Y即将来自多个数据源的数
据Y结合在一起形成一个统一的数据集合Y以便为数据处理
工作的顺利完成提供完整的数据基础
在数据集成过程中Y需要考虑解决以下几个问题X
??
1??模式集成问题
??
2??冗余
我要穿越小说网【www.51cy.org】第一时间更新《离语》最新章节。
本章未完，点击下一页继续阅读。