第319章 困死我了

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。

3�0�6数据类型转换数据类型往往会影响到后续的数据处理分析

环节Y因此Y需要明确每个字段的数据类型Y比如Y来自A表的

学号是字符型Y而来自B表的字段是日期型Y在数据清洗的时候

就需要对二者的数据类型进行统一处理

�0�5

4�0�6重复值处理重复值的存在会影响数据分析和挖掘结果的准

确性Y所以Y在数据分析和建模之前需要进行数据重复性检验Y

如果存在重复值Y还需要进行重复值的删除。

在进行数据清洗时Y需要注意如下事项X

�0�5

1�0�6数据清洗时优先进行缺失值异常值和数据类型转换的操作Y最后进

行重复值的处理

�0�5

2�0�6在对缺失值异常值进行处理时Y要根据业务的需求进行处理Y这些

处理并不是一成不变的Y常见的填充包括X统计值填充�0�5常用的统计值有

均值中位数众数�0�6前/后值填充�0�5一般使用在前后数据存在关联的情

况下Y比如数据是按照时间进行记录的�0�6零值填充。

在进行数据清洗时Y需要注意如下事项X

�0�5

3�0�6在数据清洗之前Y最为重要的对数据表的查看Y要了解表的结构和发

现需要处理的值Y这样才能将数据清洗彻底

�0�5

4�0�6数据量的大小也关系着数据的处理方式

�0�5

5�0�6在导入数据表后Y一般需要将所有列一个个地进行清洗Y来保证数据

处理的彻底性Y有些数据可能看起来是可以正常使用的Y实际上在进行处

理时可能会出现问题�0�5比如某列数据在查看时看起来是数值类型Y但是其

实这列数据的类型却是字符串Y这就会导致在进行数值操作时无法使用�0�6。

数据处理常常涉及数据集成操作Y即将来自多个数据源的数

据Y结合在一起形成一个统一的数据集合Y以便为数据处理

工作的顺利完成提供完整的数据基础

在数据集成过程中Y需要考虑解决以下几个问题X

�0�5

1�0�6模式集成问题

�0�5

2�0�6冗余问题

�0�5

3�0�6数据值冲突检测与消除问题。

常见的数据转换策略包括X

�0�5

1�0�6平滑处理帮助除去数据中的噪声Y常用的方法包括分箱回归

和聚类等

�0�5

2�0�6聚集处理对数据进行汇总操作例如Y每天的数据经过汇总操

作可以获得每月或每年的总额这一操作常用于构造数据立方体或对数

据进行多粒度的分析

�0�5

3�0�6数据泛化处理用更抽象的概念来取代低层次的数据对象例如Y

街道属性可以泛化到更高层次的概念Y如城市国家Y再比如年龄属性

可以映射到更高层次的概念Y如青年中年和老年。

规范化处理将属性值按比例缩放Y使之落入一个特定的区间Y

比如0~1常用的数据规范化方法包括Min-Max规范化Z-Score规范化

和小数定标规范化等

�0�5

5�0�6属性构造处理根据已有属性集构造新的属性Y后续数据处理直

接使用新增的属性例如Y根据已知的质量和体积属性Y计算出新的属

性密度。

我怎么又困了。

www.mbeoge.cc。m.mbeoge.cc