学习目标

学习本课后，你将能够：

1. 数据质量意味着什么

数据质量是数据对特定任务的适用程度，而不是抽象的“好”或“坏”。常见维度包括准确性、完整性、一致性、及时性、唯一性，以及是否符合定义。

一个数据集可能适合年度能耗分析，却因测量过于稀疏而不适合小时级预测。质量检查必须结合预期用途。

2. 初步检查

检查行列数量、字段类型、单位、合理范围、键值唯一性、重复行和时间戳缺口。还应比较不同来源、时期和对象群体的统计摘要。

自动规则很有用，但每条规则都必须有领域依据。例如，建筑面积为负数按定义不可能；负温度却可能完全正常。

3. 缺失不等于零

缺失值表示数值未知或未被记录。零是测量值或有意义的数值。“不适用”则是另一种状态，例如没有电梯的建筑不适用电梯字段。

缺失可能来自随机传感器故障、受访者未回应、测量条件不具备，或某些条件下系统性缺测。有时缺失本身也包含信息。

4. 缺失值处理策略

可选方法包括删除行或特征、均值/中位数填补、设置独立类别、模型填补，以及增加缺失指示变量。选择取决于缺失比例、机制和变量作用。

均值填补简单，但会降低变异性并可能扭曲关系。删除行可能改变样本所代表的人群。缺失指示变量并非总有帮助，还可能编码采集流程的偏差。填补参数只能在训练数据上拟合。

5. 异常值：错误还是重要信号？

异常值是明显偏离大多数数据的观测。它可能来自传感器故障、录入错误、罕见事件或真实的极端运行状态。仅仅不同并不能证明它是错误。

应先检查单位、设备、时间戳和原始来源。不要只因为罕见值降低指标就将其删除：异常工况可能正是模型需要识别的事件。

6. 实践：设计质量控制

对于能耗数据，可设定以下检查：数值非负；每栋建筑每小时的时间戳唯一；单位一致；量纲变化不会造成不可能的跳变；并按传感器统计缺失比例。

对每个问题指定处理方式：从原始来源修正、标记为未知、给出理由后排除，或保留为真实极端值。记录原因和处理影响。