数据清洗是数据分析过程中的一个重要步骤，目的是提高数据的质量，以便进行更有效的分析。在 MATLAB 中，有多种工具和函数可用于数据清洗。以下是一些常见的方法和技巧：
1. 导入数据
使用 readtable、readmatrix 或 readcell 函数从文件（如 CSV、Excel）导入数据。
data = readtable('data.csv'); % 读取CSV文件为表格
2. 查看数据
在清洗数据之前，首先要检查数据的结构和内容。
head(data); % 查看前几行数据
summary(data); % 查看数据的摘要信息
3. 处理缺失值
缺失值是数据清洗中常见的问题。MATLAB 提供了多种方法来处理缺失值。
1.查找缺失值:
missingIdx = ismissing(data); % 找到缺失值的位置
2.删除缺失值:
dataCleaned = rmmissing(data); % 删除包含缺失值的行
3.填充缺失值:
dataFilled = fillmissing(data, 'linear'); % 用线性插值填充缺失值
4. 去除重复值
数据集中可能会有重复的记录，可以使用以下方法去除它们。
dataUnique = unique(data); % 去除重复行
5. 数据类型转换
确保数据的类型正确。例如，将字符串转换为日期或分类变量。
data.Date = datetime(data.Date, 'InputFormat', 'yyyy-MM-dd'); % 转换为日期格式
data.Category = categorical(data.Category); % 转换为分类变量
6. 处理异常值
识别并处理异常值可以通过图形化方法或统计方法实现。
4.使用箱线图:
boxplot(data.Value); % 可视化数据，识别异常值
5.根据阈值过滤:
dataFiltered = data(data.Value < threshold, :); % 删除超出阈值的行
7. 数据标准化和归一化
在分析前，标准化或归一化数据可以提高模型的表现。
dataNorm = (data - mean(data)) / std(data); % 标准化
dataMinMax = (data - min(data)) / (max(data) - min(data)); % 归一化
8. 处理文本数据
文本数据的清洗包括去除多余空格、转换大小写等。
data.Text = strtrim(data.Text); % 去除首尾空格
data.Text = lower(data.Text); % 转换为小写
9. 使用 table 和 timetable
使用 table 和 timetable 数据结构可以更方便地进行数据处理和分析。
示例
下面是一个简单的完整示例，展示了如何清洗数据：
% 导入数据
data = readtable('data.csv');
% 查看数据
head(data);
summary(data);
% 处理缺失值
data = rmmissing(data); % 删除缺失值
% 去除重复值
data = unique(data);
% 数据类型转换
data.Date = datetime(data.Date, 'InputFormat', 'yyyy-MM-dd');
% 处理异常值
threshold = 100; % 设置阈值
data = data(data.Value < threshold, :); % 过滤异常值
% 标准化
data.Value = (data.Value - mean(data.Value)) / std(data.Value);
通过以上步骤，你可以有效地清洗数据，使其准备好进行后续的分析和建模。
