Python爬虫数据清洗流程_结构化处理方法解析【教程】

清洗应先确认必要性，再精准处理结构破坏内容；用dtypes和sample检查数据形态，repr暴露隐藏字符；str.extract比replace更安全；嵌套JSON优先用ast.literal_eval；缺失值需按语义填充。

清洗前先确认数据是否真的需要清洗

很多新手一拿到爬虫结果就急着写 dropna()、str.replace()，结果把有效空格、分隔符、嵌套 JSON 字段全干掉了。真正要清洗的，是那些破坏结构一致性的内容：比如 "¥1,299.00" 里的逗号和符号，"2025-03-15\xa0" 末尾的不可见空格，或者 "暂无数据" 这类占位字符串。

建议用 df.dtypes 和 df.sample(5).to_dict('records') 快速扫一眼字段类型和原始值形态；对文本列执行 df['price'].apply(repr) 能暴露隐藏字符。

用 str.extract() 比 str.replace() 更安全地提取数值

直接用 str.replace(r'[^0-9.]', '') 处理价格字段，会把 "1.2万" 变成 "1.2"（漏掉单位换算），也可能把 "2025.03.15" 误当成数字。更稳的做法是用正则精准捕获目标模式。

• df['price'].str.extract(r'(\d+(?:\.\d+)?)\s*(?:元|¥)?') 提取带小数的价格数字
• df['sales'].str.extract(r'(\d+(?:,\d+)*)\s*万') 提取“万”为单位的销量，并配合 .str.replace(',', '').astype(float) * 10000 转为整数
• 匹配失败时返回 NaN，比强行转类型抛 ValueError 更可控

处理嵌套结构：别用 json.loads() 硬解

爬到的字段里常有类似 '{"name": "iPhone", "color": "black"}' 这种 JSON 字符串，但直接 json.loads() 会因引号不规范、含 HTML 实体或缺失引号而报错 JSONDecodeError。

更鲁棒的路径是：

• 先用 df['spec'].str.startswith('{') & df['spec'].str.endswith('}') 过滤出大概率合法的行
• 用 ast.literal_eval() 替代 json.loads() —— 它能容忍单引号、无引号键（如 {name: "iPhone"}）等常见爬虫脏数据格式
• 再用 pandas.json_normalize() 展开字典，避免手写 pd.json_normalize(df['spec'].apply(ast.literal_eval)) 时遇到 None 报错，应加 errors='ignore'

缺失值填充要区分语义，不是一律填 0 或 fillna()

"缺货" 和 "未发布" 都可能映射为 NaN，但业务含义完全不同：前者是临时状态，后者是长期空缺。盲目用 df.fillna(0) 会让缺货商品在销量排序中排第一。

实际操作中建议：

• 对数值型字段（如 price），优先用 df['price'].median() 或分组中位数（如按品类）填充，避免均值被异常值拉偏
• 对状态类字段（如 stock_status），保留 NaN 并显式转为 "unknown"，后续分析可单独过滤
• 用 df.isna().sum() / len(df) 统计缺失率，超过 60% 的字段，与其费力填充，不如直接弃用

清洗不是越干净越好，而是让每条数据的含义在下游分析中依然可解释。最危险的不是 NaN，是看起来整齐、实则失真的数字。