数据清洗是什么？
数据清洗回答的是原始数据如何变成可以进入论文模型的分析样本。它不是简单删缺失、改变量名，而是要留下可解释的样本口径、变量构造、异常值处理和每一步样本损失。
先用一句话理解
把数据清洗想成做饭前洗菜、切菜和称重。模型再高级，也只能处理你放进去的材料；如果缺失码、重复行、极端值和变量单位没有处理好，后面的回归表都会被污染。
什么时候用
| 判断项 | 教科书式判断 |
|---|---|
| 适合用在 | 任何实证分析开始前，先把原始数据整理成可复核的分析样本。 |
| 先不要用在 | 想证明研究假设时。清洗本身不是结论，只是让后续模型有可信输入。 |
| 最关键的前提 | 每一步清洗都要能解释为什么做、删了多少、变量如何变化。 |
| 读表顺序 | 先看原始样本，再看去重、缺失过滤、变量生成、缩尾和最终样本。 |
| 论文表述边界 | 正文只写关键口径，完整清洗日志可放附录或复现材料。 |
把它和相近方法分清楚
| 容易混淆的对象 | 怎么区分 | 初学者记法 |
|---|---|---|
| 数据清洗 | 把原始数据变成分析样本。 | 关注样本口径和变量构造。 |
| 描述性统计 | 展示清洗后样本的变量分布。 | 关注样本长什么样。 |
| 诊断检验 | 在模型估计后检查残差和设定问题。 | 关注模型是否违反推断前提。 |
核心直觉和模型公式
从原始数据到分析样本
数据清洗的核心可以写成一条 lineage：
\[D_{raw}\xrightarrow{deduplicate, merge, recode, winsorize}D_{analysis}\]
这条链路的每一步都要能追踪样本量和变量变化。
公式里的符号怎么读
| 符号 | 含义 | 在本页怎么理解 |
|---|---|---|
| D_raw | 原始数据 | 刚导入的表，可能含重复、缺失码、异常单位和未合并字段。 |
| deduplicate | 去重 | 处理 id-time 或主键重复。 |
| merge | 合并 | 把主表、地区表、政策表或财务表按键合并。 |
| recode | 重编码 | 把缺失码、分类变量和单位转换成建模口径。 |
| winsorize | 缩尾 | 处理连续变量极端值。 |
| D_analysis | 分析样本 | 最终进入描述统计和模型估计的数据。 |
专业使用口径
专业数据清洗不是把代码藏起来，而是把影响结论的口径讲清楚。
| 口径 | 专业写法 |
|---|---|
| 主键 | 说明一行代表什么，例如 firm-year、person-year 或 region-month。 |
| 样本损失 | 每个过滤条件删除多少观测要可追踪。 |
| 变量构造 | 对数、标准化、滞后、政策变量和交互项要能回到原始字段。 |
| 异常处理 | 缩尾、截尾、缺失码和极端值规则要事前一致。 |
一步一步做：从问题到结果的五步
| 步骤 | 这一页具体做什么 | 做到什么程度才算读懂 |
|---|---|---|
| 1. 定义观测单位 | 先确定一行代表什么。 | 主键不清楚，后面无法去重和合并。 |
| 2. 清理缺失和重复 | 处理缺失码、重复行和不可能取值。 | 不要把 999 当真实值。 |
| 3. 构造核心变量 | 生成因变量、核心解释变量、控制变量和处理变量。 | 变量单位和方向要写清。 |
| 4. 合并并检查样本 | 核对合并成功率和样本损失。 | merge 后样本突变要解释。 |
| 5. 输出分析样本 | 固定最终数据和清洗日志。 | 模型应只读取这个稳定版本。 |
结果怎么读：先读口径，再读数字
本页案例读表时，先记住这个口径：缺失单元格 = 0；核心变量与控制变量范围内。
| 读表顺序 | 本页怎么读 | 不要这样读 |
|---|---|---|
| 先看主键 | 是否存在重复 id-time。 | 重复主键会让面板模型失真。 |
| 再看样本流失 | 每一步删了多少观测。 | 不要只报告最终 N。 |
| 然后看变量构造 | 变量是否和论文定义一致。 | 代码变量名不能替代理论定义。 |
| 最后看可复核性 | 输出文件、日志和表格是否能互相对应。 | 清洗不可复核，结果就不可复核。 |
初学者最容易错在哪里
| 误读 | 为什么错 |
|---|---|
| 用户不可访问的内部路径展示在前端 | 错。网页只应展示研究口径，不应显示仓库路径。 |
| 清洗规则事后按结果调整 | 错。会变成样本选择。 |
| 只写最终样本量 | 不够。关键过滤步骤要有样本流。 |
| 变量方向不说明 | 错。标准化、取反、对数都会影响解释。 |
先看这个案例的结论
- 缺失单元格 = 0；核心变量与控制变量范围内。
- 公司-年份重复 = 24；面板键检查。
- Patent-DFI corr = 0.0882；清洗后核心相关。
- 这些数字来自页面里的结果表；写论文时先解释数值含义，再讨论理论含义。
变量要求和案例口径
| 字段 | 口径 |
|---|---|
| 数据 | CSMAR 风格 A 股企业创新面板 |
| 原始样本 | 196 家上市公司，2015-2020 年，约 1200 个公司-年观测；各方法有效样本以本页输出表 N 为准 |
| 因变量 | patent_count；回归页通常使用 ln(1 + patent_count) |
| 核心解释变量 | dfi_index，数字普惠金融指数；部分案例输出展示的是标准化后的 dfi_index |
| 控制变量 | roa、lev、size、growth、cashflow、tobinq、top1、dual、board、indep、soe、age |
| 输出文件 | data_cleaning_step_summary.csv |
| 角色要求 | 无硬性角色要求 |
| 依赖包 | 无额外 Stata 社区包要求 |
实际代码
下面是本页案例里的最小 Stata 代码。它的作用是帮助你看清变量怎么进入模型、结果文件怎么生成，而不是要求你在网页里手动运行。
import delimited "$DATA_PATH", clear varnames(1) encoding(UTF-8)
gen ln_patent1 = ln(1 + patent_count)
egen firm_id = group(stkcd)
xtset firm_id year
global y ln_patent1
global count_y patent_count
global x dfi_index
global controls roa lev size growth cashflow tobinq top1 dual board indep soe age
gen post = year >= 2018
bysort firm_id: egen pre_dfi = mean(cond(year < 2018, dfi_index, .))
quietly summarize pre_dfi, detail
gen treat = pre_dfi >= r(p50)
gen did = treat * post
gen high_patent = patent_count > 2
gen running_dfi = dfi_index - 260
gen rdd_treat = running_dfi >= 0
duplicates report stkcd year
misstable summarize patent_count dfi_index $controls
summarize patent_count dfi_index $controls
export delimited using "$JOB_DIR/data_cleaning_step_summary.csv", replace实际输出表
这张表是本方法页配套案例的输出结果，用来把前面的公式、变量口径和代码对应到实际数字。
| 指标 | 数值 | 解释 |
|---|---|---|
| 样本 | 1200 obs / 196 firms / 2015-2020 | 来自共用案例 CSV |
| 因变量 | ln(1 + patent_count) | 企业创新产出 |
| 核心解释变量 | dfi_index | 数字普惠金融指数 |
| 输出文件 | data_cleaning_step_summary.csv | empirical-wizard 对应方法产物 |
| 缺失单元格 | 0 | 核心变量与控制变量范围内 |
| 公司-年份重复 | 24 | 面板键检查 |
| Patent-DFI corr | 0.0882 | 清洗后核心相关 |
案例图
这是一张由同一份案例数据生成的页面内诊断图。
论文里怎么写
本文在共用企业面板样本上报告数据清洗，核心输出见 data_cleaning_step_summary.csv。结果解释时同时关注样本口径、变量构造、系数方向、标准误和适用前提，避免只凭单个 p 值完成方法选择。
检查清单
- 先确认一行数据代表一个公司-年观测，不能让重复公司年份进入后续面板模型。
- 把缺失值、异常编码和缩尾规则写清楚；清洗不是删到结果好看。
- 记录原始样本、清洗后样本和建模样本的变化，避免后面每张表的 N 解释不清。