MSSQL|重复数据 解决MSSQL中重复记录的高效方法，mssql去重技巧

📊 搞定MSSQL重复数据！这些高效去重技巧让你告别数据烦恼

场景引入：
"小王，为什么报表里的客户数量比实际多了一倍？" 凌晨2点，运维小哥盯着屏幕欲哭无泪——又是重复数据惹的祸！😫 如果你也经常被MSSQL中的重复记录困扰，这篇实战指南就是你的"数据救心丸"！

🔍 一、先搞清重复数据的"真面目"

常见症状：

• 导入数据时因网络中断导致部分记录重复写入
• 程序逻辑漏洞引发批量插入异常
• 没有设置唯一约束的表被多人同时操作

快速诊断（举个🌰）：

-- 检查表中是否存在重复姓名+手机号的记录
SELECT 姓名, 手机号, COUNT(*) 
FROM 客户表 
GROUP BY 姓名, 手机号
HAVING COUNT(*) > 1

🚀 二、5种高效去重大法

方法1️⃣：ROW_NUMBER() 精准狙击

适用场景：需要保留最新/最旧的一条记录

WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER(PARTITION BY 姓名,手机号 ORDER BY 创建时间 DESC) AS rn
    FROM 客户表
)
DELETE FROM CTE WHERE rn > 1

💡 优点：可灵活指定保留规则（DESC留最新/ASC留最旧）

方法2️⃣：GROUP BY 物理删除

适用场景：简单结构的表快速去重

-- 创建临时表存储唯一记录
SELECT DISTINCT 字段1, 字段2 INTO #TempTable FROM 原表
-- 清空原表后插回
TRUNCATE TABLE 原表
INSERT INTO 原表 SELECT * FROM #TempTable

⚠️ 注意：操作前务必备份数据！

方法3️⃣：MERGE 语句智能合并

适用场景：需要同步更新其他字段

MERGE INTO 目标表 AS target
USING (SELECT DISTINCT 关键字段 FROM 原表) AS source
ON target.关键字段 = source.关键字段
WHEN NOT MATCHED THEN
    INSERT (字段列表) VALUES (值列表);

方法4️⃣：创建唯一索引拦截

预防胜于治疗：

-- 添加唯一约束（已有重复数据时会报错）
ALTER TABLE 订单表 ADD CONSTRAINT UQ_订单号 UNIQUE (订单编号)

🛡️ 效果：后续插入重复数据会直接失败

方法5️⃣：SSIS数据流清洗

适合：ETL过程自动处理

1. 使用【排序】组件按关键字段排序
2. 添加【有条件拆分】组件过滤重复项

🛠️ 三、性能优化小贴士

• 大数据量：分批处理（每10000条提交一次）
• 紧急修复：先SELECT确认再DELETE，避免误删
• 定期维护：建立每周数据质量检查任务

🎯 终极防护方案

1. 设计阶段：为业务主键设置PRIMARY KEY
2. 开发阶段：使用TRY...CATCH捕获重复插入异常
3. 运维阶段：配置数据库邮件警报监控重复数据

📌 最新实践建议（2025-08更新）：
SQL Server 2025新增的DEDUPLICATE语法可简化去重操作，但需要兼容级别160+

最后叮嘱：处理生产数据前，一定要先BEGIN TRANSACTION测试！毕竟...删库容易恢复难啊！🙈 （别问我是怎么知道的）