c# list 去重的方法

Distinct()去重需确保类型正确实现Equals和GetHashCode;值类型和已重载的引用类型(如string)可直接使用,自定义类必须重写二者;.NET6+推荐DistinctBy()按属性去重;原地去重宜用HashSet配合RemoveAll;忽略大小写需传StringComparer。

Distinct() 去重最常用,但要注意类型是否实现 EqualsGetHashCode

对值类型(如 intstring)或已重写相等逻辑的引用类型,直接调用 Linq.Distinct() 即可。它底层依赖对象的相等比较机制:

  • 没重写时,引用类型默认按内存地址判等,即使内容相同也会保留多份
  • string 是特例,虽是引用类型但已重载,所以 new List { "a", "a" }.Distinct() 能正确去重
  • 自定义类必须重写 Equals(object)GetHashCode(),否则 Distinct() 无效
var numbers = new List { 1, 2, 2, 3 };
var unique = numbers.Distinct().ToList(); // [1, 2, 3]

按指定属性去重要用 DistinctBy()(.NET 6+)或自定义 IEqualityComparer

常见需求是“按 IdName 去重”,Distinct() 本身不支持投影。.NET 6 引入了 DistinctBy(),简洁安全:

  • DistinctBy(x => x.Id) 会保留第一个出现的 Id 对应项,后续同 Id 的跳过
  • 低版本需手写 IEqualityComparer,容易漏掉 GetHashCode 实现,导致哈希表行为异常
  • 避免用 GroupBy(x => x.Id).Select(g => g.First()) —— 性能差,且语义不如 DistinctBy 清晰
var users = new List {
    new User { Id = 1, Name = "Alice" },
    new User { Id = 1, Name = "Bob" },
    new User { Id = 2, Name = "Charlie" }
};
var uniqueById = users.DistinctBy(u => u.Id).ToList(); // 保留 Id=1 的第一个(Alice)

原地去重用 HashSet 配合 RemoveAll() 或重建列表

Distinct() 返回新集合,若需修改原 List,不能直接赋值(会丢失引用)。稳妥做法是清空后重新填充:

  • HashSet 判断重复最高效(O(1) 查找),比嵌套循环或 Contains 快得多
  • 对引用类型,仍要确保 T 的相等逻辑正确,否则 HashSet 也失效
  • 别用 for 循环边遍历边删 —— 容易跳过元素或索引越界
var list = new List { "x", "y", "x", "z" };
var seen = new HashSet();
list.RemoveAll(item => !seen.Add(item)); // seen.Add 返回 true 表示首次加入

字符串忽略大小写的去重必须传 StringComparer

Distinct() 默认区分大小写,"A""a" 被视为不同。强行转小写再比较(如 Select(x => x.ToLower()).Distinct())会丢失原始大小写形式:

  • Distinct(StringComparer.OrdinalIgnoreCase) 既去重又保留原字符串
  • StringComparer.CurrentCultureIgnoreCase 更适合本地化场景,但性能略低
  • 别在 DistinctBy 里用 x.Name.ToLower() 做 key —— 同样丢失原始值,且无法处理 null
var words = new List { "Apple", "apple", "Banana", "BANANA" };
var unique = words.Distinct(StringComparer.OrdinalIgnoreCase).ToList(); // ["Apple", "Banana"]
实际用哪一种,取决于你手上的数据类型、.NET 版本、是否需要保留原列表引用,以及“重复”的定义粒度——是整个对象相等,还是某个字段一致。最容易被忽略的是自定义类没重写 GetHashCode,结果 Distinct()HashSet 表现诡异,调试时得回头检查这一条。