1. 从“撞库攻击”到“密码相似度”一个被忽视的安全隐患最近在复盘一些安全事件时我注意到一个老生常谈但依然高发的攻击手法撞库。攻击者利用从A网站泄露的账号密码去B网站尝试登录成功率往往不低。除了用户习惯在不同平台使用相同密码外另一个更深层的原因是很多用户在不同平台使用的密码高度相似。比如在A网站用MyPass123!在B网站可能就用MyPass456!或MyPass123。这种相似性使得攻击者在获取一个密码后通过简单的规则变换如替换数字、特殊字符就能轻易推导出用户在其他平台的潜在密码大大降低了“撞库”或“密码喷洒”攻击的难度。传统的密码安全策略如强制复杂度大小写字母、数字、特殊字符组合和定期更换主要防御的是暴力破解。但对于这种基于已知密码的“衍生攻击”防护效果有限。我们能否在用户设置新密码时就判断出它与历史密码或常用密码的相似度从而提前预警或阻止呢这就是“密码相似度计算”要解决的问题。而“余弦相似度”这个在自然语言处理和信息检索领域耳熟能详的算法为我们提供了一种量化这种“相似”的数学工具。它不再仅仅比较字符是否完全相同而是从向量的角度衡量两个密码在“特征空间”中的方向是否接近。听起来有点抽象别急接下来我会结合具体场景拆解如何用余弦相似度算法来处理密码相似度计算并分享在实际落地过程中的一系列坑和思考。2. 余弦相似度从文本到密码的“跨界”应用在深入密码领域之前我们得先搞清楚余弦相似度到底是什么。简单来说它是一种衡量两个向量在方向上差异的指标值域在[-1, 1]之间1表示方向完全相同0表示正交无关-1表示方向完全相反。在文本处理中我们常把文档或句子通过词袋模型Bag of Words或TF-IDF转换成高维向量然后计算向量间的余弦相似度来判断内容的相似性。那么密码这种短文本如何转换成向量呢密码没有明确的“词语”概念我们需要自己定义特征。一个直观的思路是将密码视为由不同“特征单元”构成的集合。以下是我在实践中总结的几种有效的向量化方案2.1 基于字符类别的向量化这是最基础的方法。我们将密码字符串映射到一个固定维度的向量每个维度代表一种字符类别出现的频率或是否存在。常见特征维度定义维度1小写字母数量(a-z)维度2大写字母数量(A-Z)维度3数字数量(0-9)维度4特殊字符数量(如 !#$%^*)维度5密码长度维度6是否包含连续字符(如 “abc”, “123”)维度7是否包含键盘相邻字符(如 “qwer”, “1qaz”)举例密码Abc123!可以转化为向量[3, 1, 3, 1, 7, 1, 0]。小写字母b, c- 2个等等这里有个细节Abc123!中的小写字母是b, c所以是2个。但通常我们会把整个密码遍历计数。所以准确向量是[2, 1, 3, 1, 7, 1, 0]。小写字母b, c 2大写字母A 1数字1,2,3 3特殊字符! 1长度7连续字符abc是连续的 - 标记为1 (存在)键盘相邻无 - 0密码Xyz789则转化为[2, 1, 3, 1, 7, 1, 0]。看它们的向量竟然一模一样这意味着在这种特征定义下Abc123!和Xyz789的余弦相似度为1即“完全相同”。这显然不符合我们的直觉因为这两个密码的字符完全不同。这就引出了第一个关键点基于纯字符类别的向量化丢失了具体的字符序列信息对局部替换不敏感。它只能判断密码的“结构”是否相似。对于MyPass123!和MyPass456!它们的向量会是相同的假设“MyPass”部分相同从而被判定为高度相似这符合我们的目标。但对于Abc123!和Xyz789这种误判是我们需要警惕的。2.2 基于N-gram的向量化为了捕捉字符序列信息我们可以引入N-gram模型。N-gram指的是长度为N的连续字符序列。Bigram (2-gram)将密码分割为相邻的两个字符组。Abc123!-Ab,bc,c1,12,23,3!Trigram (3-gram)分割为相邻的三个字符组。Abc123!-Abc,bc1,c12,123,23!然后我们建立一个所有可能N-gram的词汇表密码向量就是每个N-gram出现的频率或布尔值。这样Abc123!和Xyz789的Bigram向量就完全不同了相似度会很低。然而N-gram方法对密码长度敏感且维度爆炸。一个7位密码的Bigram有6个Trigram有5个。但词汇表可能非常大比如62个字符的平方。对于短密码向量会非常稀疏大部分维度为0。2.3 基于字符嵌入Character Embedding的向量化这是一种更高级的方法借鉴了词向量Word2Vec的思想。我们可以在大规模的密码泄露库如RockYou上训练一个模型让模型学习每个字符在密码上下文中的语义。例如模型可能会学到数字1经常和2,3一起出现字母p和a,s,s一起组成pass。训练好后一个密码的向量可以表示为所有字符向量的平均值或总和。这种方法能更好地捕捉字符间的语义关系但需要训练数据且计算成本较高。在实际的密码相似度检测系统中我推荐采用混合特征向量以字符类别特征为主辅以关键位置的N-gram如前缀、后缀或一些模式标志位。例如对于MyPass123!和MyPass456!它们的字符类别向量相同且共享了MyPass这个前缀Trigram因此相似度会极高。而对于Abc123!和Xyz789虽然字符类别向量相同但N-gram特征完全不同可以通过加权降低总体相似度得分。3. 实战构建一个密码相似度检测服务理论聊完了我们来点实际的。假设我们要为一个用户中心系统增加“密码相似度校验”功能要求新密码不能与最近3次使用的密码过于相似相似度阈值设为0.8。3.1 系统设计与流程整个流程可以集成在密码修改服务中用户提交新密码。服务端获取用户历史密码假设已安全地存储了哈希值但为了比对相似度我们需要可逆的存储不这里有个大坑后面会讲。向量化处理将新密码和每个历史密码分别转化为特征向量。相似度计算计算新密码向量与每个历史密码向量的余弦相似度。决策与反馈如果任一相似度超过阈值如0.8则拒绝修改并提示用户新密码与某个历史密码过于相似否则允许修改并更新历史密码记录。3.2 核心代码实现Python示例我们采用混合特征向量字符类别4维 长度1维 前缀Trigram1维计算相似度时单独处理。首先定义特征提取函数import re from collections import Counter import math def extract_password_features(password): 提取密码的混合特征。 返回一个字典包含 - char_type_vec: 字符类别向量 [小写大写数字特殊] - length: 密码长度 - prefix_trigram: 密码的前三个字符如果长度3 features {} features[length] len(password) # 字符类别计数 lower sum(1 for c in password if c.islower()) upper sum(1 for c in password if c.isupper()) digit sum(1 for c in password if c.isdigit()) special features[length] - lower - upper - digit features[char_type_vec] [lower, upper, digit, special] # 前缀Trigram features[prefix_trigram] password[:3] if len(password) 3 else password return features接着计算两个密码特征之间的相似度。这里我们设计一个加权相似度字符类别相似度占主要权重前缀相似度作为修正。def cosine_similarity(vec_a, vec_b): 计算两个向量的余弦相似度 dot_product sum(a * b for a, b in zip(vec_a, vec_b)) norm_a math.sqrt(sum(a * a for a in vec_a)) norm_b math.sqrt(sum(b * b for b in vec_b)) if norm_a 0 or norm_b 0: return 0.0 return dot_product / (norm_a * norm_b) def trigram_similarity(trigram_a, trigram_b): 计算两个trigram的相似度简单的字符匹配比例 if not trigram_a or not trigram_b: return 0.0 # 取较短的长度 min_len min(len(trigram_a), len(trigram_b)) match_count sum(1 for i in range(min_len) if trigram_a[i] trigram_b[i]) return match_count / max(len(trigram_a), len(trigram_b)) def password_similarity(features_a, features_b, weight_char0.7, weight_trigram0.3): 计算两个密码的加权相似度。 weight_char: 字符类别向量相似度的权重 weight_trigram: 前缀trigram相似度的权重 # 计算字符类别向量相似度 sim_char cosine_similarity(features_a[char_type_vec], features_b[char_type_vec]) # 计算前缀trigram相似度 sim_tri trigram_similarity(features_a[prefix_trigram], features_b[prefix_trigram]) # 加权综合 total_similarity weight_char * sim_char weight_trigram * sim_tri return total_similarity最后是主要的校验函数def is_password_too_similar(new_password, old_passwords_list, threshold0.8): 判断新密码是否与历史密码列表中的任何一个过于相似。 old_passwords_list: 历史密码明文列表注意安全风险 threshold: 相似度阈值超过则判定为过于相似 new_features extract_password_features(new_password) for old_password in old_passwords_list: old_features extract_password_features(old_password) sim password_similarity(new_features, old_features) if sim threshold: print(f新密码与历史密码 {old_password} 相似度过高: {sim:.2f}) return True, old_password, sim print(新密码与所有历史密码相似度均未超过阈值。) return False, None, 0.03.3 一个关键的踩坑点历史密码的存储与安全上面代码中有一个致命问题old_passwords_list是明文列表。在真实系统中我们绝对不应该存储用户的明文历史密码这与密码学最基本的原则相悖。那么如何在不存储明文的情况下比较相似度这是一个挑战。余弦相似度计算需要原始特征向量。有几种思路存储特征向量而非密码明文在用户设置密码时立即计算其特征向量并安全存储加密存储。当需要比较时直接使用存储的特征向量进行计算。这样攻击者即使拿到数据库也无法直接还原出密码明文只能得到一些抽象特征。这是目前相对可行的方案。但需要注意特征向量本身也可能泄露一些密码模式信息需评估风险。同态加密或安全多方计算这些密码学技术允许在加密数据上直接进行计算但性能开销极大目前不适合高并发的在线服务。客户端计算将历史密码的特征向量加密后传给前端由前端JavaScript计算相似度后再将结果传回后端。但这要求前端能解密特征向量且存在前端被篡改的风险安全性较低。在我们的实践中采用了方案1并做了额外加固对存储的特征向量进行应用层加密。特征向量设计得尽量泛化不过于具体例如我们不存储完整的N-gram只存储类别和长度等宏观特征。相似度阈值设置得比较保守如0.85避免因特征丢失导致的误判宁可漏判让一些相似密码通过也要降低安全风险。4. 阈值选择与效果评估没有银弹只有权衡设定相似度阈值如上面的0.8是整个系统的关键它直接影响了用户体验和安全性。阈值过高如0.95系统非常宽松只有几乎相同的密码才会被拒绝。安全性提升有限但用户体验好。阈值过低如0.6系统非常严格很多只是结构类似的密码也会被拒绝。安全性高但可能导致用户频繁被拒体验差甚至促使用户选择更弱、但“不同”的密码。如何选择没有标准答案必须通过实际数据测试。4.1 评估方法混淆矩阵与ROC曲线我们可以收集一批“正样本”确实是用户自己设置的相似密码对和“负样本”不相关的随机密码对用我们的算法计算相似度然后观察在不同阈值下的表现。真正例TP算法判定相似实际也相似。假正例FP算法判定相似实际不相似。用户体验受损点真负例TN算法判定不相似实际也不相似。假负例FN算法判定不相似实际相似。安全风险点绘制ROC曲线计算AUC面积可以评估算法的整体区分能力。但更重要的是我们需要根据业务能承受的FP率用户抱怨率和FN率安全风险来选择一个合适的阈值。在我们的测试中使用字符类别前缀Trigram特征在阈值0.8时对于MyPass123!和MyPass456!这类密码相似度能达到0.9以上可以有效拦截。而对于Abc123!和Xyz789相似度约为0.75主要来自字符类别相似不会误拦。对于Password123和Pssw0rd123常见变形相似度也可能高达0.85这取决于特征权重这正是我们想要捕捉的。4.2 算法局限性它不是什么都能防必须清醒认识到余弦相似度算法不是万能的对“密码心理学”模式不敏感如果用户喜欢用“姓名生日”第一次用ZhangSan1990第二次用LiSi1991。从字符特征看它们都是“大写字母小写字母数字”向量相似但实际关联性不强。算法可能会产生误报。无法防御“完全无关”的弱密码算法只检查相似性不检查密码本身强度。用户可以从一个强密码MyStrongPass!123改成一个完全不相似但很弱的密码123456算法是无法阻止的。因此密码相似度校验必须与密码强度策略如zxcvbn库结合使用。计算性能对于海量用户和多次历史密码实时计算所有向量相似度可能带来性能压力。需要考虑特征向量的索引和快速检索技术如局部敏感哈希LSH进行近似最近邻搜索先过滤掉明显不相似的再精确计算。5. 进阶思考从防御到攻击视角作为一个安全从业者我们设计防御机制时必须从攻击者角度思考。攻击者如果知道了我们使用余弦相似度算法他们会如何绕过可能的绕过方式特征空间探索攻击者通过大量测试摸索出我们特征向量的构成和权重然后刻意构造在特征向量上差异大但实际对攻击者来说依然容易推导的密码。例如如果系统特别看重特殊字符位置那么从Pass123!改为!Pass123可能会降低相似度得分但对攻击者来说尝试这种变换成本很低。利用算法盲点如果我们的特征未包含“键盘行走模式”如qwerty,1qaz2wsx那么Qwerty123!和1qaz2wsx!会被判为不相似但它们都是极弱的密码。因此一个好的密码相似度系统应该是特征设计保密不公开具体的特征向量构成和权重。多模型融合不要只依赖余弦相似度。可以结合编辑距离Levenshtein Distance、最长公共子序列LCS等字符串直接比对算法进行综合判断。引入风险情报集成已知的弱密码库、常见密码模式库直接拦截那些即使不相似但也极不安全的密码。动态调整阈值对于高风险账户如管理员、有异常登录记录的账户可以动态采用更严格的相似度阈值。6. 工程落地中的经验与教训最后分享几个在真实项目中踩过的坑和总结的经验灰度发布与监控上线前一定要做灰度发布。先对一小部分用户如内部员工开启该功能密切监控两个指标密码修改失败率和用户客服投诉率。如果失败率或投诉率异常高说明阈值可能太严或特征设计有问题需要快速调整。清晰、友好的用户提示当用户因密码相似被拒绝时提示信息至关重要。不要只说“新密码与旧密码相似”。应该给出更具体的、有帮助的指引例如“您的新密码与2023年1月使用过的密码在结构上非常相似。请尝试使用完全不同的单词、短语或组合方式。” 这既能教育用户也能减少挫败感。性能优化计算特征向量和相似度是CPU操作。在用户注册/改密码的高峰期这可能成为瓶颈。我们将特征提取和相似度计算封装成独立的微服务并对其进行了性能剖析和优化如使用NumPy向量化运算。对于历史密码多的用户采用“最近N次密码”进行比较而不是全部历史。与现有密码策略的协同确保新的相似度校验逻辑与现有的密码复杂度、过期、唯一性等策略无缝衔接且校验顺序合理。通常的顺序是先检查是否与用户名等个人信息相关再检查强度最后检查与历史密码的相似度。定期评估与迭代安全攻防是动态的。定期如每季度回顾算法的效果分析被拦截的密码案例和攻击案例看是否有新的密码模式出现而当前算法未能覆盖。必要时更新特征模型或调整权重。密码相似度检查看似只是增加了一道小小的校验但其背后是向量空间思维在安全领域的巧妙应用是对抗“人性弱点”和“攻击者自动化”的一道重要防线。它不能单独确保安全但作为纵深防御体系中的一环能有效提高攻击者的成本。实现它的过程也是对密码本身、对用户行为、对算法应用的一次深度思考。希望这篇长文能为你带来一些启发在实际项目中少走些弯路。