信息论与编码篇---欧式距离

📅 发布时间:2026/7/6 10:33:59 👁️ 浏览次数:
信息论与编码篇---欧式距离
最常用、最直观的距离度量——欧氏距离Euclidean Distance。它是我们从小学就开始接触的两点之间直线距离也是通信、机器学习与信号处理领域中最基础的度量工具。我们将从几何直觉、数学本质、物理意义、与其他距离的关系以及一张简洁的总结框图来全面了解它。欧氏距离 详解1. 核心思想两点之间直线最短欧氏距离源自欧几里得几何是人类最朴素的空间直觉。几何视角在平坦空间中用一把无形的直尺直接测量两个点之间的直线段长度。生活类比测量操场上两个小朋友之间的直线距离不管中间有没有花坛直接拉一条直线过去量。本质它度量的是两个向量在绝对位置上的差异。2. 数学定义欧氏距离是L2范数Euclidean norm的具体应用。二维空间平面这就是我们熟悉的勾股定理直角三角形的斜边长度。三维空间n维空间通用形式其中 x(x1,x2,...,xn)y(y1,y2,...,yn)。欧氏距离的平方也经常被使用因为它避免了开方运算且不影响相对大小的比较3. 物理意义与特性① 能量度量在物理学和信号处理中欧氏距离的平方代表了信号的能量或噪声的功率。如果 x 是发送信号y 是接收信号那么 ∥y−x∥2 就是噪声的瞬时能量。在加性白高斯噪声AWGN信道中噪声的能量直接影响译码的正确概率。② 旋转不变性欧氏距离具有旋转不变性。也就是说如果你把整个坐标系旋转一下两点之间的直线距离不会改变。这符合物理世界的直觉——物体的实际距离不随你测量时站的角度而改变。③ 满足距离的三条公理欧氏距离是严格的数学距离非负性d(x,y)≥0且只有 xy 时等于0。对称性d(x,y)d(y,x)。三角不等式d(x,z)≤d(x,y)d(y,z)。4. 为什么欧氏距离如此重要——与最大似然的等价性欧氏距离之所以在通信中占据核心地位是因为它与最大似然准则的深刻联系。在加性白高斯噪声AWGN信道中噪声服从高斯分布 N(0,σ2)。此时似然函数为观察这个公式指数部分是−∥y−x∥2。∥y−x∥2正是欧氏距离的平方。因为指数函数是单调的所以最大化 P(y∣x)等价于最小化 ∥y−x∥2。结论在AWGN信道下最大似然译码 最小欧氏距离译码。这就是为什么通信接收机可以通过计算接收点到各个星座点的距离来进行判决。5. 直观类比雷达屏幕上的光点想象一个雷达显示屏二维信号空间屏幕上有很多固定的亮点代表不同的目标位置可能的发送码字。雷达扫描发现了一个新的光点接收信号 yy。操作员译码器会判断这个新光点离哪个已知目标最近如果离A目标最近就报告发现A如果离B最近就报告发现B。这个最近就是欧氏距离。6. 欧氏距离 vs. 其他距离为了帮助你更清晰地理解欧氏距离的独特性这里与其他距离做一个对比距离类型核心公式直观理解与欧氏距离的区别欧氏距离∑(xi−yi)2直线距离基准最直观曼哈顿距离∑∥xi−yi∥只能沿轴走欧氏是斜线曼哈顿是直角折线切比雪夫距离max⁡∥xi−yi∥棋盘国王步数欧氏看总和切氏看最大偏差马氏距离(x−μ)TS−1(x−μ)相关性修正欧氏假设各向同性马氏考虑数据形状余弦距离1−x⋅y∥x∥∥y∥方向夹角欧氏看重绝对位置余弦只看方向7. 应用场景数字通信QPSK、QAM等调制方式的星座图译码。机器学习K-means聚类通过计算点到聚类中心的欧氏距离来分配类别。K近邻算法KNN通过计算样本间的欧氏距离来寻找最近的K个邻居。图像处理计算图像像素值的差异。计算机图形学计算三维空间中两个顶点的距离。全球定位系统GPS计算两个经纬度坐标之间的球面距离本质是大圆距离但局部近似可用欧氏。欧氏距离总结框图下面这张Mermaid框图简洁明了地展示了欧氏距离的核心逻辑、物理意义、数学基础与典型应用。总结一句话欧氏距离是度量空间的直觉原点——它用直线连接万物用平方累积差异在高斯噪声的世界里它就是最大似然决策的那把最直接的尺子。