在自动泊车系统中，AVM（Around View Monitoring），即全景环视系统，是驾驶员和感知算法的“眼睛”。它将车身周围的多个摄像头画面，实时拼接成一幅完整的、无缝的鸟瞰图，即我们常说的“上帝视角”。
这个过程看似简单，背后是一套严谨的几何与图像处理流程。
1. 核心流程：从鱼眼到俯视
整个拼接过程可以分解为三个关键步骤。
- 数据源：通常是安装在车身前、后、左、右的4个超广角（鱼眼）摄像头。它们提供了超过180度的视场角（FoV），但也带来了严重的图像畸变。
- 步骤一：图像畸变校正 (Image Undistortion)
- 问题：鱼眼镜头为了获得广阔视野，其成像不符合针孔相机模型，图像边缘会发生严重的桶形畸变。
- 解决方案：在出厂前，对每个摄像头进行标定，得到其相机内参（Intrinsics）和畸变模型参数（如径向和切向畸变系数）。
- 操作：利用这些标定好的参数，对摄像头采集的每一帧原始图像进行数学运算，将其校正为无畸变的、符合标准透视模型的图像。
- 步骤二：逆透视变换 (Inverse Perspective Mapping, IPM)
- 目标：将校正后的前视、后视、侧视图像，统一变换到“俯视”角度。
- 原理：IPM的核心是建立图像像素坐标与世界坐标（或车身坐标）之间的映射关系。这需要用到摄像头的外参（Extrinsics）——即每个摄像头在车身坐标系下的精确位置（x, y, z）和姿态（roll, pitch, yaw）。
- 操作：算法假设地面是一个平面。基于这个“平地假设”，将图像中的每一个像素点“反向投影”到这个虚拟的地面上，从而生成一幅鸟瞰视角的图像。
- 步骤三：坐标对齐与图像融合 (Stitching & Blending)
- 对齐：根据4个摄像头的精确外参，将它们各自生成的IPM俯视图，像拼图一样，放置在一个统一的、以车辆为中心的画布上。
- 融合：在相邻两幅图像的重叠区域，如果直接拼接，会产生明显的接缝。因此需要进行图像融合处理。
- 常用方法是羽化（Feathering）或加权平均。在重叠区域内，离各自图像中心越近的像素，其权重越高；离得越远，权重越低。通过这种平滑过渡，消除生硬的拼接缝。
2. 现实挑战：理想与骨感的现实
上述流程基于理想假设，但在实际应用中，会遇到诸多问题。
- 标定精度是生命线
- 内外参的微小误差，会在IPM变换后被放大，直接导致拼接缝的错位、对不齐。长期运行的车辆，由于颠簸等原因，摄像头位置可能发生微小变化，导致标定失效。
- “非平面”假设的崩溃
- IPM最根本的弱点是强依赖于“平地假设”。当车辆驶过减速带、坡道，或旁边有马路牙子时，这些高出或低于地平面的物体，在IPM图像中会产生严重的拉伸、扭曲和撕裂。这是传统AVM最难解决的痛点。
- 动态物体与环境光
- 当行人或车辆等动态物体跨越拼接缝时，可能会被“撕裂”或产生重影。
- 不同方向的摄像头接收到的光照强度和色温不同，即使经过融合，也可能在拼接区域产生明显的亮度或颜色差异。
3. 技术演进：不止于“看”，更在于“理解”
为了克服传统AVM的局限，最新的研究和量产方案正在发生范式转移。
- 趋势一：从“图像拼接”到“BEV感知”
- 思路转变：不再执着于生成一幅“好看”的拼接图给驾驶员。而是将4路原始鱼眼图像直接作为输入，喂给一个深度学习模型。
- 模型输出：这个模型直接在鸟瞰图（Bird’s-Eye-View, BEV）空间下，输出结构化的语义信息，例如：
- 可行驶区域分割
- 车位线检测与拟合
- 障碍物（车辆、行人）的检测框和朝向
- 优势：这种端到端的方案，通过数据驱动学习从2D图像到3D空间的映射，摆脱了对“平地假设”的强依赖，对畸变和障碍物高度有更强的鲁棒性。它输出的不是像素，而是可以直接用于下游规划控制模块的感知结果。
- 趋势二：动态或在线自标定
- 通过分析多帧图像之间的特征点匹配关系，或结合IMU、轮速计等信息，算法可以实时监测并微调相机的外参，以补偿因振动等原因造成的参数漂移，提升拼接效果的长期稳定性。
- 趋势三（前沿）：基于3D重建的视图生成
- 利用NeRF（神经辐射场）等技术，通过多视角摄像头数据，在车辆周围实时构建一个局部的、稠密的3D模型。
- 然后，通过在这个3D模型上设置一个虚拟的俯视相机进行渲染，生成最终的环视影像。这种方法从根本上解决了非平面问题，能生成极为逼真的效果，但目前计算量巨大，距离大规模量产应用还有距离。
总而言之，AVM技术正从一个纯粹的“可视化辅助工具”，演进为自动驾驶系统的“核心BEV感知源”。
发表回复