RWSeg算法的核心创新在于其设计了一个统一的框架,能够同时处理语义分割和实例分

酸酸甜甜小苏 2025-06-17 02:57:00

RWSeg算法的核心创新在于其设计了一个统一的框架,能够同时处理语义分割和实例分割两个任务,并通过精心设计的机制实现从稀疏标注到密集预测的高效转换。 整个RWSeg框架可以分为三个主要组成部分:骨干网络、语义分支和实例分支。骨干网络基于次流形稀疏卷积技术,能够高效处理大规模点云数据;语义分支负责对点云中的每个点进行类别预测;实例分支则专注于区分同类物体的不同实例。 RWSeg采用了一种两阶段的训练策略。第一阶段使用初始的稀疏标注进行训练,产生初步的语义和实例预测;第二阶段则利用第一阶段生成的高质量伪标签,进一步优化网络性能。这种迭代式的学习策略使得网络能够逐步扩展已知信息的覆盖范围,最终实现高质量的全局预测。 在具体实现上,RWSeg有两个关键的技术创新点:自注意力模块和跨图竞争随机游走算法。 传统的卷积神经网络虽然能够提取良好的局部特征,但受限于其相对小的感受野,难以捕捉长距离的依赖关系。这一限制在弱监督学习场景中尤为严重,因为已知标签点与未知区域之间可能存在较大距离。为解决这一问题,RWSeg引入了自注意力模块,能够有效地捕捉点云中的长距离依赖关系。 具体来说,RWSeg首先对点云进行超体素分割,每个超体素包含一组几何特性相似的相邻点。然后,对每个超体素内的点坐标和语义特征进行平均池化,生成超体素级别的代表性特征。接下来,在这些超体素之间构建自注意力层,使得远距离的超体素也能相互影响。最后,将处理后的特征插值回原始点云大小。 这种方法不仅能够显著增大网络的感受野,还能在保持局部几何一致性的同时减少计算复杂度。实验结果表明,加入自注意力模块后,网络在语义分割任务上的性能有了明显提升,在第一阶段训练后的验证集mIoU从61.7%提高到66.0%,在第二阶段训练后从68.4%提高到70.3%。 CRW算法的工作流程如下:首先,根据语义分支的预测结果,将点云按类别分组;对于每个类别,构建K个实例图(K为该类别中实例的数量)。这些实例图具有相同的节点和边,唯一的区别是初始节点值不同。对于第l个实例图,其初始节点值由该实例的二元标签蒙版确定,已标注点的值为正数,未标注点的值为零。 接下来,构建转移矩阵来描述节点间的随机游走概率。转移矩阵考虑了点的空间位置以及从实例分支预测的中心偏移向量,使得属于同一实例的点有更高的连接概率。然后,在每个图上执行随机游走算法,逐步传播标签信息。 CRW算法的关键创新在于引入了图间竞争机制。在每次迭代中,算法会对同一位置在不同实例图上的节点分数进行调整,使其符合概率分布(和为1)。这种调整会抑制在其他实例图中得分较高的点的激活,从而鼓励不同实例图之间的竞争,有助于解决边界歧义问题。 经过多次迭代后,CRW算法能够生成高质量的实例伪标签。在ScanNet-v2数据集上的实验表明,相比于简单的K-means聚类或基于广度优先搜索的算法,CRW算法生成的伪标签质量有显著提升,AP值提高了约30个百分点。

0 阅读:5
酸酸甜甜小苏

酸酸甜甜小苏

酸酸甜甜小苏