百度移动网站生成个人网站可以做百度推广么

百度移动网站生成,个人网站可以做百度推广么,江苏省建设厅 标准化网站,门户网站英文一、引言 1.1 研究背景与意义 随着 3D 数据集的快速扩充和 3D 场景理解需求的日益增长#xff0c;3D 计算机视觉领域的各类任务#xff08;如目标检测、语义分割、实例分割等#xff09;受到了学术界和工业界的广泛关注。其中#xff0c;3D 实例分割作为一项基础性且具有…一、引言1.1 研究背景与意义随着 3D 数据集的快速扩充和 3D 场景理解需求的日益增长3D 计算机视觉领域的各类任务如目标检测、语义分割、实例分割等受到了学术界和工业界的广泛关注。其中3D 实例分割作为一项基础性且具有挑战性的任务要求同时识别点云中每个物体的类别并勾勒出其独立的掩码在自动驾驶、机器人导航、室内场景重建等实际应用中发挥着关键作用。当前主流的 3D 实例分割方法大多依赖数据驱动的深度学习模型这类方法虽然取得了令人瞩目的性能但往往需要海量的训练数据和密集的点级人工标注。然而点级全监督实例标注的成本极高 —— 在 ScanNet 数据集中标注一个场景的点级实例标签平均需要 22.3 分钟而标注一个 3D 边界框仅需 1.93 分钟。因此边界框标注凭借其能提供丰富的实例级信息且标注成本合理的优势成为弱监督 3D 实例分割中一种极具吸引力的标注方式。原文链接Sketchy Bounding-box Supervision for 3D Instance Segmentation代码链接dengq7/Sketchy-3DIS沐小含持续分享前沿算法论文欢迎关注...1.2 现有问题尽管基于边界框监督的弱监督 3D 实例分割方法已取得一定进展但这些方法普遍依赖准确且紧凑的边界框标注。在实际应用场景中由于人工标注的主观性、场景复杂度等因素获得完全准确的边界框往往十分困难。标注的边界框通常会存在缩放、平移、旋转等偏差这类不准确的边界框被称为 “草图边界框sketchy bounding box”。如图 1 (a) 所示草图边界框与准确边界框存在明显差异而图 1 (b) 的实验结果表明现有方法如 GaPro在草图边界框监督下性能会显著下降这一问题严重限制了弱监督 3D 实例分割方法在实际场景中的应用。图 1. (a) 展示了边界框监督的 3D 实例分割的输入(b) 对比了 GaPro [29] 和本文提出的 Sketchy-3DIS 在 ScanNetV2 验证集上分别在准确边界框和缩放草图边界框监督下的性能。1.3 本文贡献为解决草图边界框监督下的弱监督 3D 实例分割问题本文提出了一种新颖的框架 Sketchy-3DIS主要贡献如下首次探索将草图边界框标注用于 3D 实例分割任务允许使用具有噪声容忍性、与实例大小无关的 3D 边界框进行训练突破了现有方法对准确边界框的依赖。提出了一种弱监督 3D 实例分割框架该框架包含自适应框到点伪标签生成器adaptive box-to-point pseudo labeler和粗到精实例分割器coarse-to-fine instance segmentator通过两者的联合训练实现高性能分割。在 ScanNetV2 和 S3DIS 两个主流数据集上Sketchy-3DIS 在草图边界框监督下取得了领先的性能甚至超过了部分全监督方法验证了其有效性和泛化能力。二、相关工作2.1 全监督 3D 实例分割现有全监督 3D 实例分割方法主要可分为三类基于分组的方法grouping-based这类方法通常根据预测的逐点语义类别和实例中心偏移量对三维点进行分组但分组规则多由研究人员手动定义缺乏灵活性。基于检测的方法detection-based先预测每个物体的边界框再在框内生成前景掩码将任务拆分为目标检测和分割两个步骤存在误差累积的问题。基于查询的方法query-based受 DETR [52] 和 Mask2Former [3] 的启发这类方法利用一组可学习的查询向量同时预测物体的语义类别和实例掩码综合建模物体的几何和语义属性。相比前两类方法基于查询的方法性能更优避免了误差累积和耗时的细化过程。然而所有全监督方法都依赖密集的点级标注当缺乏这类标注时其性能会急剧下降。2.2 弱监督 3D 实例分割弱监督方法旨在通过部分或间接标注完成任务以降低标注成本。现有弱监督 3D 实例分割方法主要采用以下几种标注形式稀疏点标注利用稀疏的点标签通过标签传播策略完成实例分割但稀疏点难以完全捕捉物体的空间范围。2D 图像辅助标注如 MIT [47]、CIP-WPIS [49] 等方法利用 2D 图像标注作为辅助输入但引入了多模态依赖增加了系统复杂度。实例级单点标注为每个实例标注一个单点通过随机游走、聚类等技术进行实例预测但单点信息有限难以保证分割准确性。3D 边界框标注这是当前主流的弱监督标注方式相比其他弱监督标注边界框能更好地捕捉物体的空间范围且标注成本远低于点级标注。基于边界框监督的方法中Box2Mask [4] 是首个将边界框监督用于 3D 实例分割的工作。后续方法如 WISGP [8]、GaPro [29]、BSNet [27] 等通过引入空间相关性、高斯过程、教师 - 学生模型等技术提升性能但这些方法均依赖轴对齐的准确边界框性能受边界框准确性影响极大。CIP-WPIS [49] 尝试使用略微宽松的边界框但依赖 2D 模态且仅能适应轻微扩大的边界框灵活性有限。本文提出的 Sketchy-3DIS 不仅能解决多框内点的正确分配问题还能有效修正草图边界框带来的误差进一步降低了对标注准确性的要求。三、方法3.1 整体框架Sketchy-3DIS 的整体框架如图 3 所示主要包含三个核心部分3D U-Net 骨干网络、自适应框到点伪标签生成器和粗到精实例分割器。其工作流程如下图 3. Sketchy-3DIS 的框架。给定带有草图边界框标注的点云首先通过 3D U-Net 骨干网络提取特征然后将特征分别输入自适应框到点伪标签生成器和粗到精实例分割器最后利用生成的高质量伪标签定期监督预测的实例实现模型的联合训练。输入3D 点云其中 N 为点的数量C 为特征通道数包括 3D 坐标、RGB 颜色和表面法向量和草图边界框标注。特征提取将点云和草图边界框输入 3D U-Net 骨干网络提取点特征并通过对超点superpoint内的点特征进行平均生成超点级特征。伪标签生成将超点级特征和草图边界框输入自适应框到点伪标签生成器将粗糙的框级标注转换为精细的逐点实例标注伪标签。实例分割将超点级特征输入粗到精实例分割器通过 Transformer 架构预测实例的类别、掩码和边界框。联合训练通过双边匹配bilateral matching建立伪标签与预测实例之间的对应关系利用伪标签监督实例分割器的训练同时优化伪标签生成器和实例分割器。在推理阶段仅需将新的点云输入骨干网络和粗到精实例分割器即可完成实例分割。3.2 草图边界框设置为模拟实际场景中的不准确边界框本文通过对真实边界框施加缩放、平移和旋转扰动来生成草图边界框。3.2.1 真实边界框定义真实边界框由两个角点的位置定义其中和分别表示边界框在三维空间中最小和最大坐标点。3.2.2 基本扰动操作对真实边界框分别进行缩放、平移和旋转操作生成基本的不准确边界框缩放操作其中表示边界框在各维度的长度为缩放系数。平移操作其中为平移系数。旋转操作其中表示边界框的中心坐标为旋转角度单位度表示旋转函数。考虑到实际人工标注的边界框与真实边界框不会存在过大差异本文经验性地设置参数。3.2.3 草图边界框组合生成通过组合上述基本扰动操作生成多种类型的草图边界框。如图 2 所示展示了四种草图边界框到其中红色矩形表示准确边界框蓝色矩形表示草图边界框。从到“草图程度” 逐渐增加实例分割的难度也随之增大。图 2. 在缩放、平移和旋转扰动下生成的各种草图边界框。3.3 自适应框到点伪标签生成器草图边界框是一种不准确的弱标注为了将其转换为精细的逐点实例标注本文设计了自适应框到点伪标签生成器该生成器能根据点与边界框的相关性将框内的点自适应分配到对应的实例中。3.3.1 基于框的点分类根据点与 3D 边界框的空间关系可将点分为三类边界框外的点即背景点直接标注为背景图 3 中黑色圆点。单个边界框内的点可能是目标点图 3 中绿色 / 黄色 / 蓝色圆点或背景点需要进一步筛选。多个边界框重叠区域内的点这类点的归属存在不确定性需要通过学习相关性来分配实例标签。3.3.2 自适应点到实例分配单个边界框内的点分配对于单个边界框内的点通过计算点与边界框在坐标空间和特征空间的相似度筛选出背景点。边界框的坐标和特征通过平均框内所有点的坐标和特征得到点与边界框的相似度计算公式如下其中表示余弦相似度和分别表示点和边界框的特征和分别表示点和边界框的坐标。相似度较低的点被判定为背景点从而实现背景点的过滤。多个边界框重叠区域内的点分配对于重叠区域内的点由于其标签存在不确定性直接通过边界框难以获得高置信度的标签。因此首先移除每个框内的重叠点利用剩余的可靠点仅属于一个框标签与框标签一致进行相似度学习。给定重叠区域内点的特征以及两个框的可靠区域特征和通过多层感知机MLP学习点与两个框的相似度得分其中和捕捉了点与两个框可靠区域的特征差异。为了监督相似度学习采用交叉熵损失作为伪标签损失其中是可靠点的标签即其所属的边界框。通过训练好的 MLP 模型预测重叠区域内不可靠点的标签从而将这些点分配到对应的实例中最终生成高质量的伪实例标签。3.4 粗到精实例分割器为了从点云中准确预测实例本文设计了粗到精实例分割器该分割器首先从整个点云预测粗实例然后基于粗实例的区域进一步细化得到精细实例。3.4.1 粗实例分割假设一个场景包含 q 个物体每个查询向量instance query代表一个物体建模实例相关的特征语义类别和掩码。查询向量首先与整个点云的骨干特征进行交互得到粗实例。由于粗实例的逐点掩码无法整体且精确地描述物体因此进一步预测两个边界框粗粒度边界框和细粒度边界框结合场景级特征通过多级注意力块Multi-level Attention Block对初始粗实例进行细化。3.4.2 分层实例细化为了充分利用点云和粗实例的多粒度特征分割器的解码器采用了堆叠的六个块每个块包含一个多级注意力块和一个实例分割头图 3。多级注意力块的细节如图 4 所示实例查询通过与全局、局部不同粒度的特征进行交互逐步提升分割精度。图 4. 多级注意力块的细节。实例查询首先与整个场景的特征进行全局交互然后与粗实例描述的区域进行局部交互。粗实例描述的区域分为可靠区域和不可靠区域分别由预测框和核心框表示。多级注意力块的工作流程如下全局交互实例查询首先与逐点骨干特征进行全局交互获取场景级信息。可靠区域交互将粗实例抽象为一个边界框由预测掩码得到通过计算与预测框的 IoU挖掘两者的一致性信息得到可靠区域的特征其中表示阈值操作表示逐点乘法F 表示骨干特征M 表示预测掩码概率。不可靠区域交互为了处理复杂场景实例查询还需要与不可靠区域进行交互。不可靠区域由预测核心框通过缩放预测框得到代表物体的核心区域描述其特征计算如下信息聚合实例查询经过全局 - 局部的多层交互后具备了强判别能力再通过自注意力模块和前馈网络聚合学习到的信息进一步提升分割性能。3.5 双边匹配与训练损失3.5.1 双边匹配为了建立伪实例与预测实例之间的对应关系本文采用匈牙利算法Hungarian method进行双边匹配计算第个预测实例和第个伪实例的匹配成本其中和分别表示预测实例和伪实例的分类概率和分别表示预测实例和伪实例的二进制掩码为交叉熵损失为二元交叉熵损失为 Dice 损失和为损失权重。3.5.2 训练损失整体训练损失由伪标签生成损失和实例分割损失组成其中实例分割损失不仅监督预测的语义类别和二进制掩码还监督预测的边界框和核心框具体定义如下其中和分别表示预测边界框和真实边界框由伪实例标签得到和分别表示预测核心框和真实核心框基于预测掩码与伪实例掩码的 IoU 确定为 L1 损失为均方误差损失为损失权重。四、实验4.1 实验设置4.1.1 数据集ScanNetV2 [6]包含 1201 个训练场景、312 个验证场景和 100 个测试场景标注了 18 个语义类别和实例标签是 3D 实例分割的主流数据集。S3DIS [1]室内场景数据集包含 6 个区域的 272 个场景标注了 13 个物体类别。按照现有方法的设置使用 Area 5 的场景进行验证其余区域的场景用于训练。4.1.2 评估指标采用平均精度mean average precision, AP作为主要评估指标AP 是 IoU 阈值从 95% 到 50%步长为 5%的精度平均值。同时还使用 IoU 阈值为 50% 和 25% 的平均精度分别记为 AP50 和 AP25作为补充评估指标。4.1.3 实现细节模型在单个 RTX 3090 GPU 上进行训练以 SPFormer [36] 作为 ScanNetV2 数据集的代码库以 ISBNet [30] 作为 S3DIS 数据集的代码库。优化器采用 AdamW学习率为 0.0002权重衰减为 0.05。损失权重设置为。所有模型均从头开始训练未使用预训练权重其他超参数和训练细节与基准代码库保持一致。4.2 主要实验结果4.2.1 ScanNetV2 数据集结果表 1 展示了 Sketchy-3DIS 与现有主流方法在 ScanNetV2 数据集上的性能对比。其中 “Mask” 表示使用密集点级标注的全监督方法“S0” 表示使用准确边界框标注的弱监督方法“S1” 表示使用草图边界框标注的弱监督方法。从表 1 可以看出在准确边界框监督S0下Sketchy-3DIS 的 AP25 达到 83.6超过了 BSNetSPFormer83.4等现有弱监督方法甚至接近部分全监督方法的性能。在草图边界框监督S1下Sketchy-3DIS 的 AP50 为 65.8AP25 为 83.1远高于现有方法GaProSPFormer 的 AP50 为 53.5AP25 为 72.2充分证明了其在不准确边界框监督下的优越性。即使不使用多模态先验 [49] 或合成场景 [27] 等辅助手段Sketchy-3DIS 依然取得了优异的性能验证了其核心设计的有效性。4.2.2 S3DIS 数据集结果表 2 展示了 Sketchy-3DIS 与现有方法在 S3DIS Area 5 上的性能对比。从表 2 可以看出在准确边界框监督S0下Sketchy-3DIS 的 AP 为 53.4AP50 为 69.1超过了所有现有弱监督方法甚至比全监督基线方法 ISBNetAP5066.4高出 2.7 个百分点在草图边界框监督S1下Sketchy-3DIS 的 AP 为 50.7AP50 为 64.6依然保持了领先的性能验证了其泛化能力。4.2.3 伪标签质量对比图 5 展示了 Sketchy-3DIS 与 GaPro 在 S1 草图边界框监督下生成的伪标签质量对比。可以看出Sketchy-3DIS 生成的伪标签在细节上绿色圆圈标注区域比 GaPro 更准确并且能更好地区分同类别的不同物体红色圆圈标注区域。与真实标签相比Sketchy-3DIS 生成的伪标签质量也具有很强的竞争力。图 5. ScanNetV2 训练集上伪标签的可视化对比。黑色表示背景点其他颜色表示不同的物体。绿色和红色圆圈标注了关键区域。4.3 消融实验与分析4.3.1 不同草图边界框下的鲁棒性表 3 展示了 Sketchy-3DIS 在四种不同草图程度的边界框S1 到 S4监督下的性能其中 S0 为准确边界框。可以看出随着草图程度的增加从 S1 到 S4模型的性能仅轻微下降。在 ScanNetV2 验证集上S4 的 AP50 为 62.5相比 S0 的 68.8 仅下降 6.3 个百分点在 S3DIS Area 5 上S4 的 AP50 为 50.9相比 S0 的 69.1 下降 18.2 个百分点但依然保持了较高的性能。这表明 Sketchy-3DIS 对边界框的不准确具有较强的鲁棒性。4.3.2 伪标签生成器和实例分割器的有效性表 4 验证了伪标签生成器和实例分割器的有效性以当前最先进的无监督方法 UnScene3D [32] 作为基线。“disjoint” 表示先训练 3D U-Net 和伪标签生成器然后冻结它们再训练实例分割器“joint” 表示伪标签生成器和实例分割器联合训练。从表 4 可以看出即使采用分离训练的方式Sketchy-3DIS 的性能也远高于无监督基线方法证明了伪标签生成器能生成高质量的伪标签为实例分割提供了有效的监督信息。联合训练方式下模型的 AP、AP50 和 AP25 分别达到 53.4、69.1 和 77.5相比分离训练有显著提升验证了伪标签生成器和实例分割器联合训练的有效性两者能相互促进提升整体性能。4.3.3 伪标签生成器各组件的有效性表 5 验证了伪标签生成器中各组件的作用其中 “Partition” 表示通过框到点的空间相关性获取逐点标签“Assign” 表示对重叠框内的点进行分配“Similarity” 表示根据点到框的相似度过滤框内的背景点。从表 5 可以看出仅使用 “Partition” 组件时模型性能已有显著提升说明基于空间相关性的点分类是有效的。增加 “Assign” 组件后模型性能进一步提升证明了对重叠区域内点的自适应分配能解决点归属不确定性问题。加入 “Similarity” 组件后模型性能达到最优表明通过相似度过滤框内背景点能进一步提升伪标签质量。4.3.4 多级注意力块中各注意力的有效性表 6 验证了多级注意力块中各注意力模块的作用其中 “Scene” 表示与整个场景的特征交互“Coarse” 表示与粗实例区域的特征交互“Core” 表示与实例核心区域的特征交互“Self” 表示通过自注意力模块增强实例查询。从表 6 可以看出随着注意力模块的逐步增加模型性能不断提升。当同时使用 “Scene”“Coarse”“Core” 和 “Self” 四种注意力模块时模型性能达到最优证明了多级注意力块能自适应地挖掘不同粒度的上下文信息有效提升分割性能。4.3.5 实例分割损失各部分的有效性表 7 验证了实例分割损失中各部分的作用其中表示对预测实例框的监督损失表示对实例核心框的监督损失表示对实例掩码的监督损失。从表 7 可以看出同时使用三种损失时模型性能达到最优证明了对实例框、核心框和掩码的联合监督能全面提升实例分割的准确性。4.3.6 定性分割结果图 6 展示了 Sketchy-3DIS 在 ScanNetV2 验证集上的定性分割结果与 GaPro 和真实标签进行对比。可以看出Sketchy-3DIS 在简单场景和复杂场景中都能实现有效的实例分割。对于同类别的多个近距离物体Sketchy-3DIS 能准确区分此外该方法还能自适应地分割出真实标签中遗漏的物体如红色圆圈标注的橱柜展示了其强大的识别能力。图 6. ScanNetV2 验证集上的定性结果。黑色表示背景点其他颜色表示不同的物体。圆圈标注了关键区域。五、结论与未来工作5.1 结论本文针对实际场景中准确边界框难以获取的问题提出了一种基于草图边界框监督的弱监督 3D 实例分割框架 Sketchy-3DIS。该框架通过自适应框到点伪标签生成器将不准确的草图边界框转换为高质量的逐点伪标签再结合粗到精实例分割器实现精准的实例分割两者的联合训练进一步提升了模型性能。在 ScanNetV2 和 S3DIS 两个数据集上的大量实验表明Sketchy-3DIS 在草图边界框监督下取得了领先的性能甚至超过了部分全监督方法验证了其有效性、鲁棒性和泛化能力。5.2 未来工作本文的实验结果表明当草图边界框的不准确程度极大时模型性能会显著下降。因此未来的研究方向将聚焦于进一步提升模型对极端不准确边界框的适应能力探索更有效的伪标签生成策略和实例分割方法以实现更高的噪声容忍性。此外还可以将 Sketchy-3DIS 扩展到更复杂的场景如室外自动驾驶场景进一步验证其实际应用价值。