基于球面分形卷积神经网络的三维点云识别方法及装置[发明专利]

(12)发明专利申请

(10)申请公布号 CN 110210281 A(43)申请公布日 2019.09.06

(21)申请号 201910249583.4(22)申请日 2019.03.29

(71)申请人 清华大学

地址 100084 北京市海淀区清华园(72)发明人 鲁继文　周杰　饶永铭　

(74)专利代理机构 北京清亦华知识产权代理事

务所(普通合伙) 11201

代理人 张润(51)Int.Cl.

G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

权利要求书2页 说明书6页 附图2页

(54)发明名称

基于球面分形卷积神经网络的三维点云识别方法及装置(57)摘要

本发明公开了一种基于球面分形卷积神经网络的三维点云识别方法及装置，其中，方法包括以下步骤：利用深度神经网络将三维点云数据投影到球面；利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据；通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。该方法可以有效提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。

CN 110210281 ACN 110210281 A

权　利　要　求　书

1/2页

1.一种基于球面分形卷积神经网络的三维点云识别方法，其特征在于，包括以下步骤：利用深度神经网络将三维点云数据投影到球面；

利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据；以及通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。

2.根据权利要求1所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，所述利用深度神经网络将三维点云数据投影到球面，进一步包括：

通过预设PointNet结构对所述三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征；

根据所述深度神经网络和所述球面特征回复原始的三维结构。

3.根据权利要求2所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，所述深度神经网络由端到端的随机梯度下降方法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。

4.根据权利要求1所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，还包括：

通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，所述正二十面体球面分形的网格为点云数据处理的基础。

5.根据权利要求1-4任一项所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，所述预设神经网络为深度神经网络，其中，

所述三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。

6.一种基于球面分形卷积神经网络的三维点云识别装置，其特征在于，包括：投影模块，用于利用深度神经网络将三维点云数据投影到球面；处理模块，用于利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据；以及

识别模块，用于通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。

7.根据权利要求1所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，所述投影模块进一步用于通过预设PointNet结构对所述三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征，并根据所述深度神经网络和所述球面特征回复原始的三维结构。

8.根据权利要求7所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，所述深度神经网络由端到端的随机梯度下降方法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。

9.根据权利要求1所述的基于球面分形卷积神经网络的三维点云识别方法，其特征在于，还包括：

2

CN 110210281 A

权　利　要　求　书

2/2页

划分模块，用于通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，所述正二十面体球面分形的网格为点云数据处理的基础。

10.根据权利要求6-9任一项所述的基于球面分形卷积神经网络的三维点云识别装置，其特征在于，所述预设神经网络为深度神经网络，其中，

所述三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。

3

CN 110210281 A

说　明　书

1/6页

基于球面分形卷积神经网络的三维点云识别方法及装置

技术领域

[0001]本发明涉及计算机三维点云识别技术领域，特别涉及一种基于球面分形卷积神经网络 的三维点云识别方法及装置。背景技术

[0002]近些年来，用于点三维云处理的深度学习方法引起了研究者们的较大关注。与基于三 维体素或二维投影视图的三维物体推理技术相比，直接处理三维点云更有价值，也更具挑 战性。直接处理三维点云的内在困难来自其不规则的格式，这使得描述三维物体的局部结 非常困难。

[0003]为了解决三维点云的识别问题，以前的工作利用一组局部点通过动态查询每个位置的 最近点来近似局部结构，这在训练和推理期间引入了相当大的计算成本，并且需要精心设 计的模块来处理不同区域的密度不均匀。[0004]点云信息通常可以通过3D扫描仪获得，并在自动驾驶和机器人等实际领域中被广泛应 用。然而，三维点云的视点，密度和其他属性在不同场景中可能会有很大差异。因此，点 云处理算法应该能够抵抗来自传感器和环境的各种噪声，如旋转，扰动和密度变化。虽然 目前有一些算法致力于学习非均匀密度和3D旋转的鲁棒特征，但是点云处理算法的鲁棒 性还远远不够完善。现有算法通常无法平衡性能和稳健性，其中具有强表示能力的模型不 能很好地处理旋转的三维点云，而对旋转鲁棒的算法性能相对较差。[0005]深度卷积神经网络的应用为图像识别带来了一系列突破，并在各种任务中表现出强大 的表达能力和泛化能力。取得巨大成功的原因之一是CNN(Convolutional Neural Networks， 卷积神经网络)的分层架构，其中低，中，高级别的功能自然集成，特征可以层次化的学 习。受益于图像数据格式的规整性(网格数据)，CNN可以容易地对特征图进行合并或上 采样，这允许CNN在多尺度层级的不同感受域来学习和丰富特征。卷积神经网络的先前成 功也表明维持稳定的邻近操作是重要的。稳定性来自两个方面，一是稳定的邻近元素选择， 另一种是邻近元素的稳定性。对于卷积神经网络，图像网格作为一种特性良好的规则格式， 可以很容易地应用卷积操作，以保证邻近元素的稳定性。[0006]然而，三维点云数据中不存在这样的特性，因为不同的点云通常有不同的组织形式， 由于密度不均匀，不能始终和同时保持稳定的领域选择(例如，固定选择k个最近点)和 保证邻近元素的稳定性(例如，选择半径r内的点)。发明内容

[0007]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。[0008]为此，本发明的一个目的在于提出一种基于球面分形卷积神经网络的三维点云识别方 法，该方法可以提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。

[0009]本发明的另一个目的在于提出一种基于球面分形卷积神经网络的三维点云识别

4

CN 110210281 A

说　明　书

2/6页

装置。

为达到上述目的，本发明一方面实施例提出了一种基于球面分形卷积神经网络的

三维 点云识别方法，包括以下步骤：利用深度神经网络将三维点云数据投影到球面；利用球面 分形深度卷积神经网络框架处理投影到球面的三维点云数据；通过融合不同层次的深度特 征对处理过的三维点云数据进行三维点云识别，以得到三维点云识别结果。[0011]本发明实施例的基于球面分形卷积神经网络的三维点云识别方法，通过引入可学习球 面投影、球面分形结构来使用卷积神经网络来处理点云数据，同时，基于卷积神经网络的 处理三维点云的深度学习框架，从而获得更鲁棒和丰富的特征，使得三维点云识别更准确 和鲁棒性，进而提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。[0012]另外，根据本发明上述实施例的基于球面分形卷积神经网络的三维点云识别方法还可 以具有以下附加的技术特征：[0013]进一步地，在本发明的一个实施例中，所述利用深度神经网络将三维点云数据投影到 球面，进一步包括：通过预设PointNet结构对所述三维点云数据中的局部点云数据进行汇 总和抽象，以得到球面特征；根据所述深度神经网络和所述球面特征回复原始的三维结构。

[0014]进一步地，在本发明的一个实施例中，所述深度神经网络由端到端的随机梯度下降方 法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设 softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。[0015]进一步地，在本发明的一个实施例中，还包括：通过球面所在预设坐标系的角度将球 面进行等角划分，以得到正二十面体球面分形的网格，其中，所述正二十面体球面分形的 网格为点云数据处理的基础。[0016]进一步地，在本发明的一个实施例中，所述预设神经网络为深度神经网络，其中，所 述三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征 对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识 别结果。

[0017]为达到上述目的，本发明另一方面实施例提出了一种基于球面分形卷积神经网络的三 维点云识别装置，包括：投影模块，用于利用深度神经网络将三维点云数据投影到球面； 处理模块，用于利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据；识 别模块，用于通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别， 以得到三维点云识别结果。

[0018]本发明实施例的基于球面分形卷积神经网络的三维点云识别装置，通过引入可学习球 面投影、球面分形结构来使用卷积神经网络来处理点云数据，同时，基于卷积神经网络的 处理三维点云的深度学习框架，从而获得更鲁棒和丰富的特征，使得三维点云识别更准确 和鲁棒性，进而提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易实现。[0019]另外，根据本发明上述实施例的基于球面分形卷积神经网络的三维点云识别装置还可 以具有以下附加的技术特征：[0020]进一步地，在本发明的一个实施例中，所述投影模块进一步用于通过预设

5

[0010]

CN 110210281 A

说　明　书

3/6页

PointNet结 构对所述三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征，并根据所述 深度神经网络和所述球面特征回复原始的三维结构。[0021]进一步地，在本发明的一个实施例中，所述深度神经网络由端到端的随机梯度下降方 法进行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设 softmax交叉熵，可逆性则是约束球面投影的特征还原原始点云。[0022]进一步地，在本发明的一个实施例中，还包括：划分模块，用于通过球面所在预设坐 标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，所述正二十 面体球面分形的网格为点云数据处理的基础。[0023]进一步地，在本发明的一个实施例中，所述预设神经网络为深度神经网络，其中，所 述三维点云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征 对齐任务、三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识 别结果。

[0024]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明 显，或通过本发明的实践了解到。附图说明

[0025]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和 容易理解，其中：

[0026]图1为根据本发明一个实施例的基于球面分形卷积神经网络的三维点云识别方法的流 程图；

[0027]图2为根据本发明一个实施例的不同球面划分方法比较示意图；[0028]图3为根据本发明一个实施例的整体流程图和网络结构图；

[0029]图4为根据本发明一个实施例的不同层次特征旋转不变性可视化示意图；

[0030]图5为根据本发明一个实施例的基于球面分形卷积神经网络的三维点云识别装置的结 构示意图。具体实施方式

[0031]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同 或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描 述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的。[0032]下面参照附图描述根据本发明实施例提出的基于球面分形卷积神经网络的三维点云 识别方法及装置，首先将参照附图描述根据本发明实施例提出的基于球面分形卷积神经 网络的三维点云识别方法。

[0033]图1是本发明一个实施例的基于球面分形卷积神经网络的三维点云识别方法的流程图。

[0034]如图1所示，该基于球面分形卷积神经网络的三维点云识别方法包括以下步骤：[0035]在步骤S101中，利用深度神经网络将三维点云数据投影到球面。[0036]可以理解的是，本发明实施例将输入三维点云数据利用神经网络投影到球面。具 体地，本发明提出引入球面分形结构，将原始三维点云通过可学习的神经网络投影到 球

6

CN 110210281 A

说　明　书

4/6页

面，使得利用卷积神经网络高效处理三维点云数据成为可能[0037]进一步地，在本发明的一个实施例中，利用深度神经网络将三维点云数据投影到球 面，进一步包括：通过预设PointNet结构对三维点云数据中的局部点云数据进行汇总和抽 象，以得到球面特征；根据深度神经网络和球面特征回复原始的三维结构。[0038]可以理解的是，本发明实施例提出了可学习的球面投影技术，不同于以往的基于规则 的投影方法，可学习的方式更有助于保留点云信息，使得投影过程的信息损失最小，更好 的保护了识别过程中关键的点云局部特征。[0039]具体而言，不同于传统方法中使用固定的规则(如中心射线法)进行球面投影，本发 明实施例的方法提出采用深度神经网络来学习投影，可以通过应用一个小型的PointNet结 构对局部点云信息进行汇总和抽象，形成球面上的特征。基于固定规则的方法往往在投影 过程中引入明显的信息损失，而本发明实施例的方法中的可学习球面投影则能很好的解决 这一问题，通过和可逆性约束结合，投影过程可以保证信息极少损失，能够通过球面特征 完全恢复原始的三维结构。[0040]其中，在本发明的一个实施例中，深度神经网络由端到端的随机梯度下降方法进行 优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax交 叉熵，可逆性则是约束球面投影的特征还原原始点云。[0041]具体而言，深度神经网络模型由端到端的随机梯度下降方法进行优化。优化目标 包括分类损失函数和可逆性损失函数。分类损失函数采用标准的softmax交叉熵，可逆 性则是约束球面投影的特征能够完全还原原始点云。这两个目标使得本方法兼具准确 性和泛化能力。

[0042]在步骤S102中，利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数 据。

[0043]可以理解的是，本发明实施例利用发明的球面分形深度卷积神经网络框架，处理 投影到点云的三维点云数据。也就是说，本发明实施例通过设计基于分形结构的层次 化学习框架，提高三维点云识别的精度和鲁棒性。

[0044]本发明实施例引入了卷积神经网络的层次学习结构，并将这一结构和球面分形架 构结合，使得本发明实施例的方法可以高效的对点云信息进行上采样、下采样操作， 同时，由于不同层次的信息的融合，使得学习丰富、深度的点云特征成为可能，最终 提升了点云识别的准确率。

[0045]具体而言，球面分形卷积神经网络架构如附图3所示。在本发明实施例的方法中， 借鉴了用于图像处理的卷积神经网络的主流架构，即随着网络深度增加，特征的通道 逐渐增加，同时对数据进行下采样处理。这种方法相比没有下采样的点云识别框架更 加高效。同时，由于点云被逐渐下采样，网络浅层主要学习局部结构的特征，而深层 专注于学习全局的学习，层次化学习的思想同样有助于提高网络的识别性能。[0046]进一步地，在本发明的一个实施例中，本发明实施例的方法还包括：通过球面所在 预设坐标系的角度将球面进行等角划分，以得到正二十面体球面分形的网格，其中，正二 十面体球面分形的网格为点云数据处理的基础。[0047]可以理解的是，本发明实施例基于正二十面体球面分形的网格作为点云数据处理 的基础，使得学习的特征对旋转鲁棒。并在网格上定于了离散卷积操作，使得用于图 像处

7

CN 110210281 A

说　明　书

5/6页

理的卷积神经网络技术能够用于点云。[0048]具体而言，以往的球面投影方法主要采用等角投影的方式，这一方法定义简单， 通过球面坐标系的角度将球面进行等角划分，如附图2(a)所示。这一投影不具有旋转 不变性，同一物体不同视角的三维模型在等角划分下有不同的结果，即这一划分不是 SO(3)旋转对称的。

[0049]本发明实施例的方法提出以等面积的方式进行球面划分，具体来说采用正二十面 体球面分形来进行球面划分，如附图2(b)-(f)所示。这一划分的有点主要体现在两个方 面：(1)相比于等角划分，等面积划分具有更好的对称性，在分形层次足够大的情况 下，能够很好的近似球面；(2)相比于其他等面积划分，分形结构更加方便进行上采 样、下采样等操作，使得这一结构能够很好的应用于层次化的深度学习的过程中。[0050]在步骤S103中，通过融合不同层次的深度特征对处理过的三维点云数据进行三维点 云识别，以得到三维点云识别结果。[0051]需要说明的是，不同层次特征旋转不变性可视化如图4所示。[0052]其中，在本发明的一个实施例中，预设神经网络为深度神经网络，其中，三维点云 识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、 三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。[0053]可以理解的是，通过融合不同层次的深度特征，进行三维点云识别，按照不同需求输 出分类、检索、点云语义分割、对齐等任务的结果。本发明实施例的方法提出的识别架构 是一种点云信息处理的灵活而通用的框架，可用于点云处理的多种场景，包含点云特征提 取、分类、对齐、检索和语义分割等任务。

[0054]根据本发明实施例提出的基于球面分形卷积神经网络的三维点云识别方法，通过引入 可学习球面投影、球面分形结构来使用卷积神经网络来处理点云数据，同时，基于卷积神 经网络的处理三维点云的深度学习框架，从而获得更鲁棒和丰富的特征，使得三维点云识 别更准确和鲁棒性，进而提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易 实现。

[0055]其次参照附图描述根据本发明实施例提出的基于球面分形卷积神经网络的三维点云识 别装置。

[0056]图5是本发明一个实施例的基于球面分形卷积神经网络的三维点云识别装置的结构示 意图。

[0057]如图5所示，该基于球面分形卷积神经网络的三维点云识别装置10包括：投影模块100、 处理模块200和识别模块300。[0058]其中，投影模块100用于利用深度神经网络将三维点云数据投影到球面。处理模块200 用于利用球面分形深度卷积神经网络框架处理投影到球面的三维点云数据。识别模块300 用于通过融合不同层次的深度特征对处理过的三维点云数据进行三维点云识别，以得到三 维点云识别结果。本发明实施例的装置10可以有效提升三维点云识别技术在复杂场景下的 准确性和鲁棒性，简单易实现。[0059]进一步地，在本发明的一个实施例中，投影模块100进一步用于通过预设PointNet结 构对三维点云数据中的局部点云数据进行汇总和抽象，以得到球面特征，并根据深度神经 网络和球面特征回复原始的三维结构。

8

CN 110210281 A[0060]

说　明　书

6/6页

进一步地，在本发明的一个实施例中，深度神经网络由端到端的随机梯度下降方

法进 行优化，优化目标包括分类损失函数和可逆性损失函数，分类损失函数采用预设softmax 交叉熵，可逆性则是约束球面投影的特征还原原始点云。[0061]进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：划分模块。其 中，划分模块用于通过球面所在预设坐标系的角度将球面进行等角划分，以得到正二十面 体球面分形的网格，其中，正二十面体球面分形的网格为点云数据处理的基础。[0062]进一步地，在本发明的一个实施例中，预设神经网络为深度神经网络，其中，三维点 云识别结果包括三维点云特征提取任务、三维点云特征分类任务、三维点云特征对齐任务、 三维点云特征检索任务和三维点云特征语义分割任务中的一种或多种任务的识别结果。

[0063]需要说明的是，前述对基于球面分形卷积神经网络的三维点云识别方法实施例的解释 说明也适用于该实施例的基于球面分形卷积神经网络的三维点云识别装置，此处不再赘述。

[00]根据本发明实施例提出的基于球面分形卷积神经网络的三维点云识别装置，通过引入 可学习球面投影、球面分形结构来使用卷积神经网络来处理点云数据，同时，基于卷积神 经网络的处理三维点云的深度学习框架，从而获得更鲁棒和丰富的特征，使得三维点云识 别更准确和鲁棒性，进而提升三维点云识别技术在复杂场景下的准确性和鲁棒性，简单易 实现。[0065]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者 隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐 含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三 个等，除非另有明确具体的限定。[0066]在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是 第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特 征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅 仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面” 可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二 特征。[0067]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包 含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须 针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一 个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合 和组合。

[0068]尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本发明的，本领域的普通技术人员在本发明的范围内可以对上述实施例 进行变化、修改、替换和变型。

9

CN 110210281 A

说　明　书　附　图

1/2页

图1

图2

图3

10

CN 110210281 A

说　明　书　附　图

2/2页

图4

图5

11