摘要：深度学习方法支持下的建筑物形状认知成为地图制图等领域研究的热点，利用深度学习的特征挖掘能力，可以提取形状的嵌入表示，支撑制图综合、空间查询等应用场景。本文以建筑物数据为例，构建了一种融合全局特征和图节点特征的建筑物形状分类的图谱卷积神经网络模型。首先，在建筑物

本文内容来源于《测绘学报》2024年第9期（审图号GS京(2024)1896号）

融合全局和局部特征的建筑物形状智能分类方法

1.信息工程大学地理空间信息学院，河南 郑州 450052

2.

3.

4.

5.

基金项目

本文引用格式

第一作者：张付兵（1997—），男，博士生，主要从事数字地图制图与制图综合研究。E-mail：

通讯作者: 孙群 E-mail：13503712102@163.com

本文引用格式

深度学习方法支持下的建筑物形状认知成为地图制图等领域研究的热点，利用深度学习的特征挖掘能力，可以提取形状的嵌入表示，支撑制图综合、空间查询等应用场景。本文以建筑物数据为例，构建了一种融合全局特征和图节点特征的建筑物形状分类的图谱卷积神经网络模型。首先，在建筑物加权图基础上分别以建筑物4个宏观形状特征、边界顶点的多阶局部和区域结构特征生成形状的融合描述；然后，利用图谱卷积神经网络提取多层次形状信息，通过融合不同层的图表示结果生成特征编码用于形状分类。试验结果表明，相较对比方法，本文方法能够更有效地区分不同建筑物的形状类别，且生成的特征编码具有良好的形状区分度。

本文引用格式

关键词：形状认知图卷积神经网络建筑物形状分类特征融合图分类

本文引用格式

张付兵, 孙群, 马京振, 孙士杰, 温伯威.

ZHANG Fubing, SUN Qun, MA Jingzhen, SUN Shijie, WEN Bowei.

形状是空间数据最直接的特征之一，表达了要素的空间分布与形态，是人们建立空间概念、形成空间认知的重要依据[1-3]。形状具有3个不变特性：平移不变性、旋转不变性和缩放不变性[4]，但是，空间数据对地理对象的几何特征进行了高度的抽象化处理，其形状表达具有独特性，包括抽象性、象征性和不确定性[2,5]。此外，空间数据的形状还具有尺度相关性，不同尺度空间的同一地理对象具有不同的形状表征。因此，如何准确对形状进行分类、表示和相似性度量，一直以来都是地图制图领域学者研究的重点。

建筑物作为典型的人工地理要素，因其直角转折性、对称性和人为可控性成为形状认知和分类研究的主要对象，是建筑物匹配[6]、检索[1,3]、化简[7]和空间分布模式识别[8]等应用的基础性工作。传统建筑物形状描述方法主要采用“自上而下”的研究模式进行，在人工分析和凝练建筑物形状特征的基础上，通过数学统计、计算几何等方法生成形状特征数值、向量或矩阵来描述形状特征。数值指标包括圆形度、矩形度、偏心率、紧凑度[9]、凹度[10]等，但是单一的数值只能从某一个方面描述形状的特点，具有较大的局限性。特征向量或矩阵是目前广泛采用的形状描述方式，能够较好地描述形状的局部和全局特征，相关研究包括链码[11-13]、转角函数[6,14]、傅里叶形状描述子[2,15]、形状上下文[16]等，然后在此基础上使用向量的欧氏距离、余弦夹角值等来度量相似性。然而，上述方法需要设计复杂的形状轮廓编码序列或者描述符，且多数方法并不能实现旋转、平移和缩放不变性[13]。为此，文献[13]提出利用典型时间规整算法直接根据建筑物坐标序列计算形状相似性，度量结果满足形状的3个不变特性，但是该方法不能处理轮廓复杂的建筑物。

随着以深度学习为代表的人工智能技术的兴起，地图制图应用与其结合产生了丰富的研究成果[17]。在形状智能认知方面，图像卷积神经网络因其在图像的识别与分类中取得突出成就而受到广泛关注，如文献[18]尝试利用卷积自编码器提取形状特征集，实现与建筑物模板的匹配并应用到化简处理中；文献[19]基于AlexNet模型将建筑形状分类问题转为栅格图像分类问题进行求解，并取得了较好的分类效果；文献[1]将建筑物边界处理为序列数据，利用长短期记忆网络[20]构建自编码器实现建筑物的编码表示；文献[21]在建筑物傅里叶形状描述子中加入3类宏观形状特征，输入全连接神经网络得到较高的分类精度。但是，矢量数据的非结构特性，必须规范处理到固定大小的像元矩阵或序列中方能应用上述方法。图神经网络模型[22-23]的出现，为解决非结构化矢量数据的应用难题发挥了重要作用[17]，如文献[3,7]将建筑物转换为图结构，分别提取边界点的结构特征和上下文特征，利用图卷积自编码器实现形状的编码表示，推动了图卷积网络在形状智能认知中的应用。然而，将建筑物处理为标准图进行编码计算，本质上依旧没有摆脱固定输入大小的限制。为此，文献[24]直接将建筑物非标准对偶图输入基于空间方法的图卷积神经网络模型中，通过图节点特征卷积运算，得到了较好的分类结果。

在上述方法研究的基础上，本文利用图谱卷积神经网络模型，提出一种融合全局和局部特征的建筑物形状智能分类方法，其基本过程是：①构建建筑物的加权图结构，融合建筑物全局特征、图节点的局部结构特征和区域结构特征生成模型输入；②设计基于图谱卷积神经网络的建筑物形状分类模型，融合多层次图卷积层特征生成特征编码，通过监督学习获得形状分类能力。整个模型不需要进行图的标准化处理，形状特征选择兼顾整体和局部，并且图结构中引入边权重更符合形状认知特点，建立的特征编码能够有效区分不同形状，分类精度更高。

本文方法的基本思想是将建筑物的分类问题转化为图分类问题，利用图卷积神经网络方法分层提取建筑物图特征，生成特征编码，进一步支持建筑物分类、检索等应用。方法思路如图1所示。

图1 融合全局和局部特征的建筑物形状智能分类模型框架

Fig.1 Framework of intelligent classification model of building shapes based on fusion of global and local features

(1)建筑物加权图构建：以建筑物顶点为图节点、建筑物顶点之间的序列连接关系为边和顶点之间的标准化距离为边权重构建建筑物图结构，并计算建筑物全局和每一个图节点的局部形状特征生成模型输入。

(2)图分类模型学习：设计基于图谱卷积神经网络的图分类模型，提取图节点隐含的高阶形状特征，通过融合多层次图卷积特征的监督学习获取建筑物形状分类能力。

(3)图分类与特征编码生成：基于图分类模型，实现建筑物的形状分类，并将学习到的特征编码应用于形状检索等场景。

图G=(VEA)是一种描述实体及其关联关系的数据结构，其中，V=v1,v2,…,vn是大小为

的节点集合；E是边集合；A∈RN×N是邻接矩阵，记录每对节点之间边的权重。为了便于建筑物图的构建，本文以建筑物的顶点作为图节点、顶点之间的连接关系作为边构图[3]，建筑物的形状类别作为标签。建筑物形状在数据结构上是序列存储的闭合顶点坐标串，同一直线段上可能存在冗余的顶点，这些冗余点对建筑物形状特征表达影响甚微，需要进行删除处理。冗余点删除采用小阈值的Douglas-Peucker算法进行，可以保留重要的形状特征点。目前，建筑物图结构化通常采用简单无权图，图节点受到邻近节点的影响相同，与实际形状认知不符。本文引入加权图进行建筑物图结构化表达，图边权值以两端节点对应顶点之间的距离作为参考，采用相邻顶点之间的最大距离进行标准化处理后作为边的权值。建筑物加权图构建过程如图2所示。

图2 建筑物加权图构建过程

Fig.2 Construction process of building weighted graph

考虑到建筑物形状识别过程中，仅以图节点特征作为分类依据易受到局部形状扰动影响，本文采用圆形度Circularity、偏心率Eccentricity、矩形度Rectangularity和凹度Concavity建筑物4个整体宏观形状特征参数作为建筑物全局的特征描述参数，记为

=[Circularity Eccentricity Rectangularity Concavity]，各个参数的计算方法如下

(1)

(2)

(3)

(4)

式中，S表示建筑物的面积；L表示建筑物的周长；a和b分别表示建筑物最小外接矩形(minimum bounding rectangle, MBR)的长度和宽度；SR表示MBR的面积；SC表示凸壳的面积。

基于深度学习的形状识别与分类研究中，形状特征聚合计算是基础而又关键的步骤，形状特征参数应当满足平移、缩放、旋转不变性，同时，还应满足紧凑性、简单计算性和较高的形状区分性等要求。本文借鉴形状多级描述方法的思想，以三角质心距离[25]、中心距离[26]、多级弦长[27-28]等形状描述方式为基础，建立图节点的形状特征向量，包含两个部分：局部结构特征和区域结构特征，如图3所示。

图3 建筑物顶点的多级特征

Fig.3 Multi-level features of building boundary vertices

如图3(a)所示，图节点vi的局部结构特征是顶点Pi与其k阶相邻点构成的局部三角形结构来描述。顶点Pi与其k阶相邻点构成△Pi-kPiPi+kOki为三角形的质心，分别选取顶点Pi与Oki的距离

、顶点Pi-k和Pi+k的弦长

、PiPi+k与PiPi-k之间的夹角αk作为局部结构特征描述的参考。其中，PiOki位于建筑物外部时，Lk,1取负值；αk取建筑物内侧夹角作为其值。

如图3(b)所示，图节点vi的区域结构特征是顶点Pi、Pi与其k阶相邻点构成的局部三角形的质心Oki，以及建筑物质心O构成的△PiOOki来描述。分别选取顶点Pi与O的距离

、质心O与Oki的距离

、向量PiOk,i与PiO之间的夹角βk作为局部结构特征描述的参考。

以上特征参数满足平移和旋转不变性，进一步采用建筑物MBR的长度a对距离参数进行距离的标准化处理，保证形状缩放时的不变性，计算如下

(5)

图节点vi的特征向量表示为

，K为考虑的邻域阶数。图G包含特征维度为N×8K的形状特征向量f∈RN×8K，通过调节K值，既能获取较详细的形状特征，也可以获取较概略的形状特征。

由于矢量建筑物数据的非结构性，利用图像卷积神经网络进行特征表示学习需要额外增加结构化处理步骤，而图神经网络可以很好地处理非结构化的数据，本文利用图卷积神经网络构建建筑物图分类学习模型，实现建筑物的形状分类和认知表示。

本文借鉴已有图分类模型[23-24]和图池化操作，设计一种融合全局和局部特征的建筑物图分类学习模型，采用谱域卷积同时考虑图的拓扑信息和节点形状特征信息，从建筑物图结构中学习建筑物的形状类别表示。模型包括输入层、隐藏层和输出层。模型输入为加权的邻接矩阵AN×N、节点特征fN×8K和全局特征参数

。隐藏层包括4个叠加的图卷积层和1个多层感知机层(multilayer perceptron, MLP)，叠加的图卷积层逐层传播提取图节点隐含的高层次特征。其中，分别将第1层和第4层图卷积层输出的结果作为全局池化处理提取多层次的图卷积特征，生成特征向量f(1)和f(4)，并与全局特征参数

融合生成68维的特征编码，然后输入MLP层进行分类训练。MLP层包含1层神经元个数为68的输入层、1层神经元个数为128的隐藏层和1层神经元个数为10的输出层。输出层采用Softmax激活函数，输出层各位置的值分别对应各形状类别的概率，概率最大值为最终的预测结果。

图4 融合全局和局部特征的建筑物图分类学习模型

Fig.4 Architecture of graph convolutional neural network model for building shape classification based on fusion of global and local features

图卷积的目的是提取图的空间特征，实现过程包括空间域和谱域两种主要方式。本文采用基于图傅里叶运算的谱卷积来提取建筑物节点特征[23]。图上的谱卷积可以定义为节点信号f∈RN×8K与卷积滤波器gθ的乘法，即

(6)

式中，U表示L的特征矩阵；L=I-D-1/2AD-1/2为归一化的拉普拉斯矩阵；I是单位阵；D是A的度矩阵；U表示L的特征向量矩阵；Λ是特征值对角矩阵；则L=UΛUT，而输入特征f的图傅里叶变换为UTf。由于在实践中直接计算式(6)的代价较高，gθ可以通过K阶切比雪夫多项式Tk(x)来近似[29]，即

(7)

图神经网络包含两个层面的任务：图层面和节点层面。图层面是对整个图进行分类，而节点层面是对图中的节点进行分类。图层面分类任务中，需要聚合图的全局信息(包括节点和边)得到一个可以表示全图的向量，以支持后续的分类操作，在这过程中，主要采用两种聚合技术路线：一种是全局池化，直接对图卷积操作后的图进行全局池化操作，筛选出能够表示全图的节点特征得到图的表示；另一种是分层池化，与图像卷积神经网络中的池化作用类似，抽取具有代表性图节点生成新的子图，逐层减少图节点的数量完成分层池化操作，最后通过全局池化得到图的表示。考虑到本文输入的建筑物图节点数量非固定，为避免采用分层池化导致部分重要节点丢失，本文采用全局池化来将图的全局信息聚合表示为一个向量，即

(8)

式中，H(l)是第l层节点的特征。通过Readout(·)操作，图中所有节点在特征维度层面分别进行求和、求均值或求最大值，计算得到图的向量表示。

模型采用端到端的方式进行监督训练，通过对训练数据的学习，可以将训练好的模型用来预测无标签建筑物图数据的类别。模型输出为建筑物图类别预测的概率值

，模型的学习目标是最小化

和标签值y之间的差异，通过交叉熵损失函数计算损失值Loss，即

(9)

式中，N为输入batch中包含图的数量；C为建筑物类别的数量；yic为符号函数，如果样本i的类别为c则取1，否则取0;pic为样本i属于类别c的预测概率。模型选择Adam优化器，其收敛速度更快，学习效果更为有效，并通过误差反向传播更新网络参数。

试验数据选择文献[3]开源的未旋转处理的建筑物数据，包含10种常见的建筑物类别，见表1，每个类别有500个样本，合计5000个样本，并包含形状类别标签。按照3∶1∶1比例分别从每个建筑物类别样本中随机抽取样本，生成训练集(3000个)、验证集(1000个)和测试集(1000个)。

表1建筑物试验数据的形状类别

Tab.1

新窗口打开| 下载CSV

本文采用Python语言和Pytorch深度学习框架构建建筑物形状智能分类模型，每层的激活函数选择ReLU函数，并采用Dropout算法防止模型过拟合。经反复试验，模型学习率设置为0.001, Dropout算法随机归零的概率设置为0.3，训练批次为100，最大迭代次数为400次。

为了验证数据处理中邻域阶数K值对建筑物图分类学习模型性能的影响，分别设置不同的K值进行模型训练和分析。考虑到选取的样本中包含I形和O形，它们中包含只有4个顶点的情况，当K≥3时，图节点的形状特征参数出现重复的情况，不满足紧凑性要求。故分别设置K=1、K=2进行图节点特征提取，输入模型进行监督训练，训练过程中的损失值和验证精度的变化如图5所示。分析可知，两种邻域阶数的损失值收敛情况和验证精度变化情况相似且较为一致，损失值一开始收敛速度较快，然后逐渐趋缓，迭代200次后趋于平稳，验证精度达到96%以上。相比较而言，当K=2时，模型的收敛速度更快、更容易达到较高的分类精度。模型训练完成后，采用测试集对模型进行测试，K=1和K=2时的测试精度分别为97.6%和98.1%，表明K值不同对模型的分类精度影响较小；测试精度反映了该模型具有较高的泛化能力，可以对建筑物的形状进行有效分类。

图5 模型训练过程中的损失值与验证精度变化对比

Fig.5 Comparison of train loss and validation accuracy

为了验证4个建筑物宏观形状特征参数和建筑物图加权对模型分类的影响，分别设置两组对照试验：一组为模型训练时特征编码中未融合宏观形状特征参数；另一组为训练数据中建筑物图为简单无权图。训练过程中的损失值和验证精度的变化分别如图6、图7所示，采用测试集对模型进行测试，前者测试精度分别为93.8%和96.6%，后者则为95.3%和97.5%，分析可知：宏观形状特征参数可以较好地提高模型的分类精度，当K=1时，模型更容易受到训练数据缺少宏观形状特征参数的影响；建筑物图加权处理后，对提高模型的分类精度有一定的积极作用，但是效果不显著。

图6 模型训练过程中的损失值与验证精度变化对比(特征编码未融合宏观形状特征参数)

Fig.6 Comparison of train loss and validation accuracy (feature coding without concatenated entire shape features)

图7 模型训练过程中的损失值与验证精度变化对比(建筑物图为简单无权图)

Fig.7 Comparison of train loss and validation accuracy (building graph is a simple unweighted graph)

不同类别建筑物形状编码在编码空间中应当保持同类聚集、异类互斥的分布模式[1,3,30]。为了验证分类模型输入MLP层的68维特征编码的区分度，以验证集和测试集建筑物样本为例(合计2000个样本)，输入模型提取特征编码，并使用t-SNE方法[31]降维可视化后的结果如图8所示。从整体上看，相同类别的形状呈现聚集分布，并与其他类别的形状保持一定的距离，相似形状的类簇则相互接近，表明本文的特征编码区分度较好，对形状分类起到了积极的作用。

图8 特征编码t-SNE降维可视化

Fig.8 Visualization of feature coding by t-SNE method

同时，部分形状的类簇之间也出现了交叠，如E形和F形类簇，原因是它们在形状认知中具有一定的相似性，少部分建筑物在形状分类时存在不易区分的情况。

从视觉上看，建筑物为轮廓闭合的多边形，但是其在数据结构上是由序列存储的闭合坐标串组成，本文进一步验证模型的旋转不变性和对坐标序列起始点的敏感性。任意选取一个建筑物复制3组×5个样本，分别设置3组对比试验：第1组以60°为参考依次旋转样本；第2组依次改变样本坐标序列的起始点位置；第3组随机改变样本坐标序列的起始点位置并以60°为基准进行旋转操作。将样本图结构化后输入模型中，提取特征编码作为样本的形状表征，采用余弦相似度计算样本之间的相似性，计算结果分别见表2—表4，红色点为样本起始点的位置。由表2—表4可知，模型满足旋转不变性和镜像不变性，但坐标序列的起始点差异对模型的形状认知产生一定的影响。可能的原因是坐标序列起始点不同改变了图的邻接矩阵，同时图卷积运算时为了减少计算复杂度，采用K阶切比雪夫多项式来近似，导致模型形状认知结果存在一定的差异，该差异可以通过文献[6]给出的策略消除。已知参考样本起始点为凸顶点，如果对比样本起始点为凸顶点，相似度较高；否则，相似度相对较低。因此，图节点特征选取时需要进一步考虑顶点凹凸性对形状认知的影响。相较邻域阶数K=1、K=2时相似度相对较高，表明增加邻域阶数，有利于减少坐标序列起始点改变对相似度计算的消极影响。

表2样本旋转后的相似性统计

Tab.2

新窗口打开| 下载CSV

表3样本坐标起始点改变后的相似性统计

Tab.3

新窗口打开| 下载CSV

表4样本旋转且坐标起始点改变后的相似性统计

Tab.4

新窗口打开| 下载CSV

本文分别选取傅里叶形状描述子的欧氏距离法[15](ED)、转角函数法[14](TA)、图卷积自编码器模型[3](GACE)、神经网络法[21](NN)和基于空间方法的图卷积神经网络模型[24](Spatial-GCN)与本文融合全局和局部特征的图谱卷积神经网络模型(Spectral-GCN)进行形状分类测试与对比分析。为保证对比的合理性，NN法和Spatial-GCN法采用的训练与测试数据与本文一致；ED法和TA法采用测试集1000个样本，分别计算与建筑物形状模板的相似度；GACE法使用旋转处理后的试验数据进行无监督训练[3]，计算形状编码与模板编码的相似度，然后选择相似度最大模板的作为形状分类依据，并统计形状分类的精度。不同方法形状分类精度统计结果见表5，从统计结果来看，相较于传统的形状描述和分类方法，基于神经网络和图卷积神经网络的分类方法精度明显更高；本文方法在对比方法中的形状分类精度最高，K=1和K=2时均具有明显的优势；以K=2为例，相较于同样使用图卷积神经网络的GACE法和Spatial-GCN法，本文方法分类精度分别提高了4.0%和5.8%，分类精度得到提升。

表5不同方法形状分类精度

Tab.5

新窗口打开| 下载CSV

选取南京市某区域506个OpenStreetMap建筑物作为测试对象，利用2.2节训练好的模型，分别从形状分类和检索两个应用场景验证模型的有效性和普适性。图9显示了训练好的模型应用于测试对象的分类结果，并用红色标记了部分分类结果与所属形状模板的余弦相似值，从分类结果来看，模型的分类结果与人的认知结果基本一致，可以达到较好的分类结果。错误识别的情况主要有两种原因：①少部分测试对象边界复杂或者类别不易区分，如图9中标记的测试对象1、对象2和对象3等，容易被识别为其他类别，即使人工介入也难以准确区分；②少部分测试对象形状类别未在10类模板中，模型只能将其划分到概率最大的类别中(如图9中标记的测试对象4、对象5和对象6等)。针对上述情况，补充更广泛多样的训练样本及形状类别是一种有效解决途径。

图9 测试对象形状分类结果

Fig.9 Shape classification results of the tested buildings

本文随机选取6类形状模板，输入模型中计算特征编码，然后计算与测试对象特征编码的余弦相似度进行形状检索。表6展示了与模板最相似和最不相似的两组检索结果，检索结果的颜色代表其在模型中的分类结果(参考图9中的图例)，数字表示与检索模板的相似度。分析可知，特征编码能够有效区分简单的形状特征，对较复杂的形状也有一定的适用性，如E形和H形检索结果；形状简单的模板与类别不同且形状复杂的测试对象的相似度较低(如L形)；反之，形状复杂的模板与类别不同且形状简单的测试对象的相似度也较低(如E形)，符合人的空间认知。

表66类形状模板的检索结果(非依比例显示)

Tab.6

新窗口打开| 下载CSV

本文提出了一种融合全局和局部特征的建筑物形状智能分类方法。该方法借助建筑物的加权图结构，并融合了全局的宏观形状特征、图节点的局部结构特征和区域结构特征，输入设计的图谱卷积神经网络模型进行卷积特征计算，采用监督学习的方式训练模型，获取了预测建筑物类别的能力，并得到形状表示结果。试验和应用结果表明，相较于对比方法，该方法在测试集上取得了最高的分类精度，生成的特征编码能够有效区分不同形状类别，对形状分类起到了积极的作用，可以胜任建筑物的形状认知与分类任务。

但是该模型也存在一些问题，如形状认知结果会受到建筑物坐标序列起始点的影响，对边界复杂的建筑物存在不易区分的情况，此外，模型性能受限于采用的训练数据类别不够多及数据规模仍不足，后续尝试修改模型结构和补充更广泛多样的训练数据及形状类别来解决。

来源：测绘学报