摘要:基于机器学习的轨迹预测方法通常依赖历史轨迹数据的数量和质量,而社交媒体签到数据更新频率低,形成的轨迹稀疏,在预测中易出现难学习、过拟合等问题。为突破低质量轨迹数据在预测任务中的限制,本文提出一种基于地理知识图谱增强与多时空约束条件建模的轨迹预测方法。将复杂异构
本文内容来源于《测绘学报》2024年第10期(审图号GS京(2024)2165号)
地理知识图谱增强与多时空条件约束的轨迹预测
李佳,1, 李静1, 刘海砚,1, 陆川伟1, 陈晓慧1, 刘俊楠2, 石文31.信息工程大学数据与目标工程学院,河南 郑州 450001
2.
3.
摘要:基于机器学习的轨迹预测方法通常依赖历史轨迹数据的数量和质量,而社交媒体签到数据更新频率低,形成的轨迹稀疏,在预测中易出现难学习、过拟合等问题。为突破低质量轨迹数据在预测任务中的限制,本文提出一种基于地理知识图谱增强与多时空约束条件建模的轨迹预测方法。将复杂异构的多源地理信息结构化为由若干三元组构成的地理知识图谱进行统一表达,并通过知识表示模型挖掘其中语义关联来增强轨迹序列的向量表征,同时采用具有多重时空约束条件的多头自注意力机制提取稀疏轨迹序列中的多重时空特征,从而提升轨迹预测精度。研究采用纽约市Foursquare社交媒体签到数据进行方法验证,试验结果表明:本文方法相较于其他表示学习方法和轨迹预测方法,在命中率和平均倒数排名两个评价指标上均有不同程度的提升,能够有效增强稀疏轨迹序列的表征,提取轨迹的多重时空特征,提高社交媒体用户签到轨迹的预测精度。
关键词:轨迹预测多源地理信息社交媒体地理知识图谱多时空约束
李佳(1996—),女,博士生,研究方向为时空智能预测。E-mail:
通信作者:刘海砚 E-mail:liuharry2020@163.com
本文引用格式
李佳, 李静, 刘海砚, 等.
LI Jia, LI Jing, LIU Haiyan, et al.
阅读全文
随着互联网和移动定位技术的快速发展,人类通过智能设备在社交媒体上进行签到记录活动情况,形成了海量的轨迹数据。通过对轨迹定量化分析发现人类活动行为具有时空统计规律[1-2],可以被稳定地预测[3-4],在交通规划[5]、个性化推荐[6]和流行病防控[7]等领域都具有重要的研究意义和应用价值。不同于连续的轨迹数据,社交媒体签到形成的轨迹数据更新频率从几分钟到几个小时不等[8-9],较为稀疏且无法提供用户完整的移动信息,给轨迹预测带来了巨大挑战。增强稀疏轨迹表征质量、拟合轨迹序列的非线性关系是轨迹预测研究的核心任务。早期的轨迹预测方法主要根据历史轨迹的移动模式[10-11]进行预测,然而该类方法受到移动模式片面性的影响并忽略了个体偏好。基于马尔可夫链的轨迹预测方法虽然能够建模个体偏好[12-14],但受到观测独立性假设的影响,无法刻画人类活动的多层次周期。近年来,循环神经网络(recurrent neural network,RNN)及其变种长短时记忆网(long short term memory,LSTM)和门控循环单元(gate recurrent unit,GRU)能够有效捕捉移动轨迹的多层次周期,已被广泛用于轨迹预测[15-19]。如文献[15]采用RNN提出基于会话的时空循环神经网络模型用于捕获用户的移动序列,解决个体偏好随时间和地域变化而动态更改的问题;文献[16,18]分别采用LSTM和GRU提取移动对象的多层次周期进行轨迹预测;文献[20]针对循环神经网络难以捕捉长序列特征的问题,采用基于多头自注意力机制的Transformer模型对轨迹数据进行建模捕获长时依赖。以上方法尽管能够提取轨迹序列的长时依赖和多层次时序特征,但难以兼顾轨迹丰富的空间、时序和语义信息,缺乏多重时空特征提取能力。
用户的签到活动受个体需求和城市空间结构等要素的共同影响[21-22],轨迹表征通过表示学习融合城市中的时空信息,将原始轨迹转换为低维向量表征,以弥补稀疏轨迹信息不足的缺点[23-24]。独热模型(One-hot)将离散特征映射为二进制向量表征,是最原始的表征方法,但容易形成高维且稀疏的特征使得轨迹预测效果欠佳。基于词向量的方法将轨迹点视作单词自动学习数据隐式特征,有效结合空间和语义信息增强轨迹表征提升预测效果,如Word2vec[14,25]、Place2vec[26]和POI2vec[27]等方法。图表示学习方法将图结构轨迹数据映射为低维稠密向量表征,融合空间和语义特征丰富上下文信息[20,28-34]。如文献[28]通过构建地理-时间影响感知图,采用Deepwalk融合轨迹时空信息;文献[31]采用LINE分别捕获序列、地理、时间和语义特征进行轨迹增强;文献[32]基于图卷积神经网络提出多图融合的方法,对用户和兴趣点(point of interest,POI)的内部特征与外部特征建模;文献[34]基于图注意力网络集成签到序列和时空信息增强轨迹表征。这些方法融合了签到序列、空间和语义信息进行轨迹表征,有效提升轨迹预测精度,但图表示学习方法侧重于图结构特征提取,难以综合路网、街区等异构的外部信息挖掘其语义特征及潜在关联。
知识表示学习将知识图谱中的实体或关系投影到连续向量空间[35-36],采用连续向量表征实体间的复杂语义关联,能够为下游机器学习模型提供更有效的语义特征,有效缓解数据稀疏问题。知识表示学习在语义层面将结构化的对象进行表征,相较于其他表示学习方法更擅长在语义层面对多源异构的外部信息进行融合和表征[37-38]。因此,本文结合知识表示学习,提出一种基于地理知识图谱增强与多时空约束条件建模的社交媒体用户签到轨迹预测方法。首先,将复杂的多源地理信息结构化为由若干三元组组成的地理知识图谱进行轨迹增强表征,解决低质量轨迹表征效果差的问题;然后,通过多头自注意力机制[39]提取轨迹序列当中的长时依赖,并加入POI类别属性、签到时间和街区等多重时空约束条件提取轨迹增强表征后的多重时空特征,映射成用户到访集合中POI的概率,解决稀疏轨迹特征难学习过拟合的问题。在纽约市的社交媒体签到数据、路网数据和行政区划数据构建的数据集中对本文方法进行验证,结果表明,本文方法有助于增强轨迹向量表征,提高社交媒体用户签到轨迹预测的精度。
1 研究方法1.1 研究框架1.1.1 基本定义社交媒体用户签到轨迹预测是基于社交签到数据,根据用户历史签到轨迹对用户下一时刻所处的POI进行预测。记用户集合U={u1,u2,…,um},POI集合P={p1,p2,…,pN}。其中,m为用户的数量,N为区域中兴趣点的数量。假设在研究区域内,用户记录了在兴趣点POI间的活动情况,则对社交媒体用户签到轨迹预测的定义如下。
定义1:社交媒体用户签到轨迹。假设u为用户,p为POI,则用户u在兴趣点p的签到可以表征为q=〈u,p,t〉,其中t为签到时间,点p=〈lat,lon,category〉,其中lat、lon和category分别为POI的纬度、经度和类别属性。社交媒体用户签到轨迹则为按照用户签到时间先后次序排列的集合Qu=(q1,q2,…,qn),其中n为轨迹长度。
定义2:社交媒体用户签到轨迹表征。通过表示学习方法将复杂的原始轨迹序列嵌入低维空间Rn×d,得到稠密的向量表征,签到轨迹Qu的向量表征可记为Eu=(e1,e2,…,en)∈Rn×d,其中,ei为轨迹点qi的向量表征,d为表示学习后的向量维度。
定义3:社交媒体用户签到轨迹预测。给定用户u及其相应的签到轨迹向量表征Eu,轨迹预测任务则转化为构建历史轨迹与位置点的映射关系F,以预测用户下一个时刻所处的POI位置点qn+1(1)1.1.2 总体框架社交媒体签到数据形成的稀疏轨迹存在多层次时序特征捕捉难的问题,导致轨迹预测效果不理想。目前的轨迹表征方法和预测模型虽然能够融合时空信息,捕捉长时依赖和多层次时序特征,弥补稀疏轨迹信息不足的缺点,但仍然缺乏多源地理信息综合能力和多重时空特征提取能力。为了解决这些问题,本文结合知识表示学习提出基于地理知识图谱增强与多时空约束条件建模的轨迹预测方法用于社交媒体用户签到轨迹预测,该模型主要由两个部分组成(图1):①基于地理知识图谱增强的签到轨迹表征;②多时空约束条件建模的签到轨迹预测。
图1图1 整体研究框架
Fig.1 Overall framework
在基于地理知识图谱增强的签到轨迹表征中,首先,将路网、行政区划、POI数据等多源外部信息抽象为实体和关系,构建三元组形成地理知识图谱实现多源地理信息语义层面的关联;然后,利用知识表示学习模型将多源地理信息表征为低维向量,与签到轨迹进行融合增强稀疏轨迹向量表征。在多时空约束条件建模的签到轨迹预测中,首先,通过多头自注意力机制提取轨迹序列的时序特征;然后,通过全连接层将特征映射成用户到访集合中POI位置点的概率,由于轨迹表征融合了丰富的时空信息,因此增加POI类别属性、签到时间和街区的预测作为多重时空约束条件提升多重时空特征提取能力。
1.2 基于地理知识图谱增强的签到轨迹表征知识表示学习通过知识图谱联合多源地理信息并将其转化为表征形式统一的低维稠密向量,实现外部信息语义层面的融合和表征,因此本文基于知识表示学习,构建签到轨迹增强表征方法,由联合多源地理信息的地理知识图谱构建和基于知识表示学习的签到轨迹向量表征组成。首先,根据语义和空间关系将路网、行政区划、街区和POI等复杂的多源地理信息抽象为实体和关系构建地理知识图谱,对多源数据进行结构化组织;然后,利用TransR模型将地理知识图谱嵌入低维向量空间并与轨迹序列进行融合,增强签到轨迹向量表征。
1.2.1 联合多源地理信息的地理知识图谱构建知识图谱利用语义单元三元组〈ehead,r,etail〉联合多源地理信息进行结构化组织,为签到轨迹向量增强表征提供基础的数据结构。在三元组〈ehead,r,etail〉中,ehead为头实体,etail为尾实体,r为实体间的语义关系。知识图谱包含各种不同类型的实体和关系,根据关系类型可以被描述为
(2)
式中,G为知识图谱;r1、r2和rn为知识图谱中不同类型的关系;
为关系rn对应的三元组集合。
社交媒体用户签到轨迹由用户通过社交媒体签到后根据时间的先后次序排列形成,虽然数据稀疏,但包含丰富的时空信息,与城市区域和道路网分布都具有相关性。为了融合这些外部时空信息增强稀疏轨迹的表征能力,将行政区划、街区、路网和POI等多源地理信息抽象成知识图谱中的实体和关系,构建具有城市区域信息、空间邻近信息、道路连通信息、POI空间分布信息和语义信息的地理知识图谱,如图2所示,包含行政区划-街区空间关系、街区空间邻近关系、街区-道路空间关系、POI-街区空间关系及其类别属性关系5种类型三元组。
图2图2 联合多源地理信息的地理知识图谱
Fig.2 Semantic network combining multi-modal spatio-temporal information
(a)行政区划-街区空间关系三元组。街区是被道路网包围的区域单元,包含住宅、商店、学校等,并通过道路与其他街区相连[40]。城市街区根据不同的规划设计呈现出不同的形态结构和功能分区,如曼哈顿区是纽约市的金融中心,聚集了大量以金融和贸易为主的公司。因此,将街区和行政区划分别抽象为实体eregion和edistrict,街区所属的行政区划抽象为关系rbelongs to表示不同区域对用户出行的影响,定义为fA
(3)
(b)街区空间邻近关系三元组。用户在选择下一个要访问的POI时,空间距离是重要的影响因素,如需要就餐时通常会选择附近的餐馆。因此,将街区抽象为实体eregion,街区的空间邻近关系抽象为关系rnearby表示空间距离的影响,定义为fS
(4)
(c)街区-道路空间关系三元组。用户选择即将访问的POI时,不仅受空间距离影响,还受道路连通的影响。为了捕捉街区之间的道路连通情况,将街区和道路分别抽象为实体eregion和eroad,道路所在的街区抽象为关系rcontain,构建道路连通三元组为fR
(5)
(6)
(e)POI与其类别属性关系三元组。POI的类别属性包含了丰富的语义信息,将POI和类别抽象为实体ePOI和ecategory,POI所属的类别抽象为关系rhas type,构建属性三元组关联语义信息,定义为fT
(7)
1.2.2 基于知识表示学习的签到轨迹表征TransE[41]是最常用的知识表示学习模型之一,对于给定语义单元〈ehead,r,etail〉对应的关系向量r为头实体向量ehead和尾实体向量etail之间的平移,模型表征的实体向量ehead和etail可以通过平移向量r以低误差连接,即满足:ehead+r≈etail。由于实体空间的单一性,TransE对于知识图谱中POI-街区空间关系和POI与其类别属性关系等三元组中存在的“一对多”复杂关系上建模效果欠佳。TransR[42]通过矩阵算子Mr将实体投影到不同的关系空间,将投影后的头实体向量
和尾实体向量
在关系空间中进行连接,解决了在复杂关系中建模效果差的问题,如图3所示。因此,本文采用TransR对地理知识图谱进行表示学习,分别得到地理知识图谱中实体和关系的向量表征。
图3图3 TransR模型原理
Fig.3 Theory of TransR
TransR将地理知识图谱嵌入低维空间,获得实体向量表征,但轨迹序列的时间特征也是用户活动的重要影响因素,因此采用time2vec[43]将签到时间转化为向量表征以便于和POI的向量表征进行融合。time2vec的计算原理如下
(8)
式中,et为生成的时间向量表征;ω和φ为可学习参数;激活函数sin用于捕获周期特征。
表征融合器将POI和类别属性表征及签到时间表征进行融合,生成具有丰富时空信息的签到轨迹向量表征,表征融合器由嵌入层和激活函数构成,计算原理如下
(9)
式中,fembed为嵌入层;eu为通过嵌入层生成用户向量表征,表示用户偏好;ep和ec分别为由TransR生成的POI和类别属性的向量表征;符号⊕表示向量拼接;σ为激活函数ReLU;wp,u和wc,t为向量融合的权重矩阵;bp,u和bc,t为向量融合的偏置项。用户签到轨迹Qu=(q1,q2,…,qn)生成的向量表征Eu=(e1,e2,…,en)∈Rn×d即为签到轨迹预测模型的输入。
1.3 多时空约束条件建模的签到轨迹预测多头自注意力机制能够建模序列中任意两个轨迹点之间关系而不用考虑序列位置,还能捕获多层次周期特征,具有更好的效果和效率[44]。因此,本文基于多头自注意力机制构建具有多时空约束条件的预测模型提取签到时序特征进行轨迹预测,如图4所示。模型主要由自注意力编码器和多时空约束解码器构成。自注意力编码器由多头自注意力机制实现序列到序列的映射,以捕获序列内部复杂关系提取轨迹时序特征;多时空约束解码器由全连接层构成,将编码器提取的序列特征映射成用户下一时刻到访集合中POI的概率,并增加POI类别属性、签到时间和活动街区的预测,提升模型多重时空特征提取能力。图4图4 多时空约束条件的轨迹预测模型
Fig.4 Trajectory prediction model with multi-spatiot emporal constraint
1.3.1 自注意力编码器自注意力编码器由3个标准的Transformer编码器堆叠而成,每个Transformer编码器由1个多头自注意力层和1个前馈神经网络层组成。多头自注意力层使用不同的权重矩阵对输入的轨迹向量表征进行多次自注意力计算,得到多个注意力向量,每个自注意力向量表示不同层次的序列特征。多头自注意力层由自注意力头、残差连接和层归一化构成,其中自注意力头的计算原理如下
(10)
式中,Wq、Wk和Wv分别为查询向量、键向量和值向量的权重矩阵;xi、xj分别为第i、j个轨迹点向量表征;n为轨迹长度;Si,j表示第i个轨迹点和第j个轨迹点的相关性矩阵;head为每个自注意力头计算得到的注意力向量。采用两个自注意力头计算得到注意力向量head1和head2,对注意力向量进行拼接和线性变换,得到最终的多头自注意力空间的向量表征
(11)
式中,符号concat表示注意力向量拼接;W为线性变换矩阵。
前馈神经网络层由全连接层和激活函数组成,用来进一步提取自注意力层输出的序列特征,其计算原理如下
(12)
式中,W1和W2分别为两个全连接网络的权重矩阵;b1和b2分别为两个全连接网络的偏置项;ReLU为激活函数。
为加快收敛并防止梯度消失,编码器的每个自注意力层和前馈神经网络层都增加残差连接和归一化层来对每一层的输出输入进行相加和归一化。
1.3.2 多时空约束解码器解码器将自注意力编码器形成的轨迹序列特征矩阵进行拟合后映射成用户访问区域内POI集合的概率。由于签到轨迹增强表征融合了丰富的外部信息,在预测时增加时空约束能够提升模型多重时空特征提取能力,因此解码器中增加全连接层对POI类别属性、签到时间和活动街区进行预测。解码器由4个全连接层构成,用于预测用户将访问的POI、类别属性、签到时间和活动街区。解码器的计算原理如下
式中,x为自注意力编码器生成的轨迹向量;、和分别为模型预测的用户到访集合中POI、POI类别属性和街区的概率向量,概率向量中最大值对应的POI、POI类别属性和街区即为预测值;为预测的签到时间;Wp、Wc、Wt和Ws分别为全连接层的权重矩阵;bp、bc、bt和br分别为全连接层的偏置项。为了使预测结果兼顾类别属性和签到时间等要素,定义轨迹预测模型损失函数Loss为POI、类别属性、签到时间和活动街区预测的损失加权和
(14)
式中,Lossp、Lossc和Losss分别为预测的POI、类别属性和街区的交叉熵损失函数;Losst为签到时间预测的均方根误差损失函数;φ为时间损失函数的权重系数,用于放大数值较小的时间损失。
2.1 研究范围与试验数据本文选用纽约市社交媒体签到数据、路网数据和行政区划数据进行分析验证,如图5所示。签到数据来源于Foursquare平台[45],是由用户利用智能终端设备主动签到形成的具有空间位置、时间和语义信息的数据;路网数据和行政区划数据来源于OpenStreetMap平台[46],用于反映纽约市各区域之间的连通性和行政区划范围。
图5图5 研究区域
Fig.5 Study area
原始签到数据包含用户编码、签到时间等6个字段,路网和行政区划数据为shp格式,包含道路名称、路网等级和行政区划等属性信息。本文方法对这些原始数据进行预处理,构建地理知识图谱和社交媒体用户签到轨迹数据集进行试验,具体流程如图6所示。在地理知识图谱构建试验中,首先采用ArcGIS软件筛选出主干路网,并采用线转面和细碎面融合等操作将整个城市划分为由若干区域组成的街区数据,然后提取签到数据的POI映射到街区对数据进行关联,最后抽取数据当中的实体和关系信息形成三元组构建地理知识图谱。试验中共抽取出24 825个实体,5种类型关系,最终形成214 849对三元组。在社交媒体用户签到轨迹数据集的构建试验中,为缓解数据极度稀疏带来的负面影响,首先去除签到数少于10个的不活跃用户,并筛选出时间范围2012年4月1日至2013年2月28日的数据作为试验数据集,随后参照文献[20]的方法,按照用户签到时间先后次序进行排列,采用24 h作为时间间隔对序列进行分段处理,将离散的签到数据转化为轨迹,并筛选出长度大于2的轨迹。本次试验共形成32 460条轨迹,轨迹长度统计如图7所示,其中大部分轨迹长度小于6,表1为社交媒体用户签到轨迹数据集详细情况,数据集划分为训练集和测试集,其中80%作为训练集,20%为测试集。
图6图6 数据预处理流程
Fig.6 Data preprocessing process
图7图7 用户签到轨迹长度
Fig.7 The trajectory length of user check-in
表1社交媒体用户签到轨迹数据集
Tab.1 Dataset of social media user check-in trajectories
用户数量POI数量类别数签到次数轨迹条数307614 726366194 58432 460新窗口打开| 下载CSV
2.2 评价指标与参数设置2.2.1 评价指标本文选用命中率(hit rate,HR@K)和平均倒数排名(mean reciprocal rank,MRR)对模型预测的精度进行评价。HR@K描述的是前K个预测序列中是否包含正确的预测值,MRR描述的是正确预测值在预测序列中的排名,两者值越大说明模型预测精度越高,计算公式如下
(15)
(16)
式中,hit(i)表示用户i下一时刻所处的位置点qn+1是否在前K个预测序列中,存在为1,反之为0;rank为正确预测值qn+1在预测序列中排名;m为用户数量。
2.2.2 参数设置试验在Windows 10/64位/i7环境下进行,方法通过PyTorch、Numpy和Pandas库使用Python语言实现。地理知识图谱中街区空间邻近关系三元组的空间邻近阈值是重要参数,试验分别选用0.5、1、2、3 km作为阈值进行对比,表2为不同邻近阈值构建的地理知识图谱对应的轨迹预测精度,其中1 km距离阈值对应的预测精度最高;TransR的向量表征维度与信息表达相关,试验分别选用16、32、64和128作为知识表征的特征维度进行对比,表3为不同特征维度对应的预测精度,其中64维向量对应的预测精度最高。签到轨迹表征中TransR的学习率设置为0.001,批量大小为256,迭代次数为150;轨迹预测采用1 km空间邻近阈值,64维特征形成签到轨迹向量表征作为模型的输入,预测模型中自注意力编码器中的多头注意力层由2个注意力头构成,多重约束解码器中全连接层的单元数为1024,时间损失函数的权重系数φ为10,模型的学习率为0.001,Adam优化器的权重衰减率为5×10-4,批量大小为32,迭代次数为60。
表2不同邻近阈值的预测精度
Tab.2 Prediction accuracy of different proximity thresholds
距离/kmHR@1/(%)HR@5/(%)HR@10/(%)HR@20/(%)MRR/(%)0.522.2841.8148.6353.4831.17124.6644.1750.4455.4433.51223.7942.3548.4753.7632.33323.6041.9447.8752.4631.72新窗口打开| 下载CSV
表3不同特征维度的预测精度
Tab.3 Prediction accuracy of different feature dimensions
维度HR@1/(%)HR@5/(%)HR@10/(%)HR@20/(%)MRR/(%)1618.4437.8444.2150.2828.483222.4241.3548.1252.9030.886424.6644.1750.4455.4433.5112822.6342.4648.5453.9531.53新窗口打开| 下载CSV
2.3 试验结果与分析2.3.1 不同轨迹表示学习方法下的精度对比为验证基于地理知识图谱增强的签到轨迹表征方法相较于其他表示学习方法的有效性,试验选用One-hot、Word2vec、Geohash和TransE方法4种表示学习方法与本文采用的TransR方法进行对比:①One-hot通过将离散的特征映射到欧氏空间对特征进行表征,但形成的向量维度和特征数相同,容易产生维度爆炸和特征稀疏等问题;②Word2vec[25]将POI类别属性视为单词学习语义特征建立POI的向量表征;③Geohash[47]基于Z阶曲线的地理编码通过经纬度将POI映射到地理网格学习空间分布特征;④TransE的原理与TransR类似,但缺少多个关系空间,在“一对多”这种复杂关系的建模效果上较差。
表4为不同的表征方法下的轨迹预测精度对比,结果表明TransR在HR@K和MRR两个评价指标上都具有更高的精度。与One-hot、Word2vec和Geohash只考虑模型单一特征的表示学习方法相比,TransR的HR@1指标在不同约束条件中最高分别提升了10.39%和9.07%,MRR指标也分别提升了12.85%和11.61%,表明TransR能更好地捕捉时空信息的特征以及特征之间的语义关系;与TransE相比,TransR利用多个特征空间,解决了“一对多”关系建模效果差的问题,进一步增强了轨迹序列表征能力,提升轨迹预测精度。
表4不同表示学习方法的精度对比
Tab.4 Accuracy comparison with different representation learning methods
One-hotTransformer13.4328.1032.4535.7319.56Word2vec13.4829.4233.5236.6820.95Geohash19.4740.0746.6950.6229.19TransE22.3840.9748.2753.0831.05TransR23.8243.2449.2253.4332.41One-hotTransformer+15.5929.2133.9137.4321.90Word2vec16.6631.4135.7840.4023.41Geohash20.3441.3747.8952.1629.78TransE22.7242.0148.9253.8731.81TransR24.6644.1750.4455.4433.51新窗口打开| 下载CSV
为验证多重时空约束条件特征提取的有效性,试验采用原始的Transformer模型和具有多重约束条件的模型(Transformer+)进行对比,原始的模型仅对轨迹点预测,而在Transformer+中,增加街区、签到时间和POI类别属性的预测提升特征提取能力。由表4可知,在不同的表示学习方法中增加约束条件均能提升轨迹预测精度,在基于TransR的表征方法中,Transformer+的预测精度在HR@K指标中分别有了0.84%、0.93%、1.22%和2.01%的提升,表明Transformer+的多重时空约束条件能有效帮助模型提取时序特征提升预测精度。
为对比类别属性、签到时间、街区3种约束条件对于轨迹预测精度的影响,试验分别去除Transformer+模型当中的类别、时间和街区约束条件,以分析不同约束条件对于预测结果的贡献(表5)。通过与表4对比可知,在去除不同约束条件后,模型的预测精度均有所下降,其中在去除类别和街区约束条件后,HR@1指标分别下降至24.03%和23.92%,精度下降较去除时间约束明显,表明类别和街区约束对预测结果影响大于时间约束。
表5不同时空约束条件的精度对比
Tab.5 Accuracy comparison with different spatiotemporal constraint
约束条件HR@1HR@5HR@10HR@20MRR去除类别24.0343.3349.5453.5832.47去除时间24.3643.8949.9654.4132.80去除街区23.9243.6849.7753.6332.52新窗口打开| 下载CSV
2.3.2 与常用轨迹预测方法精度对比为验证本文方法的有效性,试验选取不同的轨迹预测方法进行对比分析:①ST-RNN[15]通过融合时间和空间上下文信息,采用RNN循环单元提取时序特征进行轨迹预测;②DeepMove[18]采用历史注意模型捕获个体活动偏好,采用GRU作为循环单元模拟复杂的序列信息进行轨迹预测;③PLSPL[17]通过注意力机制提取用户长期偏好,通过LSTM提取用户的短期偏好,将短期偏好和长期偏好相结合进行轨迹预测;④GETNext[20]将用户在POI间的转移模式、用户偏好、时空上下文和时间信息合并表示后采用Transformer进行轨迹预测。表6为本文方法与常用轨迹预测方法精度对比。试验结果表明,在HR@K和MRR两个精度评价指标上,本文方法均优于其他轨迹预测方法,HR@20最大提升了22.66%,MRR最大提升了13.28%,表明本文方法在轨迹预测任务中的有效性。与本文方法相比,对比方法虽然都将时空信息作为特征纳入模型当中,但在该预测任务中表现欠佳,主要原因如下。
表6本文方法与其他轨迹预测方法精度对比
Tab.6 Accuracy comparison with other trajectory prediction methods
ST-RNN13.4427.3430.7232.7820.23DeepMove15.7828.4731.8533.9521.44PLSPL15.3838.2445.6352.1625.82GETNext19.3938.9547.5353.0628.05本文方法24.6644.1750.4455.4433.51新窗口打开| 下载CSV
(1)循环神经网络难以较好拟合这种具有多重周期的时序数据。注意力机制通过模拟类人焦点,解决了序列模型中多重周期特征、长距离依赖提取难的问题,因此在预测任务中,基于多头自注意力机制的GETNext模型和本文方法的表现效果均优于基于循环神经网络的ST-RNN、DeepMove和PLSPL模型。
(2)在进行特征表征时,对比方法缺乏外部地理信息复杂语义关联挖掘能力。ST-RNN在进行预测时仅考虑了时间和空间信息,DeepMove和PLSPL在模型中考虑了用户长期偏好,GETNext加入用户在POI间的转移模式等语义因素,但在表征时忽略了特征之间的相关性,而本文方法通过地理知识图谱建立多源地理信息的关联,实现不同数据语义层面的融合,使得在轨迹表征的时候充分综合外部地理信息,因而具有更高的预测精度。
2.3.3 不同长度轨迹预测精度对比数据稀疏形成的短轨迹由于上下文时空信息的匮乏,模型难以提取有效的特征进行轨迹预测,是轨迹预测当中的重要挑战。为了验证本文方法在稀疏轨迹中的有效性,试验根据轨迹长度对测试集中的轨迹进行排序,如图8所示将前15%的轨迹标记为长轨迹(长度>12),后15%标记为短轨迹(长度
图8图8 轨迹长度划分
Fig.8 Divide trajectories by length
表7为本文方法和DeepMove方法在不同长度轨迹中的预测精度。其中本文方法在不同长度的轨迹中HR@20的精度均超过45%,在短轨迹和中等轨迹中HR@1的精度分别达到20.74%和25.11%,均高于DeepMove的预测精度。DeepMove作为一种基于循环神经网络的预测模型,对轨迹长度较敏感,在短轨迹和中等轨迹中HR@1的精度仅为14.04%和14.77%。结果表明本文方法能有效解决中、短长度轨迹预测任务中信息匮乏的问题,提升签到轨迹预测精度。
表7不同长度轨迹预测精度对比
Tab.7 Accuracy comparison of prediction with different length trajectories
短轨迹本文方法20.7438.1643.8448.3328.88中等轨迹25.1145.9852.9258.7934.59长轨迹25.7750.3962.3166.5437.05短轨迹Deep-Move14.0424.2626.1728.0818.47中等轨迹14.7728.4431.9033.9220.63长轨迹20.0734.0538.9943.7327.25新窗口打开| 下载CSV
2.3.4 案例分析为直观解释基于地理知识图谱增强与多时空约束条件建模的轨迹预测方法的效果,本文从测试集中随机选取一条轨迹,对其预测结果进行可视化,如图9所示。图9(a)为真实值和预测的用户下一时刻到访集合中不同POI的概率空间分布,图9(b)为用户的历史轨迹和预测结果中用户到访概率前10的POI的空间分布,由图9(a)和图9(b)可以发现预测值与用户历史轨迹的空间分布相近,表明本文方法能够学习历史轨迹的空间分布特征进行预测;图9(c)为用户历史签到轨迹序列及预测结果中到访概率前5的POI,其中红色为正确值,预测结果中不仅有用户曾经访问过的POI类型(Deli/Bodega和Bus Line),还有与其语义相近但用户未访问过的POI类型(Convenience Store和Subway),表明该方法能够有效学习历史轨迹中的语义特征进行预测。
图9图9 签到轨迹预测结果可视化
Fig.9 Visualization of check-in trajectory prediction results
3 结论本文提出了基于地理知识图谱增强与多时空约束条件建模的轨迹预测方法,将多源地理信息转化为由若干三元组构成的地理知识图谱进行统一表达,并通过知识表示模型挖掘实体关联融合外部地理信息增强轨迹的向量表征,同时采用多时空约束条件下的多头自注意力机制提取稀疏轨迹序列中的多重时空特征,从而提升轨迹预测精度。本文采用纽约市的签到数据、路网和行政区划数据进行试验,试验结果表明,与不同的表示学习相比,基于地理知识图谱增强的签到轨迹表征方法能够获取更完备的时空特征,签到轨迹预测模型的多时空约束条件能更好提取轨迹序列的多重时空特征,提高稀疏轨迹预测精度。
试验证实基于地理知识图谱增强与多时空约束条件建模的轨迹预测方法具有更好的性能,但由于数据来源有限,当前研究在知识图谱构建时只考虑了路网和行政区划等较为有限的因素,在后续的工作中可以加入土地利用和用户评价文本等数据,进一步分析不同要素对于社交媒体用户签到轨迹预测的影响。同时本文在轨迹增强表征过程中所融合的相关要素主要根据主观经验选取,无法客观量化这些要素在方法当中的贡献度,因此,在下一步的工作中,可以量化不同因素对于模型的贡献度,避免融合不相关的因素以简化模型,提升预测效率。
来源:测绘学报