(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210370808.3 (22)申请日 2022.04.11 (71)申请人 山东大学 地址 250013 山东省青岛市 即墨区滨 海路 72号 (72)发明人 张啸　师脉旺　于东晓　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 付秀颖 (51)Int.Cl. G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于多任务多视图增量学习的用户行 为识别方法 (57)摘要 本发明公开了一种基于多任务多视图增量 学习的用户行为识别方法， 包括以下步骤， S1.采 集活动姿态数据， 将数据划分多个部分， 并根据 参与训练的人员确定任务数量 以及每个任务的 视图数量， 初始化每个阶段的参数； S2.利用多任 务多视图深度神经网络为传感器数据提取特征； S3.参数更新， 通过计算多个损失函数， 并通过反 向传播进行参数更新； S4.所有阶段训练结束， 获 得最终的预测结果。 其优点在于， MTMVIS使用多 任务多视图深度神经网络的每一层分别提取特 征， 并为每个任务使用注意力层加权多任务多视 图深度神经网络所有层的输出作为最终的输出 层。 MTMVIS 使用自适应权重巩固来减轻灾难性遗 忘问题并增强模型 可扩展性。 权利要求书2页 说明书5页 附图4页 CN 114708553 A 2022.07.05 CN 114708553 A 1.一种基于多任务多视图增量学习的用户行为识别方法， 其特 征在于， 包括以下步骤， S1.采集活动姿态数据， 将数据划分多个部分即初始化活动阶段数量， 并根据参与训练 的人员确定任务数量以及每 个任务的视图数量， 初始化每 个阶段的参数； S2.利用多任务多视图深度神经网络为传感器数据提取 特征； S3.参数更新， 通过计算多个损失函数， 并通过反向传播进行参数 更新； S4.对S2至S4开展多轮迭代， 直到达到迭代轮数范围要求， 然后进行下一阶段的训练过 程， 直至所有的阶段训练结束， 得到最终阶段的预测结果。 2.根据权利要求1所述的一种基于多任务多视图增量学习的用户行为识别方法， 其特 征在于， 步骤S1中， 活动姿态的种类为ζ， 每种姿态都出现的次数Γ， 且出现的顺序是随机 的， 活动阶段数量为M＝ζ*Γ； 每个活动阶段出现用户单个活动姿态且每个阶段出现的活动 姿态是随机可重复的， 并根据参与活动的人员数量以及 佩戴传感器的身体部位确定任务数 量以及每个任务的视图数量， 并且每个阶段的参数具体包括模型参数θm， 迭代次数Rm， 学习 率ρm,m∈{1,2, …,M}表示第m个活动阶段。 3.根据权利要求1所述的一种基于多任务多视图增量学习的用户行为识别方法， 其特 征在于， 步骤S2中， 将传感器采集的数据输出 数据对齐层进行 数据对齐， 步骤如下， 在每个T秒的时间间隔内， 身体每个部位共有S个传感器， 每个传感器可以生成N条数 据， 设置传感器的初始数据向量 其中n∈{1,2, …,N}， s∈{1,2, …,S}， k表示是第k个任 务， v表示第 v个视图， 其中k∈{1,2, …K}， v∈{1,2, …,V}， 表示第k个用户第 v个部位上 的第s个传感器在T秒内的产生的第n条数据； 数据对齐层 包括第一注意层和第二注意层， 第 一注意层对齐位于身体同一部位的不同传感器的数据， 根据位于身体同一部位的不同传感 器的重要程度进行加权平均并得到一个固定长度的特征向量 第二注意层加权在同一 时间间隔内产生的不同测量值， 以实现在同一时间间隔内产生的不同数据的对齐,并得到 一个固定 长度的特 征向量 4.根据权利要求3所述的一种基于多任务多视图增量学习的用户行为识别方法， 其特 征在于， 步骤S2中， 将数据对齐层输出的特征向量 输入全连接层， 得到固定长度的特征 向量 5.根据权利要求4所述的一种基于多任务多视图增量学习的用户行为识别方法， 其特 征在于， 步骤S2中， 将特 征向量 输入任务视图共享层， 并执 行MMoE算法， 具体过程如下： MMoE网络包含E个专家网络和K*V门控网络， 首先将特征向量 作为每个专家网络的 输入， 得到每个专家网络的输出 其中e表示第e个专家网络， 门控网络通过结合多个专 家的输出， 每 个任务视图都可以获得一个特定的特 征向量 6.根据权利要求4所述的一种基于多任务多视图增量学习的用户行为识别方法， 其特 征在于， 步骤S2中， 将特征表示 输入视图融合层， 通过第三注意力层来融合每个任务的权　利　要　求　书 1/2 页 2 CN 114708553 A 2视图特征， 得到每 个任务的特 征向量 7.根据权利要求6所述的一种基于多任务多视图增量学习的用户行为识别方法， 其特 征在于， 步骤S3中， 分别将数据对齐层输出的特 征向量 全连接层输出的特征向量 任务视图共享层输出的特征向量 经过不同的注意力层得到特征向量 特征向量 和特征向量 将特征向量 特征向量 将特征向量 和特征向量 输入自适应输 出层进行加权， 每 个任务得到一个特定的特 征向量Fk。 8.根据权利要求7所述的一种基于多任务多视图增量学习的用户行为识别方法， 其特 征在于， 步骤S4中， 在视图融合阶段通过正则项计算多视图损失LMV； 预测结果Fk与真实值yk 计算交叉熵损失LCL； 并通过同方差不确定性计算多任务损失LMT， 另外通过EWC算法参数巩 固来克服 灾难性遗 忘问题得到增量损失 最终损失函数 利用LF计算梯度并对模型进行更新， 即 其中rm∈(1,2, ...Rm)。权　利　要　求　书 2/2 页 3 CN 114708553 A 3