首页 > 专利 > 中国计量大学 > 一种基于多兴趣短期优先模型的会话推荐方法专利详情

一种基于多兴趣短期优先模型的会话推荐方法   0    0

有效专利 查看PDF
专利申请流程有哪些步骤?
专利申请流程图
申请
申请号:指国家知识产权局受理一件专利申请时给予该专利申请的一个标示号码。唯一性原则。
申请日:提出专利申请之日。
2021-02-22
申请公布
申请公布指发明专利申请经初步审查合格后,自申请日(或优先权日)起18个月期满时的公布或根据申请人的请求提前进行的公布。
申请公布号:专利申请过程中,在尚未取得专利授权之前,国家专利局《专利公报》公开专利时的编号。
申请公布日:申请公开的日期,即在专利公报上予以公开的日期。
2021-07-02
授权
授权指对发明专利申请经实质审查没有发现驳回理由,授予发明专利权;或对实用新型或外观设计专利申请经初步审查没有发现驳回理由,授予实用新型专利权或外观设计专利权。
2021-12-14
预估到期
发明专利权的期限为二十年,实用新型专利权期限为十年,外观设计专利权期限为十五年,均自申请日起计算。专利届满后法律终止保护。
2041-02-22
基本信息
有效性 有效专利 专利类型 发明专利
申请号 CN202110197683.4 申请日 2021-02-22
公开/公告号 CN112905887B 公开/公告日 2021-12-14
授权日 2021-12-14 预估到期日 2041-02-22
申请年 2021年 公开/公告年 2021年
缴费截止日
分类号 G06F16/9535G06F17/18G06N3/04G06N3/08G06Q30/02G06Q30/06 主分类号 G06F16/9535
是否联合申请 独立申请 文献类型号 B
独权数量 1 从权数量 0
权利要求数量 1 非专利引证数量 1
引用专利数量 3 被引证专利数量 0
非专利引证 1、2018.05.17CN 112256918 A,2021.01.22CN 112364976 A,2021.02.12CN 111460331 A,2020.07.28Li Xueqing等.Directional andExplainable Serendipity Recommendation. 《WWW "20: Proceedings of The WebConference 2020》.2020,闵昶榮.基于深度学习的多领域商品评论情感分析《.中国优秀硕士学位论文全文数据库 信息科技辑》.2020,DongfangLi等.Attentive capsulenetwork for click-through rate andconversion rate prediction in onlineadvertising《.Knowledge-Based Systems》.2021,Tingting Liang等.Joint trainingcapsule network for cold startrecommendation《.SIGIR "20: Proceedings ofthe 43rd International ACM SIGIRConference on Research and Development inInformation Retrieval》.2020,;
引用专利 WO2013081051A、US2018204111A、US2018139296A 被引证专利
专利权维持 1 专利申请国编码 CN
专利事件 事务标签 公开、实质审查、授权
申请人信息
申请人 第一申请人
专利权人 中国计量大学 当前专利权人 中国计量大学
发明人 顾盼 第一发明人 顾盼
地址 浙江省杭州市下沙高教园区学源街258号 邮编 310018
申请人数量 1 发明人数量 1
申请人所在省 浙江省 申请人所在市 浙江省杭州市
代理人信息
代理机构
专利代理机构是经省专利管理局审核,国家知识产权局批准设立,可以接受委托人的委托,在委托权限范围内以委托人的名义办理专利申请或其他专利事务的服务机构。
代理人
专利代理师是代理他人进行专利申请和办理其他专利事务,取得一定资格的人。
摘要
本发明公开了一种基于多兴趣短期优先模型的会话推荐方法,抽取当前会话中多兴趣空间下的用户短期兴趣和用户长期兴趣,并预测用户下一个交互的物品。本发明的向前传播部分主要由三个部分组成。第一部分是根据用户会话序列,得到用户多兴趣表征。第二部分是抽取不同兴趣空间下,最后一个点击的物品。第三部分是根据用户多兴趣表征和不同兴趣空间下最后一个点击物品,推荐用户下一个点击的物品。本方法的关键之处在于会话中不同兴趣空间下的短期兴趣如何确定。
  • 摘要附图
    一种基于多兴趣短期优先模型的会话推荐方法
  • 说明书附图:图1
    一种基于多兴趣短期优先模型的会话推荐方法
  • 说明书附图:图2
    一种基于多兴趣短期优先模型的会话推荐方法
法律状态
序号 法律状态公告日 法律状态 法律状态信息
1 2021-12-14 授权
2 2021-07-02 实质审查的生效 IPC(主分类): G06F 16/9535 专利申请号: 202110197683.4 申请日: 2021.02.22
3 2021-06-04 公开
权利要求
权利要求书是申请文件最核心的部分,是申请人向国家申请保护他的发明创造及划定保护范围的文件。
1.一种基于多兴趣短期优先模型的会话推荐方法,其特征在于:
根据用户会话序列,得到用户多兴趣表征;用户当前交互的会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品,T表示当前会话的时间段下标,且ST的向量表征为{x1,x2,…,xτ,…,xt},其中 d是物品向量表征的长度;将传统应用在图像上的胶囊网络应用在用户会话序列中,从中抽取出用户多兴趣vj,胶囊网络需要迭代多次来更新用户多兴趣vj,用户多兴趣vj第一次迭代具体计算过程如下:
bij=0
cij=exp(bij)/∑jexp(bij)
vj=squash(sj)
其中, 为会话中第i个物品向量表征, 是第j个兴趣的映射矩阵;用户兴
趣的个数参数为M;通过兴趣相关的映射向量(interest‑specific projection),可以从物品向量xi中抽取出不同兴趣空间下的向量表征 bij是第i个物品向量表征到第j个兴趣的连接系数,在第一次迭代时,bij初始化为0,cij是参数bij归一化后的连接系数,表示第i个物品是第j个兴趣的可能性,且对于一个物品xi,不同兴趣的可能性和为1,也就是∑jcij=1;
用连接系数cij将向量表征 汇聚成用户的兴趣sj,并用squash函数对sj进行归一化,得到最终的用户多兴趣向量表征vj;squash是胶囊网络中常用的squash向量激活函数,公式为继续对用户多兴趣vj进行多次的迭代,迭代总次数由迭代次数参数r决定,也
就是继续采用以下公式对用户多兴趣vj重复更新r‑1次:
cij=exp(bij)/∑jexp(bij)
vj=squash(sj)
其中,系数bij、cij以及向量 vj、sj和第一次迭代公式中出现的bij、cij以及向量vj、sj相同;这一次迭代先采用公式 对连接系数bij进行更新,再更新用户多
兴趣vj;对vj重复更新r‑1次,得到最终的用户多兴趣vj;
抽取不同兴趣空间下,最后一个点击的物品;会话中的物品为ST={x1,x2,…,xτ,…,xt},且物品的时间属性特征为st={1,2,…,τ,…,t};对于任一个兴趣空间下,用户最后点击物品(1ast‑click)的下标idx取决于胶囊网络迭代完之后的连接系数cij和物品时间属性特征;具体计算公式为:
idx=argmaxi(δ(ci≥∈)·sti)
其中,不同兴趣空间下的计算公式相同,所以省略了兴趣下标j;ci表示胶囊网络的连接系数;δ(ci≥∈)表示如果ci≥∈,那么δ=1,否则δ=0;∈是一个阈值参数,为了过滤掉和该兴趣不太相关的物品;sti表示第i个物品的时间,越早发生的交互行为,时间特征属性sti越小;argmaxi()函数是获得值δ(ci≥∈)·sti最大的物品的下标;从公式中可以看出,δ(ci≥∈)的作用是得到和当前兴趣兴趣相关的物品候选集,sti的作用是从候选集中找出最近交互的物品,也就是最后点击物品;得到用户最后点击物品的下标idx,也就得到最后一个点击的物品向量表征h=xidx,即为用户短期兴趣;
根据用户多兴趣表征和不同兴趣空间下最后一个点击物品,推荐用户下一个点击的物品;将候选物品集合中的任一物品xτ的向量表征xτ映射到多空间下,然后和不同空间的用户长期兴趣vj和短期兴趣hj进行匹配,计算点击概率
uj|τ=Wjxτ
其中, 是第j个兴趣的映射矩阵,和胶囊网络中的兴趣映射矩阵参数为同一个
参数;σ是sigmoid函数; 代表物品xτ成为下一个交互物品的可能性;符号<>表示三个向量相乘,也就是 且 同时根据 的对数似然函数值,计算损失
函数:
其中,yτ代表xτ的one‑hot编码, 函数用梯度下降法来最优化;|V|表示物品候选集V的大小。
说明书

技术领域

[0001] 本发明属于互联网服务技术领域,尤其是涉及一种基于多兴趣短期优先模型的会话推荐方法。

背景技术

[0002] 随着在线服务的发展和流行,在线平台记录着大量的用户行为数据。从海量数据中找出用户最感兴趣的物品并推荐给用户,可以极大地提升用户的满意度和公司的收益。此时,推荐系统显得非常重要。推荐系统可以从海量物品中挖掘出用户最喜欢的物品。
[0003] 会话(session)指一段时间内用户交互的物品序列,一般通过用户行为之间的时间间隔进行划分。比如,超过三十分钟的间隔就认为是当前会话结束,下一个会话开始。会话推荐方法(session‑based recommendation)是指基于当前会话中的物品序列,推荐用户下一个感兴趣的物品,会话推荐方法可以有效地捕捉用户动态变化的兴趣。用户在一个会话中会有特定的一些目的,而传统的会话推荐方法认为用户在一个会话内只有一个目的或者兴趣。这样的假设和实际情况不符,用户往往在一个时间段内会有多个兴趣,比如,在某店铺中同时浏览了羽绒服和裤子。此时,用一个向量来表示用户的兴趣就不够准确。所以,本方法从用户会话中的物品序列中抽取出用户多兴趣表征,本方法是一种基于多兴趣的会话推荐方法。
[0004] Liu等人在2018年提出短期注意优先模型(STAMP)。在该篇论文中,作者认为用户短期/当前兴趣和用户长期兴趣同样重要。这里,当前兴趣采用用户最后点击的物品(last‑click)表征来表示。而用户的长期兴趣即当前会话表征,该方法采用基于最后点击物品的注意力机制(short‑term attention)来从会话中抽取用户长期兴趣。最后,作者结合用户的短期兴趣和用户的长期兴趣来进行物品推荐。实验证明,最后点击的物品(last‑click)对推荐准确度的提升效果明显。但是该方法没有考虑到用户在一个会话中会存在多个兴趣,直接用最后一个点击的物品来表示用户的短期兴趣,使得用户的短期兴趣和长期兴趣主要表示一种兴趣,和事实场景不符,极大地降低了推荐的准确度。在单兴趣推荐场景中,用户最后点击物品(last‑click)可以直接用序列最后一个物品表示,那么在多兴趣场景中,会话中不同兴趣的最后点击物品应该如何得到,这是本方法的重点和创新点。

发明内容

[0005] 本方法的问题定义为基于当前会话中的物品序列,预测用户在当前会话中下一个感兴趣的物品。用户的当前会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品。此时,推荐下一个感兴趣物品的概率为P(xt11∣ST)。且ST的向量表征为{x1,x2,…,xτ,…,xt},其中 d是物品向量表征的长度。另外,会话序列中的物品具有时间先后性,物品的时间属性特征为st={1,2,…,τ,…,t}。
[0006] 用户在一个会话中会有特定的一些目的,而传统的会话推荐方法认为用户在一个会话内只有一个目的或者兴趣。这样的假设和实际情况不符,用户往往在一个时间段内会有多个兴趣,比如,在某店铺中同时浏览了羽绒服和裤子。此时,用一个向量来表示用户的兴趣就不够准确。所以,本方法从用户会话中的物品序列中抽取出用户多兴趣表征。Liu等人在2018年提出短期注意优先模型(STAMP)。在该篇论文中,作者认为用户短期/当前兴趣和用户长期兴趣同样重要。这里,当前兴趣采用用户最后点击的物品(last‑click)表征来表示。而用户的长期兴趣即当前会话表征,该方法采用基于最后点击物品的注意力机制(short‑term attention)来从会话中抽取用户长期兴趣。最后,作者结合用户的短期兴趣和用户的长期兴趣来进行物品推荐。实验证明,最后点击的物品(last‑click)对推荐准确度的提升效果明显。但是该方法没有考虑到用户在一个会话中会存在多个兴趣,直接用最后一个点击的物品来表示用户的短期兴趣,使得用户的短期兴趣和长期兴趣主要表示一种兴趣,和事实场景不符,极大地降低了推荐的准确度。在单兴趣推荐场景中,用户最后点击物品(last‑click)可以直接用序列最后一个物品表示,那么在多兴趣场景中,会话中不同兴趣的最后点击物品应该如何得到。为此,本发明采用以下技术方案:
[0007] 一种基于多兴趣短期优先模型的会话推荐方法,包括以下步骤:
[0008] 根据用户会话序列,得到用户多兴趣表征。用户当前交互的会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品,T表示当前会话的时间段下标,且ST的向量表征为{x1,x2,…,xτ,…,xt},其中 d是物品向量表征的长度。采用胶囊网络从物品序列中抽取出用户多兴趣,伪代码为:
[0009]
[0010] 其中, 为会话中第i个物品向量表征, 是第j个兴趣的映射矩阵。用户兴趣的个数参数为M。通过兴趣相关的映射向量(interest‑specific projection),可以从物品向量xi中抽取出不同兴趣空间下的向量表征 方法是胶囊网络中
的动态路由部分,输入参数 是第i个物品向量表征xi映射到第j个兴趣空间的向量表征,输入参数r是动态路由算法的迭代次数。 方法的输出参数vj代表用户多兴趣
向量表征。bij是第i个物品向量表征到第j个兴趣的连接系数,cij是参数bij归一化后的连接系数,表示第i个物品是第j个兴趣的可能性,且对于一个物品xi,不同兴趣的可能性和为1,也就是∑jcij=1。squash是胶囊网络中常用的squash向量激活函数,公式为
[0011] 抽取不同兴趣空间下,最后一个点击的物品。会话中的物品为ST={x1,x2,…,x+,…,xt},且物品的时间属性特征为st={1,2,…,τ,…,t}。对于任一个兴趣空间下,用户最后点击物品(last‑click)的下标为:idx=argmaxi(δ(ci≥∈)·sti)
[0012] 其中,不同兴趣空间下的计算公式相同,所以省略了兴趣下标j。ci表示胶囊网络的连接系数。δ(ci≥∈)表示如果ci≥∈,那么δ=1,否则δ=0。∈是一个阈值参数,为了过滤掉和该兴趣不太相关的物品。sti表示第i个物品的时间,越早发生的交互行为,时间特征属性sti越小。argmaxi()函数是获得值δ(ci≥∈)·sti最大的物品的下标。从公式中可以看出,δ(ci≥∈)的作用是得到和当前兴趣兴趣相关的物品候选集,sti是从候选集中找出最近交互的物品,也就是最后点击物品。因此,该方法巧妙地得到了任一兴趣空间下,用户最后点击物品的下标idx,也就得到最后一个点击的物品向量表征h=xidx。
[0013] 根据用户多兴趣表征和不同兴趣空间下最后一个点击物品,推荐用户下一个点击的物品。将候选物品集合中的任一物品xτ的向量表征xτ映射到多空间下,然后和不同空间的用户长期兴趣vj和短期兴趣hj进行匹配,计算点击概率
[0014] uj|τ=Wjxτ
[0015]
[0016] 其中, 是第j个兴趣的映射矩阵,和胶囊网络中的兴趣映射矩阵参数为同一个参数。σ是sigmoid函数。 代表物品xτ成为下一个交互物品的可能性。符号<>表示三个向量相乘,也就是 且 同时根据 的对数似然函数值,计算损失函数:
[0017]
[0018] 其中,yτ代表xτ的one‑hot编码, 函数用梯度下降法来最优化。|V|表示物品候选集V的大小。
[0019] 本发明的有益技术效果如下:
[0020] (1)本发明考虑到用户兴趣的动态变化性,基于用户当前会话抽取用户的短期/当前兴趣和用户的长期兴趣。
[0021] (2)本发明考虑到用户兴趣的多样性,基于当前会话抽取用户的多兴趣表征。并设计多兴趣空间下的最后点击抽取模块(last‑click extractor),抽取多兴趣空间下的最后点击物品作为用户短期兴趣。

实施方案

[0024] 为了进一步理解本发明,下面结合具体实施方式对本发明提供的一种基于多兴趣短期优先模型的会话推荐方法进行具体描述,但本发明并不限于此,该领域技术人员在本发明核心指导思想下做出的非本质改进和调整,仍然属于本发明的保护范围。
[0025] 会话(session)指一段时间内用户交互的物品序列,一般通过用户行为之间的时间间隔进行划分。比如,超过三十分钟的间隔就认为是当前会话结束,下一个会话开始。会话推荐方法(session‑based recommendation)是指基于当前会话中的物品序列,推荐用户下一个感兴趣的物品,会话推荐方法可以有效地捕捉用户动态变化的兴趣。用户在一个会话中会有特定的一些目的,而传统的会话推荐方法认为用户在一个会话内只有一个目的或者兴趣。这样的假设和实际情况不符,用户往往在一个时间段内会有多个兴趣,比如,在某店铺中同时浏览了羽绒服和裤子。此时,用一个向量来表示用户的兴趣就不够准确。所以,本方法从用户会话中的物品序列中抽取出用户多兴趣表征,本方法是一种基于多兴趣的会话推荐方法。
[0026] Liu等人在2018年提出短期注意优先模型(STAMP)。在该篇论文中,作者认为用户短期/当前兴趣和用户长期兴趣同样重要。这里,当前兴趣采用用户最后点击的物品(last‑click)表征来表示。而用户的长期兴趣即当前会话表征,该方法采用基于最后点击物品的注意力机制(short‑term attention)来从会话中抽取用户长期兴趣。最后,作者结合用户的短期兴趣和用户的长期兴趣来进行物品推荐。实验证明,最后点击的物品(last‑click)对推荐准确度的提升效果明显。但是该方法没有考虑到用户在一个会话中会存在多个兴趣,直接用最后一个点击的物品来表示用户的短期兴趣,使得用户的短期兴趣和长期兴趣主要表示一种兴趣,和事实场景不符,极大地降低了推荐的准确度。在单兴趣推荐场景中,用户最后点击物品(last‑click)可以直接用序列最后一个物品表示,那么在多兴趣场景中,会话中不同兴趣的最后点击物品应该如何得到,这是本方法的重点和创新点。
[0027] 本方法的问题定义为基于当前会话中的物品序列,预测用户在当前会话中下一个感兴趣的物品。用户的当前会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品。此时,推荐下一个感兴趣物品的概率为P(xt11∣ST)。且ST的向量表征为{x1,x2,…,xτ,…,xt},其中 d是物品向量表征的长度。另外,会话序列中的物品具有时间先后性,物品的时间属性特征为st={1,2,…,τ,…,t}。一种基于多兴趣短期优先模型的会话推荐方法的向前传播(forward propagation)部分主要由三个部分组成,如图2所示。第一部分是根据用户会话序列,得到用户多兴趣表征。第二部分是抽取不同兴趣空间下,最后一个点击的物品。第三部分是根据用户多兴趣表征和不同兴趣空间下最后一个点击物品,推荐用户下一个点击的物品。
[0028] 如图1所示,按照本发明的一个实施例,本方法包括如下步骤:
[0029] S100,根据用户会话序列,得到用户多兴趣表征。用户当前交互的会话可以表示为ST={x1,x2,…,xτ,…,xt},其中,xτ代表用户交互的第τ个物品,T表示当前会话的时间段下标,且ST的向量表征为{x1,x2,…,xτ,…,xt},其中 d是物品向量表征的长度。采用胶囊网络从物品序列中抽取出用户多兴趣,伪代码为:
[0030]
[0031]
[0032] 其中, 为会话中第i个物品向量表征, 是第j个兴趣的映射矩阵。用户兴趣的个数参数为M,本方法中M取值为3。通过兴趣相关的映射向量(interest‑specific projection),可以从物品向量xi中抽取出不同兴趣空间下的向量表征
方法是胶囊网络中的动态路由部分,输入参数 是第i个物品向量表
征xi映射到第j个兴趣空间的向量表征,输入参数r是动态路由算法的迭代次数,本实验中迭代次数r设置为3。 方法的输出参数vj代表用户多兴趣向量表征。bij是第i
个物品向量表征到第j个兴趣的连接系数,cij是参数bij归一化后的连接参数,表示第i个物品是第j个兴趣的可能性,且对于一个物品xi,不同兴趣的可能性和为1,也就是∑jcij=1。
squash是胶囊网络中常用的squash向量激活函数,公式为
[0033] S200,抽取不同兴趣空间下,最后一个点击的物品。会话中的物品为ST={x1,x2,…,xτ,…,xt},且物品的时间属性特征为st={1,2,…,τ,…,t}。对于任一个兴趣空间下,用户最后点击物品(last‑click)的下标为:
[0034] idx=argmaxi(δ(ci≥∈)·sti)
[0035] 其中,不同兴趣空间下的计算公式相同,所以省略了兴趣下标j。δ(ci≥∈)表示如果ci≥∈,那么δ=1,否则δ=0。∈是一个阈值参数,为了过滤掉和该兴趣不太相关的物品,本实验中设置∈=0.2。sti表示第i个物品的时间,越早发生的交互行为,时间特征sti越小。argmaxi()函数是获得值δ(ci≥∈)·sti最大的物品的下标。从公式中可以看出,δ(ci≥∈)的作用是得到和当前兴趣兴趣相关的物品候选集,sti是从候选集中找出最近发生的物品,也就是最后点击物品。因此,该方法巧妙地得到了任一兴趣空间下,用户最后点击物品的下标idx,也就得到最后一个点击的物品向量表征h=xidx。
[0036] S300,根据用户多兴趣表征和不同兴趣空间下最后一个点击物品,推荐用户下一个点击的物品。将候选物品集合中的任一物品xτ的向量表征xτ映射到多空间下,然后和不同空间的用户长期兴趣vj和短信兴趣hj进行匹配,计算点击概率
[0037] uj|τ=Wjxτ
[0038]
[0039] 其中, 是第j个兴趣的映射矩阵,和胶囊网络中的兴趣映射矩阵参数为同一个参数。σ是sigmoid函数。 代表物品xτ成为下一个交互物品的可能性。符号<>表示三个向量相乘,也就是 且 同时根据 的对数似然函数值,计算损失函数:
[0040]
[0041] 其中,yτ代表xτ的one‑hot编码, 函数用梯度下降法来最优化。|V|表示物品候选集V的大小。
[0042] 上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,对于本发明做出的改进和修改都应该在本发明的保护范围之内。

附图说明

[0022] 图1为本发明一种基于多兴趣短期优先模型的会话推荐方法的流程示意图;
[0023] 图2为本发明一种基于多兴趣短期优先模型的会话推荐方法的模型框架图。
版权所有:盲专网 ©2023 zlpt.xyz  蜀ICP备2023003576号