一种基于权重的ML-kNN多标签中文文本分类方法   0    0

本发明公开了一种基于权重的ML‑kNN多标签中文文本分类方法。本发明主要为了解决采用ML‑kNN算法对多标签中文文本进行分类时，对于训练集中各类标签数量不均衡的情况或训练样本在空间中分布不均匀的情况容易造成未见示例标签集的误判或者不完整判断的问题。本发明采用的技术方案是，根据训练集中各类标签数量的比重在局部范围内对所有近邻的标签赋予相应的修正权重，然后，在对未见示例标签集进行决策的阶段，根据未见示例与训练示例空间分布的互信息对各标签赋予不同的权重。同时，为了提升分类的效率，本发明在文本正式分类之前对文本做了一定的预分类处理，能有效提升多标签中文文本的分类效率。

1.一种基于权重的ML-kNN多标签中文文本分类方法,其特征在于包括以下步骤：
步骤1、对待分类的文本进行预分类处理；
步骤2、计算针对标签数量不平衡问题所对应的权重因子；
步骤3、计算针对训练实例在空间中分布所提出的修正权重因子；
步骤4、计算事件Hj成立与不成立的先验概率，分别记为 和 Hj代表未见实例x具有类别标记yj这一事件；
步骤5、计算Hj成立与不成立时，N(x)中有Cj个样本具有类别标记yj的条件概率，分别记为 和 其中N(x)代表x在训练集中的k个近邻样本构成的集合，Cj统计
了N(x)中将yj作为其相关标记的样本个数；
步骤6、结合步骤4和5所计算出的结果，基于ML-kNN算法，得到所需的多标记分类器；
步骤7、结合步骤1得出的预处理结果和步骤6得出的多标记分类器对未分类文本进行分类。

2.根据权利要求1所述的一种基于权重的ML-kNN多标签中文文本分类方法,其特征在于步骤1所述的对待分类的文本进行预分类处理，步骤如下：
1.1首先确定所有类别名称，使用所有类别名称作为原始类别标记集合；
1.2将训练集中所有的文本数据和最新中文维基百科语料库作为模型的语料库，其中中文维基百科语料库需要先做简繁转换处理，然后做分词处理，接着去掉停顿词与低频词，保留名词、名词短语、形容词、动词以及其它可能有实意的词语；
1.3扩充类别标记集合：利用词向量表示模型word2vec，将步骤1.2中语料库内所有的词语用向量的形式表示，而词语在向量空间上的距离能够用来表示词语文本语义上的相似度，用word2vec将语料库中与原始类别标记集合中类别相似度大于0.9的词语加入类别标记集合，以达到扩充类别标记集合的目的，使得扩充后的类别标记更加有类别表征能力；
1.4由于中文文本的特点，当类别名在文本中出现了，此文本必然和此类别相关；因此检索扩充后的类别标记集合，遍历待分类的所有文本，将文本标记对应的类别标签。

3.根据权利要求2所述的一种基于权重的ML-kNN多标签中文文本分类方法,其特征在于步骤2所述的计算针对标签数量不平衡问题所对应的权重因子，步骤如下：
2.1计算包含l标签的样本个数，即 其中m为训练样本的个数， 表
示实例i存在l标记时值为1，否则值为0；
2.2计算训练样本标签集内各类标签数量的平均数 其中γ＝
{y1,y2,…,yq}代表包含q个类别的标记空间，|γ|表示标记空间中类别的个数即q；
2.3针对标签数量不平衡所造成分类误差的问题，定义l标签的权重因子为

4.根据权利要求3所述的一种基于权重的ML-kNN多标签中文文本分类方法,其特征在于步骤3所述的计算针对训练实例在空间中分布所提出的修正权重因子，步骤如下：
3.1由于标准差可以反映实例的总体空间分布情况，所以本发明中用局部空间中包含有同种标签的实例之间的距离标准差作为此类标签的局部标签密度，符号定义为ρ；
3.2根据未见实例所处位置的k个最近邻实例的空间分布，计算k个实例中标签集包含l标签的实例的局部标签密度ρl；
3.3利用未见实例与训练集中k个最近邻实例之间空间分布的互信息，得到未见实例对k个最近邻实例标签集所含各标签的局部标签密度影响强度由低到高的影响强度序列；其中标签l的局部标签密度影响强度具体计算方式为：当未见实例标签集中存在l标签时，l标签新的局部标签密度为ρl′，未见实例的l标签对局部标签密度的影响强度计算方式为
3.4计算针对训练实例在空间中分布所提出的修正权重因子： 其中σ
为权重的修正系数。