【www.zhangdahai.com--其他范文】
赵雪峰 ,吴德林 ,吴伟伟 ,王世璇 ,龙 森
(1.哈尔滨工业大学(深圳) 经济管理学院,广东 深圳 518055;2.哈尔滨工业大学经济与管理学院,哈尔滨 150001)
因我国国际形式变化及境外贸易摩擦加剧[1-2],为保证市场稳定需提高放贷效率[3-8]。其中,合理选择信贷评估模型可大幅提高放贷效率[9-11]。目前已衍生出一批优异的信贷模型研究方法,主要包括模型特征选择和模型结构改进两个方面。
在模型特征选择方面的研究有:王馨等[12]探究绿色信贷政策对信用贷款的影响;王性玉等[13]通过Logit及Tobit回归模型分析农户贷款发现,高信誉特征能够有效增加农户信贷可得性和信贷额度;赵志冲等[14]通过最小显著差异法确定“年净收入/省人均GDP”区间在10.02～19.24 内,居住状况是“共有住房”特征的贷款农户的违约风险最大;Zh等[15]构建博弈模型研究补贴对贷款的影响;Jiménez等[16]采用结合贷款用户和放贷机构的固定效应,发现较低的隔夜利率会导致资本水平较低的放贷机构向事前风险较高的贷款用户发放更多贷款申请等结论。
在模型结构改进方面的研究有:赵雪峰等[7]针对目前贷款评估过程存在特征预处理复杂、受主观因素干扰、准确率较低等问题,利用Word2Vec及卷积神经网络(CNN)组建了WV-CNN 信贷评估模型;王小燕等[17]构建logit-quantile模型,并在模型中添加Lasso 惩罚,结果表明,在零膨胀比例为80%及高维情形时,该模型表现最优;Li 等[18]提出基于半参数混合分布的集合模型预测信贷收益率,并通过盈利贷款评估回报风险,最终形成信贷投资组合的优化方法;石宝峰等[19]建立由年龄、非农收入/总收入等13个指标组成的农户小额贷款信用评级指标体系,并利用熵权法求解评价指标权重,构建了基于ELECTRE III(消去与选择转换评价)的农户小额贷款信用评级模型;迟国泰等[20]从贷款的整体风险和风险分散度两个方面,构建基于CVaR 和改进熵的全贷款组合优化模型;Liu等[21]提出一种基于梯度提升机的序列集成信用评分模型,该模型利用特征重要性得分去除冗余变量,并采用贝叶斯超参数优化方法自适应调整模型超参数;文忠平等[22]结合信贷机构资本运用效率及风险承受能力,建立风险调整后的资本收益率最大化和风险最小化的多目标行业贷款组合模型,改进了现有贷款组合研究需假设模型约束变量数值的缺陷;Wang等[23]利用Word2vec 将贷款文本转换为向量,并使用LSTM 网络预测用户违约概率;Pang等[9]从贷款客户类型和违约贷款角度构建基于C5.0 决策树、CART 决策树和CHAID 决策树的贷款违约客户预警模型。
综合而言,特征选择及结构改进等信贷研究已对当下我国经济复苏及社会转型做出巨大贡献[2,24-25]。但客观而言,高效放贷依然受如下3 种因素干扰:
(1) 信贷模型应用场景受限。如将 WVCNN[23]应用于农户信贷预测中,为保证WV-CNN的预测准确率,需构建农户信贷特征训练集;同理,若将梯度提升信用评分模型[21]应用于跨境电商用户,则需构建跨界电商用户特征的训练集。由此可见,因为信贷模型与训练集的对应关系,限制了信贷模型的应用场景,难以实现高效评估[33]。
(2) 离散及缺失特征预处理繁琐。如logitquantile[17]、基于Logit及Tobit构建的回归模型[13]等,均利用离散型信贷特征执行信贷评估,但由于离散型特征涉及降维、相似度计算及定性至定量转换等[26-27],极大地影响信贷评估效率。而且,当涉及缺失特征时,业内缺少统一的特征填充标准,造成主观填补特征现象,在影响信贷评估效率的同时,甚至影响信贷评估的公正公平。
(3) 信贷文本词向量固化。有学者为克服离散信贷特征的弊端,已通过信贷文本执行信贷评估。赵雪峰等[7]利用Word2Vec词向量化信贷文本,并通过卷积神经网络(CNN)执行信贷预测,但由于Word2Vec等方法是通过词袋与词语的对应关系实现向量化,这种固定的对应关系导致模型无法解决一词多义及通篇理解信贷文本的问题,进而影响信贷评估准确率。
针对上述问题,本文以自然语言处理技术为基础,组合Bag-of-Words[28-29]与Bert模型[30-31],并添加多元线性激活函数构建信贷评估模型BM-Linear(Linear activation credit loan model based on Bagof-Words and Multi-Head Attention)。详细地,BM-Linear首先对待评估用户文本执行包括分词、去停用词的预处理;然后,基于Bag-of-Words模型与Multi-Head Attention组合模型,对预处理后的用户文本执行词向量化;最后,利用多元线性激活函数对词向量化后的数据执行激活处理,从而实现贷款评估预测。
此外,为探究BM-Linear是否能有效解决因对应关系造成应用场景受限、离散及缺失特征处理繁琐以及词向量固化的问题,首先引入多组不同应用场景下的信贷数据集,并使用核密度估计、参数拟合等方法发现在不同信贷特征下所展现的信贷现象;其次,创造性地提出参数独立训练及参数共用训练两种训练方法,发现BM-Linear可有效缓解因对应关系造成的模型应用场景受限及词向量固化问题;最后,引入多组公认信贷表现优异的评估模型与BM-Linear组成对比实验,得出BM-Linear在对缺失特征不做处理的情况下,其信贷表现依然领先其他多数模型的结论。
按照信贷文本在BM-Linear的处理过程,可将BM-Linear分为3个部分,依次为信贷文本预处理、信贷文本词向量化以及线性激活,整个模型结构如图1所示。
图1 BM-Linear模型结构
由于信贷文本包括标点符号、停用词等无用特征,这类无用特征会干扰信贷评估准确率,占用模型对信贷文本的计算时间,故需利用预处理手段剔除无用特征并规范信贷文本,以提高后续Bag-of-Words及Bert的词向量化质量。
其中,本文预处理手段共包括5个步骤,依次为文本分词、去停用词、去标点、去异性词及语句重组,在此不再赘述。需要强调的是,BM-Linear核心在于词向量化,其中词向量化包括两个步骤,依次为Bag-of-Words词向量化及Bert 所包括的Multi-Head Attention词向量化,在详细阐述两个步骤之前,需要先解释相关理论知识背景及参数。
1.1 背景知识及参数定义
词袋模型的词向量化主要基于Huffman编码及词袋原理生成Huffman 二叉树,通过Huffman二叉树来表示词对词之间的关系,进而生成不受词语在文本中语句顺序限制的词向量[28-29]。
多头注意力机制主要以注意力模型为基础而构建,现已被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一[30-31]。进一步,本文多头注意力机制由6组自注意力机制垛叠组成,为进一步提高词向量化精准度,在6组自注意力机制后继续添加残差连接及前馈神经网络。
上述各技术专有名词的详细解释如下:
(1)Huffman二叉树。为了对数据集执行有效划分,构建出非线性数据结构划分法,即称为树,其中二叉树是每个结点最多仅有两棵分支子树的树,两棵子树分别称为左子树和右子树,若存在一棵二叉树的路径长度最小,则称为Huffman二叉树。
(2) 结点。结点包括叶子结点、非叶子结点及根结点。其中,根结点是所有结点的起点,非叶子结点表示可执行数据结构划分的结点,叶子结点与叶子结点相反,表示无法进一步执行数据结构划分的结点。
(3) 词典。若干不重复的词所组成的集合称为词典。
(4)自注意力机制 (Self-Attention)。Attention机制是一种从海量数据中选择与当前任务关联性更强信息的一种实施手段,Self-Attention是Attention的特殊情况,表示每个单词需与该单词之外的其他单词执行Attention计算。
(5) 前馈神经网络。一种单向多层结构的神经网络,每一层包含若干神经元,各神经元可接收前一层神经元的信号,并产生输出至下一层。其中,第0层称为输入层,最后一层称为输出层,其他中间层称为隐藏层。
(6) 残差连接。将神经元的输出表述为输出和输出的非线性变换的线性叠加,以防止因神经网络的网络深度增加而导致信息丢失的一种技巧手段。
1.2 词向量化
应该了解的是,信贷文本内包括可供放贷机构评估的重要评估信息,若词向量操作的细腻度低,会直接影响后续信贷预测的准确率,因此,本文将词向量分为两个步骤,分别为Bag-of-Words的初次词向量及Multi-Head Attention的二次词向量。词向量化过程如图2所示。
图2 BM-Linear的词向量过程
由图2可见,BM-Linear的词向量过程可简述为:首先接收已预处理完成的信贷词语集,根据每个信贷词语在信贷文本的位置及预构建的词袋,将每个信贷词语编码为初级词向量。进一步,通过6组Self-Attention、残差连接及前馈神经网络,将每组初级词向量执行再次编码,得到可直接进行线性激活的标准词向量。
具体地,Bag-of-Words是一种求解词典ϕ内词语ω的词向量,从而完成信贷词语集的初次词向量化过程,Bag-of-Words包括输入层、投影层和输出层,各层之间的流程如图3所示。
结合图3,Bag-of-Words首先遍历出信贷文本内的信贷词语,并将每个信贷词语假设为已知的词向量,通过求和与反向迭代的方式更新假设出的词向量。其中,输入层的主要作用是根据信贷词语在信贷文本的位置Context(ω),预设信贷词向量V(Context(ω)),并根据信贷词语与其他词语的位置关系,构建得到输入向量V(Context(ω)1),V(Context(ω)2),…,V(Context(ω)2c)。
图3 Bag-of-Words词向量过程
进一步,投射层将所有词向量累加求和,即
对词向量进行结点分类,本文约定分到二叉树左边为负类,分到右边为正类,则根据sigmoid函数计算结点被分到正类的概率为
输出层基于Huffman的二叉树编码原则,联立式(1)及路径pω内lω-1个分支的概率乘积和,构建条件概率及条件概率的对数似然函数分别为:
联立式(3)～式(5),可得出对数似然函数恒等式为
设ζ(ω,j)表示式(6)花括号内函数,由式(6)可以发现,条件概率对数似然函数与ζ(ω,j)成正比关系,因此,最优化ζ(ω,j),即可得出对数似然函数最优解为
根据上述推导总结,当输出层得到映射层的累加向量Xω后,利用式(1)、(8)和式(9),更新词ω的词向量V(ω),有
但是由于Bag-of-Words是以词袋与信贷词语的一一对应关系实现词向量的目的,因为对应关系固定,所以导致词向量固化。这种信贷词语到词向量的静态转化首先无法解决一词多义的问题,其次难以通篇理解信贷文本,从而影响后续信贷评估[31]。因此,为实现动态词向量,引入Bert模型中的Multi-Head Attention 以克服Bag-of-Words静态词化所带来的缺点,以图2 为参考,细化Multi-Head Attention的词向量过程,得到图4。
图4 Multi-Head Attention词向量过程
由图4 可见,多头注意力机制由多个Self-Attention Layer组成,其中Self-Attention Layer的层数需要根据信贷词向量的复杂度确定。需要格外说明的是,每个Self-Attention Layer对初级词向量执行自注意力运算均是并行处理,且不同Self-Attention Layer之间互不影响,因此,根据Self-Attention Layer的层数生成对应数量的注意力向量。例如图4 中的Self-Attention Layer若有10层,则1组初级词向量经过多头注意力机制会生成10组注意力向量。
此外,Self-Attention Layer 除了具有并行计算、互不干扰的优点之外,还能有效捕捉信贷文本之间的顺序关系,自动忽略信贷文本信息中大量无用的文字,并筛选出少量重要信贷信息,继而聚焦到此类重要信贷信息上执行词向量化,为后续提高信贷预测准确率提供前置基础[31]。
参阅图5 关于Self-Attention Layer的自注意力运算,根据Bag-of-Words所得到的初级词向量z1,z2,…,z i,…,z n,以z1为例展开自注意力运算过程,如下式所示:
图5 Self-Attention Layer的自注意力运算
根据a1初始化3个矩阵,分别为问题矩阵、键值矩阵及搭配矩阵,如下式所示:
需要解释的是,a1对应q1、k1和v1,以此类推,a i对应q i、k i和v i。下面以问题矩阵q1为例,分别计算与所有键值矩阵k1,k2,…,k i,…,k n的乘积,如下式所示:
根据前述可知,注意力向量b1是以问题矩阵q1相乘每个键值矩阵为基础,通过softmax函数激活并相乘搭配矩阵求和得到的矩阵向量,以此类推,依次计算得到与q2对应的注意力向量b2、与q i对应的注意力向量b i,汇总得到信贷词语集对应的注意力向量集b1,b2,…,b i,…,b n。
结合图3 可知,Multi-Head Attention 包括多层Self-Attention Layer,每个Self-Attention Layer均生成对应的注意力向量集b1,b2,…,b i,…,b n,若Multi-Head Attention具有10层Self-Attention Layer时,则对应生成10 组注意力向量集b1,b2,…,b i,…,b n。
进一步,结合图2可知,当得到多组注意力向量集后,依次将每组注意力向量集与初级词向量组执行残差连接及归一化后输入至前馈神经网络执行映射计算,并将映射值再一次执行残差连接及归一化操作得到标准词向量组。最后,本文将经过两次词向量化所得到的标准向量组执行线性激活,进而得到对应的信贷评估结果。
1.3 基于Pytorch的BM-Linear实现
由于本文所使用的Bag-of-Words 及Multi-Head Attention具有计算量大、复杂度高的特点,难以通过普通程序实现,故结合Pytorch深度神经网络框架执行BM-Linear部署,Pytorch 是当前最受欢迎的神经网络实现框架,具有灵活性高、运行速度快、代码部署简单清楚等优点[32]。
如图6所示,根据BM-Linear模型所包括的信贷文本预处理、文本词向量化及线性激活3个阶段,首先,导入numpy、nltk、gensim 和jieba等文本预处理包,并从预处理包中调用split、cut 和stopswords等函数,依次对信贷文本执行切分、分词、去停用词等操作,从而完成信贷文本预处理;其次,BM-Linear核心在于Bag-of-Words及Multi-Head Attention,特别地,Multi-Head Attention计算复杂度很高。因此,本文结合Pytorch部署其实现过程。具体地,调用 Wore2 Vec 包构建Bag-of-Words词向量程序,然后从Hugging Face中下载bert模型的参数包bert-base-chinese,利用Pytorch在bert-base-chinese后接入多元线性激活函数并封装,最后构建fine-tune 程序训练得到的BMLinear,从而实现BM-Linear部署。
图6 BM-Linear的部署逻辑
需要解释的是,Pytorch不仅具有简易化实现模型的优点,同时也提供便捷的功能实现函数,如 Feedforward Neural Network 函 数、Skip-Connect函数及归一化函数等,通过封装这类功能实现函数,可以形成端到端的BM-Linear模型,从而提高信贷评估流畅性,弱化评估中间过程[32]。
综合而言,BM-Linear 模型一方面由于使用Bag-of-Words机制,可将信贷词语进行相似度聚类,提高信贷词向量化准确率;另一方面,为克服Bag-of-Words因词袋与信贷词语的对应关系所带来的词向量固化问题,引入Multi-Head Attention实现动态词向量,规避词向量固化,从而提高词向量精准度。
2.1 数据采集及文本合成
研究发现,影响信贷结果的特征具有多样性。姚宇韬等[33]发现,申请人为女性、家庭负担越重、健康状况越差、受教育水平越低、年收入越高、贷款期越长、实际贷款利率越高,则贷款违约概率越高。因此,为确保模型评估公正性,最大化收集不同信贷特征,下载文献[34-35]中所使用的Bank Marketing Dataset、LendingClub 以 及Default of Credit Card Clients Dataset共3组信贷数据集。其中,Bank Marketing Dataset累计11 162 组、LendingClub累计42 538组、Default of Credit Card Clients Dataset累计30 000组,在执行异常缺失特征的清理、填充及维度消散等操作后,Bank Marketing D ataset剩余10 461 组、LendingClub剩余41 761组、Default of Credit Card Clients Dataset剩余28 603组。最后,文本合成每组数据,得到可用于训练、测试的BM-Datasets (Datasets used to train and test the BM-Linear model)。
由表1 可以看出,BM-Datasets共有3 组数据集,分别为Bank Marketing Dataset、LendingClub和Default of Credit Card Clients Dataset,每组数据集的信贷特征按照类别均可划分为基本特征(BF)及财务特征(PF),但每组数据集均有与众不同的信贷特征,如Bank Marketing Dataset所独有的参与营销活动次数特征、LendingClub独有的征信局记录的信用产品数、公众不良记录数以及Default of Credit Card Clients Dataset的每月账单金额特征等。可见,不同数据集所关注的信贷特征不尽相同。因此,对于信贷模型BM-Linear而言,不同信贷数据集是否会影响BM-Linear的表现,是本文后续需要研究的内容。
表1 BM-Datasets的信贷特征简介
此外,根据上述理论构建知,BM-Linear的较佳操作对象是连续性信贷文本,而非表1所示的离散型特征,故将表1中的各信贷特征按照中文语言叙述的规律进行复现。
表2所示为部分语言复现后的文本。例如,信贷文本S1,其对应的离散型特征包括老师(职业)、未婚(婚姻情况)、大专毕业(受教育程度)、市区一套自住房(住房)、两次(参与营销活动次数)以及具有存款(账户余额)等。通过关键字合成技术合成得到“大专毕业的未婚老师,目前有存款,且市区一套自住房,曾两次参与银行营销活动”,从而节约为测试BM-Linear模型而整理信贷文本所花费的时间,提高本文研究效率。
表2 信贷文本部分复现
2.2 特征分析
由于BM-Datasets数据集数量庞大,累加Bank Marketing Dataset、LendingClub 以 及Default of Credit Card Clients Dataset共计超8万条,为探究如此庞大数据可能产生的信贷现象,首先利用Pandas、matplotlib等数据包分析不同信贷特征对信贷结果的影响。
根据2005～2011年多个地区贷款因素对信贷影响的研究发现[36],年收入支出、贷款者年龄等对信用贷款有重要影响。因此,本文进一步探究不同年龄段所展现的信贷现象。首先使用seaborn、matplotlib.pyplot 及pandas 等 数 据 包,从BMDatasets中依次提取每组信贷年龄,并利用直方图可视化不同年龄段的信贷比例;其次,参考非参数检验方法之一的核密度估计方法[37],拟合上述直方图得到信贷年龄分布曲线,从而直观地显示信贷年龄在信贷中的分布特征(见图7)。
图7 核密度估计下信贷年龄趋势走向
根据核密度估计,未来使用信贷方式解决资金短缺困境的年龄分布段主要集中在[25,40]岁,且在[25,30]阶段信贷比例呈陡峭上升,当临近30岁时,信贷比例达峰值后呈平缓下滑趋势。由此可见,[25,30]阶段的信贷用户对资金的渴求度最激烈,结合社会现象,该年龄段伴随初入社会对生活质量需求度的提升、成家立业所需经济压力或维持新婚家庭成本开支等,已成为刺激市场消费的主力军。因此,在当下疫情影响市场经济并驱动形成国内国际双循环格局的双重背景下,政府及信贷机构可采取对该年龄段降低信贷评估门槛的方法,达到快速注入资金至该年龄段的目的,从而加快市场经济复苏及双循环格局的形成。但是否需要针对该年龄段设置违约还款督促措施,以防止因信贷门槛降低所带来的违约比例上升问题? 为探究该问题,从Default of Credit Card Clients Dataset中提取是否逾期的还贷标签,得到逾期还贷数据6 636组,准时还贷数据23 364组,逾期与准时分别占总数据集22.1%及77.9%。进一步,利用pandas库中cut函数,依次计算不同年龄区间在Default of Credit Card Clients Dataset的逾期与准时还贷的占比,并通过占比拟合出随年龄变化的逾期还贷曲线图(见图8)。根据图8所示,将信贷年龄分为8个区间并可视化出直方图(底X轴,左Y轴),总体上,不同年龄段准时还贷人数均远大于逾期还贷人数,属信贷可控范围。另外,结合图7可知,年龄段[26,40]岁是目前贷款主力军,但伴随年龄的不断增加,信贷人数呈规律下降现象。可见,当前经济背景下,信贷的主要服务人群依然为青中年人群,做好青中年信贷服务尤其重要。但不可否认的是,年龄段影响逾期率,通过逾期拟合曲线发现(顶X轴右Y轴),虽然年龄段[31,35]的信贷人数基数庞大,但信贷违约率最低,信用状况最优,而刚成年年龄段[20,25]及年长年龄段[50,80]信贷违约率相对最高。总之,逾期率呈现“俩头违约高,中间违约低”的sin函数现象。
图8 准时还贷与逾期还贷占比及拟合曲线
因此,对青中年人群降低信贷评估门槛,快速注入资金至该人群,可加快市场经济复苏及双循环格局的形成,但参照逾期率所表现的“俩头违约高,中间违约低”的sin函数现象,刚成年年龄段信贷需求大。但由于该年龄段违约比例高,应落实一套针对该年龄段的违约还款督促措施,以防止因信贷门槛降低所带来的违约比例再次攀高的问题。
此外,本文分析了消费额与付款额的关联分布,并根据关联分布探究信贷在消费额与付款额之间的承接关系。利用pandas库的列索引依次提取每个用户在不同月的消费账单及支付额度,并通过matplotlib库中的scatter函数,以月为单位可视化出消费额与支付额的散点图,如图9所示。
参考图9付款额与消费额的散点关系,多数信贷用户每月付款额均大于实际消费额,且从X、Y轴的坐标数值得出,用户每月消费额主要集中在[0,400 000]区间,但付款额集中于[0,50 000]区间,理应做到消费与付款的收支平衡,但实际情况却是消费额远大于付款额,两者额度数值比例高达8∶1。因此,多数用户均利用信贷方式填补消费额缺口,出现了在以消费额背景下支付额与信贷额的“1+7”现象。
图9 各月消费额与付款额的散点分布
通过“1+7”现象折射出当下信贷用户消费需求量大,但满足自身消费需求能力较弱,需要通过信贷维持收支平衡。因此,从政府协调市场的角度而言,在信贷的放款额度上,应通过放贷机构制定与“1+7”现象相匹配的额度值,防止因信贷额度过少带来信贷用户消费缺口太大所导致的市场不稳定,或信贷额度过高引发的市场通货膨胀等问题。
2.3 模型训练
由于BM-Datasets 包括Bank Marketing Dataset(BM)、LendingClub(LC)以 及Default of Credit Card Clients Dataset(CC)等3种类型的信贷数据集,考虑到不同数据集所包括的特征种类不同,为多角度探究BM-Linear的信贷表现,采用参数独立训练和参数共用训练两种训练方法探究模型表现。其中,参数独立训练是指按照不同类型的数据集而构建对应数量的BM-Linear,如上述3种类型的信贷数据集,则构建3 组初始参数相同的BMLinear模型,每组BM-Linear模型对应一种类型数据集(简称独立-BM-Linear模型)。以此类推,参数共用训练即训练阶段只采用一组BM-Linear模型(简称共用-BM-Linear模型)同时训练3 种类型数据集,在训练阶段每组数据集均共用一组BMLinear的内部参数,直至完成训练,得到可在不同数据集之间通用的BM-Linear模型参数。
综上所述,利用Pytorch框架首先构建出4组初始参数相同的BM-Linear。其中,3组作为独立-BM-Linear用来执行参数独立训练,第4组作为共用-BM-Linear用来执行参数共用训练。然后,按照训练集与测试集8∶2的数量比,依次接收文本化之后的BM、LC及CC执行训练,如图10所示。
由图10可见,当利用BM、LC 及CC 这3组数据集依次完成BM-Linear的参数独立训练及共用训练后,发现独立训练下的BM-Linear评估错误率相比于共用训练有较大幅度降低,且错误率会因训练集变化伴有波动性,其中在BM 训练场景下模型表现最优,错误率可降低至7%左右。与独立训练相比,共用训练下的BM-Linear因需同时满足3组数据集的标签要求,导致训练时相邻散点错误率变化大,训练过程具有波动性,最终错误率约为16%。
2.4 模型测试及对比
当BM-Linear训练完成后,为探究其实际表现构建各模型对比实验。一方面,根据文献[38-39]中的研究,引入随机森林、XGBoost及AdaBoost等模型进行对比实验;另一方面,为探究词向量固化是否会造成评估准确率下降的问题,根据文献[7,23]中的研究,组合Word2Vec与线性激活函数得到Word2Vec-Linear,经对比得到如下结论。
如表3所示,BM-Linear利用信贷文本可直接执行信贷预测,无需通过平均值、众数填充等方法处理信贷文本中缺失特征,从而降低人为填充特征的主观因素干扰,且BM-Linear在对缺失特征不做填充处理的情况下,每组测试准确率依然领先其他模型。可见,其信贷评估依然优异。综合面言,BMLinear在提高信贷评估准确率的同时,也弱化缺失特征的处理步骤,可有效提高信贷评估效率,缩减信贷资本回流至个人的时间。
表3 各模型测试表现 %
此外,BM-Linear相比于其他模型,可直接进行参数共用训练,即多组数据集共用一组BMLinear模型参数,且参数共用训练的BM-Linear测试准确率依然领先多元线性回归模型,信贷预警表现较为优异。从实际意义而言,当仅使用一套模型可完成对不同特征数据的信贷预测时,即解决信贷模型受限于应用场景的问题,可有效加快信贷评估效率。例如,居民A 和B 提供至信贷机构的信贷特征具有差异性,但利用相同模型即可完成两个不同特征居民的信贷评估,极大地减少了居民A 或居民B再次收集特征或信贷机构重新训练信贷模型的时间,从而进一步提高信贷评估效率、加速资金回流盘活周期,在当下打造国内外双循环背景下具有重要意义。
最后,相比于 Word2Vec-Linear,由于BMLinear添加了多头注意力机制,解决Word2Vec向量化过程词袋与信贷词语的对应关系限制,将静态词向量过渡为动态词向量,解决不能根据全篇文本及一词多义实现词向量化过程,从而提高基于信贷文本的信贷预测准确率。
合理构建及选择信贷评估模型,可加快个人信用贷放贷效率、缩减放贷评估时间,防止因经济下滑带来居民生活成本提高及资金周转困顿问题。本文以自然语言处理技术为基础,通过Pytorch框架组合Bag-of-Words及Bert中的多头注意力机制,添加多元线性激活函数构建得到信贷评估模型BMLinear,其后引入多组不同类型的信贷数据集并结合其他信贷模型进行实验验证。
本文的贡献体现在:
(1) 弱化模型与训练集的对应关系,解决了应用场景受限问题。BM-Linear在实现参数共用训练下,其预测准确率依然高于多元线性回归,对比XGBoost及AdaBoost等模型仅接收离散信贷特征,导致与训练集具有严格对应关系,无法实现参数共用训练而言,BM-Linear在保证预测精度的同时,扩大了信贷模型的应用场景,极大地减少了因反复训练模型所带来的资源消耗问题,从而提高信贷评估效率。
(2) 忽略缺失特征并将离散特征转为信贷文本,解决了预处理繁琐问题,提高了信贷评估效率。BM-Linear在不处理缺失特征的情况下,可利用信贷文本执行评估,且评估准确率依然领先其他多数模型。与按照特征补齐、定量、归一化、降维及预测的传统信贷评估流程相比,BM-Linear在保证信贷评估准确率的前提下,进一步提高信贷评估效率、缩减信贷资本回流至个人的时间周期。
(3) 利用多头注意力机制解决词向量固化问题,提高了信贷评估准确率。BM-Linear 引入Multi-Head Attention,克服因词袋与信贷词语的对应关系所带来的词向量固化,导致难以理解一词多义及整体信贷文本的问题。与仅利用静态词向量如Word2Vec构建的Word2Vec-Linear等相比,BMLinear实现了动态词向量,提高了词向量化精准度,进而评估准确率相比静态信贷模型大幅提高。
本文提出一种信贷评估新模型BM-Linear,可提高信贷场景应用范围,并简化离散及缺失特征处理步骤,达到降低信贷评估操作成本的目的。另外,BM-Linear将静态词向量转为动态词向量,进一步提高评估准确率。综上所述,本文可为放贷机构及政府多提供一种信贷评估可选模型。
猜你喜欢信贷注意力准确率让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析健康之家(2021年19期)2021-05-23不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨医学食疗与健康(2021年27期)2021-05-132015—2017 年宁夏各天气预报参考产品质量检验分析农业科技与信息(2021年2期)2021-03-27聚焦Z世代信贷成瘾疯狂英语·新悦读(2020年1期)2020-02-20高速公路车牌识别标识站准确率验证法中国交通信息化(2018年5期)2018-08-21“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21绿色信贷对雾霾治理的作用分析无锡职业技术学院学报(2015年3期)2015-02-28本文来源：http://www.zhangdahai.com/shiyongfanwen/qitafanwen/2023/0921/657584.html
