金融界2024年4月10日消息,据国家知识产权局公告,腾讯科技(深圳)有限公司申请一项名为“模型的准确率确定方法、装置、计算机设备及存储介质“,公开号CN117852520A,申请日期为2024年1月。
专利摘要显示,本申请实施例公开了一种模型的准确率确定方法、装置、计算机设备及存储介质,属于计算机技术领域。该方法包括:获取目标领域的问题文本、问题文本的预测回复文本及问题文本的样本回复文本;通过大语言模型,对问题文本进行关键词提取,得到第一关键词;通过大语言模型,基于第一关键词,分别对预测回复文本及样本回复文本进行关键词提取,得到第二关键词及第三关键词;确定第二关键词及第三关键词在目标领域中分别对应的标准词;将第二关键词对应的标准词及第三关键词对应的标准词进行对比,得到问答模型的准确率。本申请能够避免词语多样性带来的影响,准确对比出两种回复文本中与询问意图关联的关键词是否一致,保证得到的准确率的准确性。
来源:金融界