2024年8月16日,北京嘉科开展了第十期以“神经网络专利方案的总结及撰写”为主题的“一团火”IP沙龙活动,看看嘉宾讲了哪些干货吧~
随着人工智能技术的不断发展,神经网络作为其核心技术之一,其相关专利申请数量也在逐年攀升。根据日本专利局发布的2023年人工智能专利申请调查报告,自2014年起,AI相关发明数量急剧增加,深度学习技术在其中占据了重要地位。神经网络方面的专利申请涵盖了多个技术分支,包括但不限于卷积神经网络(CNN)、递归神经网络(RNN)、长短时记忆网络(LSTM)以及图神经网络(GNN)等,这些技术分支在各自的应用领域中都取得了显著进展。在神经网络专利的申请中,高校和企业都扮演着重要角色。高校在基础研究方面具有优势,其专利主要涉及理论研究;而企业则更注重将研究成果转化为实际应用,申请了大量与产品和技术创新相关的专利。神经网络技术的专利申请现状显示出该领域正在经历快速的技术革新和应用扩展。未来的发展趋势将集中在硬件加速、模型优化、跨学科融合、应用场景扩展以及标准化和伦理问题等方面。随着技术的进步,我们预计会看到更多创新性的解决方案出现,并在实际应用中产生更大的影响。
本次分享主要包括三个方面,首先介绍了模型专利申请的类别,接下来按照模型专利申请的类别分享了多件案例,最后提出突出创造性的方法。
模型专利申请的类别
神经网络专利申请按照发明点可以划分为:相较于现有技术专利申请中的模型有改进,具体地包括:模型训练方法有改进,模型结构有改进,模型结构有改进且模型训练方法存在适应性的改进;模型无改进,但前期处理方法有改进,具体地包括:对提示词有优化,对输入模型的数据有处理;模型无改进,且前期处理方法也无改进:不能作为该申请的发明点。
神经网络专利申请经常遇到客体问题,如专利法第二十五条智力活动的规则和方法。专利法规定神经网络需要在执行过程中产生技术效果,解决技术问题。因为网络或算法需要结合应用场景,才能针对具体的技术问题。
案例分享
接下来按照模型专利申请的类别分享了多件案例。案例1 CN118195887A,是一件模型结构有改进的专利申请。比如图片中人物是图片的前景,除了人物之外的其它信息是图片的后景,保持前景这种应用可以称为图片前景保持。目前进行图片前景保持的方法,不能保证新图片和原图片中前景的一致性,以及导致新图片相比于原图片的前景周围区域产生视觉语义的扩展。
针对上述技术问题,本案提供的解决技术问题的技术手段包括:S101,构建编码网络、特征增强网络以及编码网络对应的解码网络,利用多个编码网络、特征增强网络以及多个解码网络构建图片前景保持分支,利用多个编码网络、特征增强网络和注意力网络构建辅助分支;利用图片前景保持分支和辅助分支构建图片前景保持模型;S102,获取训练图片以及训练图片对应的蒙版分割图和前景保持图,依次通过图片前景保持分支中的多个编码网络处理训练图片和蒙版分割图,得到图片编码特征;S103,依次通过辅助分支中的多个编码网络和特征增强网络处理前景保持图,得到多个编码网络和特征增强网络各自输出的图片辅助特征;S104,通过辅助分支中的注意力网络将多个图片辅助特征作为权重分配给图片前景保持分支中的特征增强网络和解码网络,使得图片前景保持分支中的特征增强网络和解码网络依据权重处理图片编码特征,得到前景生成图。
案例2 CN116051819A,是一件模型结构和训练方法均有改进的专利。传统的目标检测方法主要是找到目标的水平矩形框,但是有些情况下,待检测的图像中物体并不是沿水平或垂直方向规整排列,而是呈任意方向排列,即物体在图像中与水平或竖直方向呈一定夹角排布,这种场景中的目标检测可以称之为旋转目标检测。传统的目标检测方法没有考虑边界框位置变化引起的特征偏移,会导致检测中预测框与真实框的交并比差异较大,导致检测精确度低。
针对上述技术问题,本案提供的解决技术问题的技术手段包括:S101,利用卷积层和双线性特征插值层构建特征细分模块,利用多尺度感兴趣区域特征聚合层以及多尺度感兴趣区域检测层构建特征重构模块,利用特征细分模块和特征重构模块构建候选框微调网络;S102,利用残差网络、候选框提取网络和候选框微调网络构建旋转目标检测模型;S103,在对旋转目标检测模型进行训练时,依据预测框损失函数训练候选框提取网络,依据热图损失函数、框边界损失函数、框角度损失函数训练候选框微调网络;利用训练好的旋转目标检测模型进行旋转目标检测。其中,对旋转目标检测模型进行多阶段的训练:对旋转目标检测模型进行第一阶段的训练:冻结候选框微调网络的模型参数,依据预测框损失函数训练候选框提取网络;对旋转目标检测模型进行第二阶段的训练:依据热图损失函数、框边界损失函数、框角度损失函数训练候选框微调网络。
案例3 CN118396124A,是一件优化提示词的专利。模型往往需要针对特定的任务适配合适的提示词,以便更好地适应不同的应用场景。对于一个特定的模型,可以通过精心设计的提示词获得良好的效果,但是当模型更换时,这些提示词往往失效,导致模型性能下降。目前提示词的适配过程缺乏通用性和自动化,需要大量的人工干预和试错,这不仅耗时耗力,而且效率低下。此外,不同语言模型的内部机制和参数差异导致了适配的复杂性,增加了适配工作的难度。
针对上述技术问题,本案提供的解决技术问题的技术手段包括:S101,获取为第一大语言模型适配的提示词,从所述第一大语言模型的历史输入中确定出多个问题;S102,将所述提示词和各个问题输入所述第一大语言模型,输出各个问题对应的多个第一结果,将所述提示词和各个问题输入第二大语言模型,输出各个问题对应的多个第二结果;S103,基于各个问题对应的多个第一结果和多个第二结果,计算所述第一大语言模型和所述第二大语言模型的区分度;S104,当所述区分度大于阈值,利用所述第一大语言模型对所述提示词进行压缩以及为所述提示词增加词汇解释内容;S105,将压缩以及增加所述词汇解释内容后的提示词作为为所述第二大语言模型适配的提示词。
突出创造性的方法
突出创造性的方法1:当方案是通过调用多个算法或者多个网络实现的,那么可以将多个算法或者多个网络作为一个大模型,然后按照各个算法或者各个网络重新设计大模型中的网络部分。要有打包以及分块的思想。如果仅是描述调用多个算法或者多个网络解决一个技术问题,因为各个算法或者各个网络均是现有的,那么即使没有找到对比文件,审查员也可以用“为了实现已知的目的调用现有的算法或者现有的网络是很容易想到的”。而如果是将多个算法或者多个网络打包为一个大模型,引导审查员去找大模型的对比文件作为现有技术,而不是现有的算法或者现有的网络的对比文件,这会突出专利申请的创造性帮助很大。此外,如果按照各个算法或者各个网络重新设计大模型中的网络部分,能进一步突出专利申请的创造性。
为了说明上述突出创造性的方法1,给出了案例4 CN118015418A:
一种场景图像合成方法,其特征在于,包括:构建特征提取分支和特征融合分支,利用所述特征提取分支、所述特征融合分支、多模态编码器以及扩散网络构建场景图像合成模型;获取待合成的目标图像和目标背景图像,将所述目标图像和所述目标背景图像输入所述场景图像合成模型:通过所述特征提取分支处理所述目标图像,得到目标对象特征、目标边缘特征和目标关键点特征;通过所述特征融合分支处理所述目标背景图像、所述目标边缘特征和所述目标关键点特征,得到目标融合特征;通过所述多模态编码器提取所述目标背景图像的目标背景多模态特征;通过所述扩散网络处理所述目标对象特征、所述目标融合特征和所述目标背景多模态特征,得到所述目标图像和所述目标图像对应的目标场景图像。
突出创造性的方法2:从计算机执行侧的角度来丰富方案。因为很多发明人都会从用户执行侧来撰写交底书,实际上写的是用户前端可以看到的结果。比如一件关于一个插件的申请,有些发明人只写输入插件的内容和插件输出的内容,插件处理数据的逻辑不写。技术方案是解决技术问题的一套方案,也应该写清楚计算机后端执行的过程,而且往往计算机后端执行的过程更重要。还可以设想应用情景,根据可能出现的问题或可以提升的效果等方面扩展更详细的方案。
为了说明上述突出创造性的方法2,给出了案例5 CN116594757B:
一种利用大语言模型执行复杂任务的方法,其特征在于,包括:在接收到目标用户发送的目标任务后,利用大语言模型将所述目标任务拆分为存在先后执行顺序的多个子任务;确定每个子任务需要调用的应用程序接口,并将每个子任务转换为其对应应用程序接口所能处理的任务指令;按照多个子任务之间的执行顺序,利用所述大语言模型依次调用各个子任务对应应用程序接口执行该子任务对应的任务指令,得到所述目标任务对应的最终结果;依据所述目标任务,利用所述大语言模型对所述最终结果进行评估和检验,在所述评估和检验不通过的情况下,利用所述大语言模型对所述最终结果进行修正。
突出创造性的方法3:当有多件相关申请,这些申请内容相近的情况下,可以从撰写上下位程度不同,将一些网络用可以实现相同作用的网络替代,不同申请使用的网络不同,对不同申请处理的对象增加不同的处理手段等手段。
为了说明上述突出创造性的方法3,给出了案例6:
第一件专利申请和第二件专利申请是同一个撰写角度,第三件专利申请是另一个撰写角度。两种撰写角度上下位程度不同。三件专利申请分别针对图像、文本和音频三种数据,使用了不同的网络,增加了各种数据独有的处理手段,具体可以参见以下附图(不同的内容用黄色标记):
(本文中ppt的版权和内容归原作者所有)
如您有意愿作为嘉宾参与“一团火”知产沙龙,分享您对于行业的宝贵意见,亦或您有意愿参加沙龙与行业大咖沟通交流,欢迎您报名参加沙龙活动。联系人:杨波,18601959839(微信同号)。