当前位置:
AI大模型在智能座舱领域的应用
来源: | 作者:佚名 | 发布时间: 2024-07-24 | 525 次浏览 | 分享到:



本次沙龙的主题为AI大模型在智能座舱领域的应用,主要包括了三部分,

第一部分为AI大模型与智能座舱行业现状;

第二部分为AI大模型与智能座舱技术结合的应用;

第三部分通过技术结合撰写专利的现实意义。


图片


图片
图片

第一部分:行业现状

图片
图片

首先,是智能座舱的基本概念。所谓智能座舱,本质上是一个高度集成的汽车驾驶舱内人机交互环境,该交互环境可以将驾驶信息和娱乐信息两大板块融合起来,凭借智能座舱本身的数据处理能力,可以完善各方面的驾驶体验,包括驾驶安全性、娱乐性、智能控制等。

早期的汽车座舱,主要是以机械仪表盘为核心,当时人们的主要诉求在于能够以清晰、简洁的方式来展示车辆的基本运行状况,比如仪表盘上直观显示的速度、油量等关键信息,但随着电子技术的发展和液晶显示屏的普及,传统的机械仪表被取代,人们的诉求也发生了变化,更多的追求于能够将导航、娱乐等多元化功能集合起来。

技术发展到了今天,智能座舱不仅能够根据驾驶者的偏好自动调节座椅舒适度、优化驾驶模式,还能实时分析路况信息,提供精准的安全预警,大大的提升了便捷性、舒适性和安全性,这就是智能座舱所发挥的巨大作用。

图片

近些年,随着自动驾驶、5G等尖端技术的发展,汽车行业逐渐融合了更多的功能,包括辅助自动驾驶、智能助手等,然而,随着科技的持续进步,大家对于智能座舱的期待与需求也在日益增长。

随着智能座舱领域技术的发展,行业内对于知识产权保护的关注度也在随之增强,有数据统计,截至2021年11月,全球范围内智能座舱领域的专利总量已增至约19.3万件。其中,仅我国的专利申请量就达到了8.23万件,占据了全球智能座舱专利市场的约43%的份额,成为了这个技术领域内的专利布局大国,可见其中的市场潜力也非常大。

图片

接下来是关于大模型的介绍,大模型技术作为数字化转型的引擎,广泛应用于多个领域,推动了数字化转型和智能化升级。

此外,有数据显示,中国的大模型专利申请总数也已突破4万余件,并持续增长中,正是拓展大模型市场的最佳时刻。

图片

纵观全球,大模型技术不仅作用于人工智能领域,更在气象、药物、金融、政务、教育等众多领域展现出广泛的应用前景与市场潜力。

图片

随着大模型技术的日益成熟与广泛应用,其数据处理、分析预测及智能决策能力正改变着各行各业的发展格局,不仅推动了科技创新的边界,也为专利领域带来了活力与变革。在大模型技术作为引领的情况下,我国的企业对于知识产权保护的重视程度开始从被动应对转为主动布局,将专利视为构建技术壁垒、巩固市场地位的重要手段,不仅关注当前技术成果的专利保护,更着眼于未来技术的发展趋势,提前在关键技术节点和潜在应用领域进行专利储备,为了形成持续的竞争优势,所以,这个方向上的知识产权保护工作,也是当下发展的重中之重。

图片

第二部分:技术结合的应用

图片
图片

当前,座舱智能化的核心聚焦于交互设计的深度优化与提升,主要应用在智能辅助驾驶系统的升级、通信技术以及人机交互模式创新等方向,由此可见,在智能汽车行业采用大模型技术是整个行业全面智能化转型、加速产品迭代升级的关键策略。

图片

而智能座舱与大模型技术的融合,重点就在于构建一个座舱系统一体化的智能化整车平台,它可以融合车辆控制、信息娱乐、安全防护等多个领域,通过大模型技术实现数据的高效处理与智能决策。

图片

大模型与智能座舱的结合应用主要包括了语音交互、多模态交互、个性化定制以及安全驾驶、娱乐场景、环境调节等其他场景的应用。

图片

在语音交互领域,大模型进行了几个分支领域的革新式发展:

首先,大模型通过数据处理与分析能力,打破了传统的语音交互技术,重新构建了能够解决复杂多变车控任务的新途径。

其次,通过大模型技术的学习能力,摆脱了传统车控的繁琐操作流程,转而通过深入理解用户指令的上下文,能够精准识别并有效执行复杂的控制任务,极大地提升了车控系统的智能化水平。

除此之外,通过大模型技术还能够实现车书问答、闲聊陪伴、生活服务等多种交互功能,极大地丰富了驾驶与乘车的乐趣,这些创新也提升了用户在驾驶过程中的舒适度与享受感。

图片

在多模态交互方面:

传统汽车的人车交互主要局限于物理按钮、简单显示屏及声音警报,这些技术存在的问题包括信息量受限、操作繁琐、容易分散驾驶员注意力,从而影响驾驶安全,而多模态交互则可以在一定程度上解决这些问题。

多模态交互包括了语音交互、手势识别以及情感感知等多个交互方面,首先是语音交互,大模型在智能座舱语言交互领域的应用效果非常显著,能够通过精准的捕捉并解析驾驶员或乘客的自然语言指令,无论是导航设定、音乐播放,还是天气查询、新闻播报,都能高效执行复杂命令。并且通过专项训练,大模型还可以对方言及多样口音的高精度识别,极大地提升了语音交互的准确性与响应速度。

在手势识别与控制方面,大模型通过结合深度学习技术与计算机视觉,已经实现了对视频流等高维数据的有效处理。系统能够精准捕捉并分析驾驶员与乘客的手势动作,并将动作指令映射至车辆控制功能上,比如音乐播放、音量调节、空调温控、导航确认、电话接挂等。

在情境感知上,大模型可以通过深度学习技术,捕捉并理解乘员情绪。例如,利用摄像头捕捉驾驶员的面部表情,结合声音语调、身体语言等这些多维度信息,通过系统的综合分析并准确判断驾驶员的情绪状态,如疲劳、焦虑、兴奋等。基于这些情感分析,智能座舱能适时调整车内环境,如播放舒缓音乐缓解疲劳,提醒休息。

所以,智能座舱通过整合语音、手势及情感等多模态交互方式,已然实现了对复杂环境与用户需求的全面理解与精准响应。驾驶员可以通过语音指令轻松控制车辆功能,同时系统也可以捕捉驾驶员或者乘客的表情与手势,实现一些更深层次的互动,再有抬头显示器与中控屏等多元化的信息展示方式,让我们驾驶过程中的信息获取变得更直观,更高效一些。

图片

关于用户个性化定制方面:

首先是用户偏好学习,大模型可以凭借深度学习技术,分析用户的历史行为数据。从驾驶习惯到音乐品味,从常用出行路线到温度调节偏好,每一个细节都可以被捕捉并记录,随着时间的推移,大模型不断的学习、优化,也就能对用户需求的预测越来越精准,从而能够为用户提供更加个性化、贴合用户习惯与喜好的定制化服务。

然后是情境感知适应,大模型可以通过整合车辆内外的多种传感器数据,包括GPS定位、实时天气、交通状况,以及通过摄像头和麦克风捕捉的用户状态信息,能够感知并理解当前的环境与用户状态。基于这些情境信息,自动调整座舱内的各项设置,比如雨天自动关闭车窗并启动雨刷,或是在检测到用户疲劳时提醒注意休息。

至于动态更新优化,大模型可以根据用户的历史行为数据和实时情境变化,生成个性化的推荐内容,如精选音乐、时事新闻、最优路线规划等。同时,大模型还不断优化交互方式,确保语音助手回应、导航指引等可以更加符合用户的语言风格和偏好。

图片

接下来,结合两个实际案例,对智能座舱在安全驾驶、娱乐场景以及环境调节等方面的创新应用与表现进行说明。

小米SU7作为智能座舱功能升级的具体案例,通过集成小米自研的MiLM-1.3B端侧大模型,提升智能座舱的功能与体验感。

小米SU7搭载的小爱同学,已不再是传统意义上的语音助手,而是拥有生成式AI能力的智能助理,它具有自然语义理解能力,能够更准确地捕捉用户的意图,并生成符合语境的回复。同时,多模态交互的加入,使得小爱同学不仅能听懂你的话,还能看懂你的动作和表情,进一步提升了交互的自然性和沉浸感。

小米SU7的智能座舱还支持一系列高级语音交互功能,如连续对话、离线对话、协同唤醒等,这些功能增强了用户与车辆之间的互动流畅度和便利性。无论是在高噪环境下清晰唤醒,还是一句话中包含多个指令,小爱同学都能准确识别并快速响应。

全链路大模型语音交互技术从语音识别开始,就深度融合了车辆的位置、方向、视觉等多源信息,确保了信息的全面性和准确性。在理解阶段,大模型能够运用复杂的语义分析技术,深入理解用户的意图和需求。而在生成回复阶段,大模型则会根据用户的个人偏好和历史行为数据,生成符合用户期望的回复。

小米SU7的智能化升级不仅提升了驾驶过程中的安全性,还丰富了乘客的娱乐和环境调节体验。通过语音控制减少了手动操作,驾驶员可以更加专注于路况,有效降低了因分心操作而导致的安全隐患。同时,智能座舱还可以根据乘客喜好推荐音乐、自动调节车内温度等,提升了乘车体验。

图片

今年的4月25日,小鹏汽车发布了AI天玑系统。

首先,AI天玑系统可以通过大模型,精准预测用户需求,实现顺畅沟通并执行指令,同时提供个性化服务。

其次,通过引入AI保镖技术,车辆感知范围扩大,精准识别各类目标物,并通过哨兵模式实现全天候风险预警,增强了行车安全性。

另外,小鹏汽车的出行助理在视觉感知和规划控制方面可以凭借大模型的自主学习能力,精准记忆行驶路径,为用户提供智能辅助驾驶体验。

结合这两个案例我们可以看出,智能座舱在安全驾驶、娱乐场景以及环境调节等方面已经有了长足的发展,未来的革新趋势也在逐步成形。

图片
图片

接下来我们讲下大模型和智能座舱结合后,落实到专利的一些行业案例,例如:在多模态的交互方面,百度公司在2021年08月17日就申请了一种智能座舱的交互方法,该方法的核心在于处理和理解用户在智能座舱内的多模态交互指令,通过分析语音、视频、触控等多种信息源,提高交互的准确性和用户体验。

具体来说,当用户在智能座舱中发出指令时,系统会收集与智能座舱相关的多模态信息,如音频信息、视频信息、触控信息以及车辆状态信息。这些信息会被预处理,然后通过预先训练的多模态信息对齐模型,确定信息与用户指令是否一致。例如,系统会对音频信息进行语义分析,确认其与车辆状态的匹配程度,同时分析视频信息中的用户口型与语音指令的吻合度。基于这些分析,系统决定如何响应用户指令。

通过多模态信息对齐模型和智能座舱技术结合,提供了更全面、更精准的响应,避免了单一信息源的局限性。

图片
图片

在语音识别方面,小鹏汽车在2023年01月10日申请了一种语音识别的方法,方法的核心是利用双输出层的声学模型与智能座舱结合,消除了语音识别文本的延时,提升了语音的识别效率。

图片
图片

接着我们看下与图像处理结合的案例。科大讯飞在2022年11月07日申请了基于多任务的座舱内行为检测方法专利,应用于监测驾驶员在驾驶过程中的异常行为,如贴耳式使用手机或抽烟等,以提升驾驶安全性。

具体来说,相比于传统单一的物体检测或人脸关键点检测,通过多线索识别模型和智能座舱结合,能更好地利用人脸全图语义信息,减少误报,同时也避免了运行多个识别模型造成的效率低下问题,提升了车机的运行效率和系统的整体性能。

图片

我们代理所也处理过一些大模型与智能座舱结合的相关案例,例如这份专利:基于图像识别的地图数据更新方法。

在这篇专利里我们可以看到,地图更新利用了大模型中的图像识别技术,通过图像采集装置实时或定期拍摄的图像,采用图像识别技术来检测和提取图像中如路标、路面标记、临时指示标识和建筑物标识等道路标识信息,并与已有的地图数据进行比对,找出不一致的地方进行更新。

这种依托深度学习模型的图像识别技术,直接应用于地图数据的实时监测与更新,不仅提升了地图信息的时效性和准确性,也优化了智能座舱的导航功能。

图片

下面我们看一个关于个性化定制的专利,根据该专利的概述可以看出,该专利公开了一种车载虚拟个人助手的场景编排方法和相关装置,解决当前车载虚拟个人助手表现较为呆板、反馈方式单一且用户体验不佳的问题。

通过该专利技术,个人虚拟助手得以显著提升其互动性和功能性。不仅能够灵活响应用户通过语音命令或触摸面板操作提出的多样化需求,还能主动监测车辆状态,在必要时自动触发安全提醒或采取相应措施,极大地丰富了人机交互的维度,创造了更加直观和自然的沟通体验,从而显著提高了智能座舱环境中的人机交互水平。

在背后,大模型的应用起到了核心推动作用。大模型凭借其强大的数据处理能力和深度学习算法,能够有效地解析和融合来自不同模态的复杂信息——无论是用户的语音指令、触控操作还是车辆的运行数据。这种对多模态数据的精准理解和情境感知能力,使得个人虚拟助手能够准确捕捉用户意图,迅速作出适宜反应,提供更加个性化和智能化的服务。

图片

基于这些专利文献资料,我们可以清晰地观察到企业在大模型与智能座舱融合领域着手布局的情况已不少见。因此,如何从专利角度对自己的技术进行布局就成为了着重要解决的企业痛点,接下来我简单的为大家介绍几种布局思路。

首先,从项目任务的角度出发,可以将整体任务细化为多个子任务,深入剖析每个部分所蕴含的技术要素。随后,识别并提炼出这些技术要素中的创新点,最终整合成一套完整且具有创新性的技术方案。

其次,聚焦于单一创新点进行深入挖掘。以项目中的某一核心创新点为起点,我们探索其相关的各种因素,通过这些关联因素进一步挖掘潜在的创新点,并将这些新发现的创新点整合,形成新的、更为完善的技术方案。

最后,基于对现有专利的全面分析,我们细致研究目标专利的主要创新点、权利要求及其实现路径。在此基础上,我们积极寻求替代性方案、改进策略以及包围策略,旨在通过多样化的专利布局来增强企业的技术竞争力和市场地位,确保在大模型与智能座舱结合领域的领先地位。

图片

之后对专利申请后的实际作用进行说明

1、对于企业而言,掌握大模型技术并在智能座舱中应用,意味着能够在快速变化的汽车市场中保持技术领先地位,引领行业发展趋势。技术优势能够转化为竞争优势,帮助企业在激烈的市场竞争中脱颖而出。

2、智能座舱的智能化水平直接决定了用户体验和满意度。大模型技术的引入,使得智能座舱能够提供更准确、更流畅的语音交互、更丰富的个性化服务以及更高水平的驾驶辅助等功能,直接提升产品的价值,吸引更多消费者。

3、通过共享智能座舱的创新成果,企业可以与上游供应商深化技术协作,共同研发更高效、更智能的零部件和系统,从而降低生产成本,提升产品质量。与此同时,与下游经销商和服务提供商的合作,则能拓展基于智能座舱的增值服务,如远程车辆管理、个性化保险方案和定制化出行服务等,为消费者创造更多价值,同时也为企业自身开辟新的收入来源。

智能座舱的进化不仅限于技术层面,更在于它如何重塑汽车产业的价值链,促进多方共赢。随着智能座舱技术的不断成熟与普及,,将引领汽车行业迈向一个更加协同、创新和可持续发展的未来。

4、大模型技术具有强大的计算处理能力和多模态交互能力,能够显著提高智能座舱的研发效率。

通过专利保护,企业可以避免重复研发,降低研发成本,并加速产品上市进程。

5、专利是企业重要的知识产权之一,能够保护企业的创新成果不被他人侵犯。通过将大模型技术与智能座舱技术结合的专利,企业可以确保自身在相关领域的创新成果得到法律保护,防止竞争对手通过不正当手段获取技术优势。

6、拥有创新技术和专利产品的企业往往能够赢得更多的关注和认可,从而提升品牌影响力。

智能座舱作为智能汽车的重要展示窗口,其智能化水平的提升将直接提升消费者对汽车品牌的认知和好感度。

图片

第三部分,技术结合的现实意义

图片
图片
图片

所谓现实意义,也就是为什么要进行专利布局?专利布局能为企业的发展带来哪些好处?

专利布局使企业可以申请专精特新或者高新技术企业,进而给企业提供税率优惠、贷款以及推广等优惠政策,而专精特新企业与高新技术企业的申报均对企业自身有一定的专利要求。

具体来说,申报专精特新需要企业拥有一定数量的自主知识产权,这些专利可以是发明专利、实用新型专利或外观设计专利,且与企业主营业务紧密相关,具有较高的创新性、实用性和先进性。专利必须在有效期内,未被宣告无效或撤销,并能够转化为实际的产品或服务,形成企业的核心竞争力。此外,企业还需具备良好的科技成果转化能力,确保专利技术的有效应用和市场价值。这些要求旨在确保企业在技术创新和知识产权保护方面达到一定水平,从而提升企业的整体竞争力和市场地位。

 接着是高新技术企业评定中,企业必须具备一定数量的自主知识产权,这些知识产权可以是发明专利、实用新型专利、软件著作权等,且数量上需满足一定要求,如发明专利数量至少1件,或实用新型专利、软件著作权等数量达到5件以上,且三年总计数量在15件以上。此外,这些专利必须在中国境内授权或审批审定,并处于有效保护期内。

图片

一个企业,具有专利的数量不仅是衡量企业技术创新能力和知识产权保护水平的重要指标,还直接关联到企业在申报专精特新企业和高新技术企业评定中的竞争力。拥有一定数量的高质量专利,尤其是与企业主营业务紧密相关的发明专利,能够显著提升企业的市场竞争力,促进科技成果的有效转化,形成企业的核心竞争力和市场优势。总之,专利是企业技术创新能力和知识产权保护水平的重要体现,也是企业在市场竞争中脱颖而出的关键因素。



(本文中ppt的版权和内容归原作者所有)

  



如您有意愿作为嘉宾参与“一团火”知产沙龙,分享您对于行业的宝贵意见,亦或您有意愿参加沙龙与行业大咖沟通交流,欢迎您报名参加沙龙活动。联系人:杨波,18601959839(微信同号)。