预训练模式发展趋势分析(预训练模型的作用)

一言以蔽之，尽“人工智能2021年”

年末年初，InfoQ采访了多位行业专家，回顾了2021年人工智能大模型深度学习框架NLP智能语音自动驾驶知识地图等各项AI技术的发展状况，并展望了未来一年可能的技术趋势。

1AI技术2021年发展总结与展望

人工智能将走向“锻炼大模式”阶段

今年是超大规模预训练模式的爆发之年。

去年，GPT-3诞生了。 这一1750亿参数预训练模型展示出的零样本和小样本学习能力刷新了人们的认知，引爆了2021年AI大模型研究的热潮。

GoogleNVIDIA智源人工智能研究院阿里百度浪等国内外科技巨头和机构纷纷开展大模型研究和探索。

超大规模事前训练模式的“军备竞赛”

值得一提的是，今年国产化大模式研发进展迅速，华为浪潮阿里百度等推出了自研大模式。

浪潮人工智能研究院首席研究员吴韶华对InfoQ表示，目前行业提高模型参数量有两种技术路线，产生了两种不同的模型结构，一种是单体模型，一种是混合模型。 浪潮源头大模型华为的盘古大模型百度的文心大模型NVIDIA和微软发布的自然语言生成模型MT-NLG等都走单体模型路线； 智源的悟道模特阿里M6等走的是混合模特路线。

预训练模型技术的新进展

OPPO小布智能中心NLP算法工程师曾冠荣认为，预训练模型今年取得的重要技术进展如下。

知识表达和学习机制进一步创新突破

随着对预训练模式的深入理解，预训练模式的知识学习和特征机制逐渐清晰，人们可以更顺利地将需要学习的知识注入到模型中，在这些知识的加持下，应对复杂任务的能力大幅提高。

比较学习自我监控与知识强化

以比较学习为中心，以多种增强方法为工具的方式可以进一步提高预训练模型的语义理解和表达能力，增强方法的深度可以实现模型的自我监控，降低对比较学习样本特别是正样本的依赖， 减少数据依赖提高了模型对较少样本或没有样本的任务的适应性，该模型可以更好地完成这种类型的任务，从而进一步降低了预训练模型的着陆成本。

降低AI规模化落地门槛

预训练大模型降低了AI APP阈值，解决了两个难题：数据和行业知识。 不需要大量的标注数据，也保障了基础基础。

在预训模式业务定制的优化和应用中，从首款预训语言模式BERT发布至今，已经在众多热门任务下应用，从一个“潮流”逐渐成为前沿技术的“基本操作”，冠荣说例如，预训练模式已经成为机器翻译领域的基础关键技术。 另外，预训练模式也成为大系统的一部分，发挥着对其语义理解的优势。

无论是行业还是科研，预训练模式的使用方法逐渐变得灵活，可以从预训练模式中将适合任务的部分分解组装成自己的实际任务模式。

目前，预训练大模型的性能优化还远未结束，学术界对预训练模型的落地能力有较多的研究，压缩剪枝蒸馏的工作仍然发挥着重要的作用。 不仅是算法本身，编译引擎的硬件等的优化也取得了很大的进展。

总结与展望

吴韶华认为，总体而言，目前包括模型结构演进和落地在内的大规模预训模式研究还处于探索阶段，各家的不断探索正在不断扩大对大规模预训模式的认知边界。

“大规模预训练模式是人工智能的最新技术高地，是对海量数据高性能计算和学习理论原始创新的全方位考验。”清华大学教授智源大模式技术委员会委员刘知远在接受InfoQ采访时展望了明年大模式的发展趋势。

国产深度学习框架不再是“技术的追随者”

过去10年中出现了大量的AI算法和APP应用，但其背后离不开开源深度学习框架提供的支持。

开源深度学习框架是AI算法研发和AI APP落地的“立足点”，帮助ai研究者和开发者大幅降低算法研发门槛，提高研发效率。

新进展新趋势

深度学习框架发展的核心是随着深度学习领域的发展而前进。

另外，MLIR和TVM这一深度学习编译器领域的灯塔发展迅速，如何在机器上进行编译也成为各深度学习框架开发的主要方向。 同时随着深度学习方法的持续发展，神经网络领域的DGL这样的新框架也应运而生。

技术自立之路

近两年来，国产深度学习框架相继开源，发展迅速，在开源框架市场占有一席之地。

在开源生态建设方面，各家也在持续投资，通过开源社区扶植产学研合作等方式，支持国产开源生态的发展和人才培养。

目前，主流的深度学习框架多来自国外大厂商，目前国内企业自身研究的深度学习框架还没有高级到可以成为国际主流的学习框架。

许教授高兴地说，国产深度学习框架在生态建设上还有很长的路要走，既要投资生态建设的持续整治，也要找到差异化的技术竞争点，充分结合我国国情和国产硬件，发挥自身的技术优势和更好的生态洞察力

研究开发的难点

目前，在深度学习框架中，行业普遍面临的研发难点主要体现在以下三个方面。

在训练端，NPU开始入场，很多厂商已经制作了自己的训练芯片，有效地对接训练NPU的方法还没有解决；

更好地支持大模型的训练

随着大模型的持续火热，预计深度学习框架将提高并行策略的重新计算等能力，以更好地支持大模型的训练。

同时，目前训练大模型仍需消耗大量资源，依靠深度学习框架的力量节约计算资源或更小规模地完成任务是一个值得探索的技术方向。

智能语音这一年：技术突破持续，产业落地加速

语言？ 领域的大规模事前训练模式层出不穷

字节跳动AILAB语？ 技术总监？ 泽君对InfoQ表示，2021年度，智能语音技术的发展呈现出三个层面的趋势：

过去？ 基于年度这两个阶段的训练模式的超？ 模型在不断更新学术算法竞赛的记录吗？ 业界也是？ 模型训练与调优范式。

除了基础技术，有不同的应对方式吗？ 在场景中，很多领域的模态技术也迅速融合，形成了视觉语吗？ 与语义相结合的多模式集成系统，如虚拟数字？

工业界加速落地

总体来说，智能语？ 加快技术在工业界落地，业务和技术两个方向的合力共同作用，牵引和驱动APP落地。

从核心技术驱动看，在基础模型改进和自监控技术不断提高模型性能上限的同时，多模态技术的融合使技术方案的能力越来越强，是否可行？ 拥有更复杂的场景，带来更好的体验。

商业化的难点主要是商业模式的选择

马泽认为，现阶段智能语音商业化的难点主要是商业模式的探索和路线选择问题，具体包括如何更好地加满油。 控制需求，控制成本，保证交货质量。

另一方面，AI商业模式的探索需要始终以需求为中心展开，提高模型的效果与在实际场景中解决用户和客户的问题并不等同。 解决实际问题需要开发AI吗？ 人员深入业务场景，了解需求和门槛限制，找到合理的产品技术？ 事件会不断思考抽象功能和技术，沉淀共同的技术解决方案吗？ 案例，探索验证可规模化的标准产品，减少定制周期和成本。

另一方面，AI技术的研发成本很高，如何通过优化算法降低对领域数据的依赖度，建设自动化平台降低人力消耗，提高研发过程的效率对成本控制非常重要。

最后还重视交货质量和售后服务。 只有这三个环节同时进行，才能完成整个需求到服务的链接，为规模商业化奠定基础。

端到端序列建模技术

端到端语言？ 识别技术？ 的热字定制和区域？ 适应技术？ 可能很重吗？ 发展。

无监视前训练技术

还有多模式语导演的事前训练技术？ 你经常被吸引吗？ 这个技术非常有可能性吗？ 如何提高预训练模式的特征？ 从，开始？ 要带过来吗？ 更多地监督事前训练技术？ 范围落地呢？

语言？ 对抗措施攻打击和防御技术。

群雄逐鹿，谁能赢得自动驾驶之战？

2021年，自动驾驶领域特别热闹。

造车热

今年，互联网巨头的新造车势力和传统企业纷纷入场布局自动驾驶，可以说，走上绝路的巨头们几乎都开始造车了。 自动驾驶“战场”群雄逐鹿。 不知道未来谁会掌舵。

商业化前夕

毫安COO侯军认为，2021年是自动驾驶的爆炸之年。 另一方面，得益于技术持续进步市场需求政策资本保障前景看好等各方面因素，高水平自动驾驶在落地探索方面已经取得初步成果； 另一方面，智能驾驶商业化落地也迅速渗透，正迈向量产时代。

2022这些技术是下半场竞争胜负的关键

张凯预测，2022年将是自动驾驶行业发展的重中之重。 轿车辅助驾驶领域的竞争将正式进入后半部分，后半部分竞争的场景将是城市开放场景。 其他场景的自动驾驶也将正式进入商业化元年”。

数据智能是自动驾驶批量生产决赛的关键。 数据系统是自动驾驶商业化闭环的关键，建立高效低成本的数据智能系统有助于推动自动驾驶系统的迭代前进。

随着自动驾驶系统的批量生产和规模化，由激光雷达和机器视觉组成的AI感知技术，将与大计算力计算平台深度融合，大大提高自动驾驶感知认知模块的运行效率。

NLP，黄金时代会持续吗？

这几年，NLP处于快速发展阶段。 去年，许多NLP专家评价说，NLP迎来了大爆炸的黄金时代。 今年，NLP的发展情况怎么样？

基于提示的微调技术迅速流行起来

“今年的NLP在基础模型方面没有大的突破。 关于预训模式，今年出现了很多大模式，但总体同质化严重，工业界的实践效果倾向于遵循“奥卡姆剃刀”的原则，使用Bert这样的最佳模式就足够了。”蒋宏飞说。

目前，NLP技术在发展过程中存在诸多技术挑战，其中之一是难以获得大量高质量的标记数据。 深度学习依赖于大规模的标记数据，对于语音识别图像处理等感知类任务，标记数据比较容易，但NLP多为识别类任务，人类的理解是主观的，且任务和领域较多，所以大规模的数据标记

与CV语音识别相比，NLP项目在业务中落地较晚

NLP落地项目往往与业务密切相关。 像图像识别语音识别一样，通用能力在具体业务中也有很多落地场景，业务与算法合作的边界和指标确定得比较好。 NLP项目往往业务落地较晚，需要上下游不断深度磨合。

NLP解决的是最难的认知智能，人类语言的模糊性复杂性动态性使其挑战变得困难。 但是，由于NLP商业化的落地要面临这些本质的难题，没有太多具有通用性的“一手吞天”技术方案。

既然通用性的模型做不好，为什么不能快速构建单一具体的场景任务呢？ 这个问题又涉及数据问题。 数据标准对齐数据表示一致且高效的数据覆盖度和均衡度长尾数据处理数据的动态漂移等是NLP从业者每天面临的棘手问题。 相关的方法论和基础工具尚不系统完善，这是未来实现快速商业化目的的必要基础。

明年，NLP将在什么场景下规模化落地？

2022年，NLP的大规模化APP应用有可能在以下行业取得突破。

教育智能化。

场景化高级标准机器辅助翻译，包括专业文档翻译会议的实时翻译。

服务运营智能化：培训销售营销服务等场景的智能化。

代码智能分析。 代码错误标识代码的智能优化等。

基于提示的微调技术。

多模态技术。 NLP cv NLP图像NLP speech等。

积极学习数据的增强等。 NLP大规模快速落地的诸多痛点需要缓解这些技术。

代码智能。 代码问题识别代码翻译自动代码优化代码工作量评估。

元宇宙概念火灾，计算机视觉是基础技术之一

回顾过去一年，OPPO AI技术产品化专家何苗总结了计算机视觉在工业界和学术界的进展。

身体智能被动AI向主动人工智能转变

要进入元宇宙，你需要一张智能感知和对话的门票

今年，元宇宙的概念发生了大火，各家相继入局。

进入元宇宙需要智能感知和交互技术门票，而门票中的视觉和语音技术是最重要的基础。

趋势1 :面向内容生成的AIGC

元宇宙世界需要重构双胞胎般的大量现实世界物体或现实世界人物，这些大量的重构必然无法按照传统的游戏世界方法，由CG技术人员一个人手工制作，远远不能满足实际场景的需要。 因此，面向内容生成的AIGC是必要的。 作为相关技术的方向，有图像超分domain迁移外推CLIP (可以从自然语言监视中有效地学习视觉模型的对比语言图像事前训练模型)这样的隐含神经表现从文字记述中生成图像等多模式等相关技术。

趋势2:scv合成

虚拟现实引擎具有用于生成合成数据的专用组件，这些合成数据不仅美观而且有助于训练更好的算法。

生成/合成的数据不仅是元宇宙的必备要素，也是训练模式的重要原料。 有了构建数据集的相应工具，就可以省去手动标记数据的麻烦，更好地开发和训练计算机视觉算法。

制约知识图谱商业化落地的主要问题是标准化

重要技术进展

知识图谱技术过去一年取得的重要技术进展如下。

明略科技资深科学家张杰在接受InfoQ采访时指出，目前在知识图谱方面，行业普遍面临的研发难点主要体现在两个方面。 在算法方面，对非结构化数据的信息提取和实体匹配的准确性难以直接保障商用，需要人工检测； 在工程方面，行业地图构建成本较高，需要大量人工标注，且构建进度也不是一刀切，需要业务专家不断运维。

张杰预计，2022年，领域预训练语言模型和Prompt在知识图谱中的应用有望进一步提升信息提取环节。 对于技能知识的提取技术和多模式提取技术，商用前景广阔。

应用落地的进展

2021年，知识地图技术的应用，在ToC场景中仍然主要用于搜索推荐的提升，在ToB场景中集中于可视化。

张杰认为，现阶段制约知识图谱商业化落地的主要因素在于标准化，行业图谱模式很难在企业内大范围内达成认知一致，影响了后续的标签抽取APP。

2022年，知识图谱技术大规模应用在制造业有可能取得突破，制造业知识密度高注重标准化，头部企业重视数字化建设，积累了大量原始数据。

22021年度AI技术突破

人工智能预测蛋白质的结构

长期以来，蛋白质结构预测一直是生物学领域的研究热点和难点。 传统的蛋白质结构检测方法主要有x射线晶体学核磁共振和冷冻电镜三种。 但这些方法成本高研究周期长进展有限。

人工智能为这个生物学界几十年的难题按下了快进按钮。

其他研究进展

人工智能工程化

人工智能工程化对企业有很多好处，企业在进行人工智能落地时，落地效率的落地幅度会变高。

生成式AI成为趋势

最近，机器学习大牛吴恩达发表的文章回顾了AI在2021年的四个重要进展，其中之一是AI音频内容的生成趋于主流化。 如今，音乐家和电影制作人已经习惯使用AI支持的音频制作工具。

元宇宙，狂热的新风口

2021年，可能没有比“元宇宙”更热的技术名词了。 全世界很多企业都在谈论元宇宙的概念，认为元宇宙是通向互联网的“终极形态”。 现在，移动互联网的红利已经达到顶点，不知道互联网的终结会不会成为元宇宙。

4最后写

总结2021年人工智能的发展，出现了许多令人兴奋的重大突破，人工智能也正在改变和颠覆许多行业。 当然，有很多难点，攻克。

人工智能的发展已经进入深水区，期待在明年以后的10年里，人工智能在技术和落地方面取得更多进展，为下一个“黄金十年”而努力。

访谈嘉宾介绍：

何苗，OPPO AI技术产品化专家

侯军，毫安智行COO

蒋宏飞，业务支持NLP资深算法专家

刘知远，清华大学教授智源大模型技术委员会成员

？ 泽君，字节跳动的AILAB语？ 技术监督

吴韶华，浪潮人工智能研究院首席研究员

曾冠荣，OPPO小布智能中心NLP算法工程师

张杰，明略科技资深科学家

张凯，毫安智行董事长

事件推荐

本站声明：本站所有好东西均来源于互联网，不保证100%完整、不提供任何技术支持，分享目的仅限于学习和测试，一切商业行为与本站无关，下载后请在24小时内删除。请勿用于商业用途，如需商业使用请向官方购买授权，由于使用该资源引起的侵权行为与本站无关！如有侵权，请联系info#sogua2008.com(将#换为@)及时删除！
本文地址：搜刮好东西 » 预训练模式发展趋势分析(预训练模型的作用)