半岛APP中科院自动化所“全模态”大模型亮相图文音视频3D传感器信号都能理解

　　团队介绍到，现实世界中本来就充满了复杂多样的异构信息，人类自己也是综合多模态信息去理解这个世界的。

　　AI最擅长的就是从海量数据中提取出隐藏的规律，所以语言大模型进展最快也就不奇怪了。

　　拿大家已经很熟悉的文生图AI绘画来说，训练阶段需要大量的图-文配对数据，生产成本已经很高。

　　要想得到充足的文字、图像、音频、视频、3D、信号等模态之间的配对数据，那就想都别想了。

　　团队对此的考量是，图像能表达的语义还是不够丰富，比如像抽象的概念最后还是得靠语言。

　　以语言为核心连接起全模态数据，也为AI大模型打开很多新的应用空间，在发布会现场也做了展示。

　　同样是医学领域，医学影像、患者照片、病例等结合起来，还可以辅助罕见病的鉴别诊断。

　　对于网络谣言常见的视频画面与音频播报内容不一致的手段，多模态大模型也能加以识别。

　　企业和组织想要借助这些全模态能力开发应用，也可以直接到紫东太初大模型开放服务平台。

　　简单来说，就是AI应用开发全生命周期的每一个环节所对应的服务都安排好了。

　　开放服务平台内置MindSpore、Pytorch等主流开源深度学习框架，提供大模型下游微调、自动学习、可视化拖拽建模、交互式代码开发等不同建模方式。主打全方位国产可控、快速切入客户场景，以及简单易用的人工智能建模和应用。

　　2020年1月，中科院自动化所就发起集团式攻关，聚焦多模态大模型路线月，发布首个千亿参数三模态大模型紫东太初1.0， 做到多模态统一表示，相互生成、推理。

　　在应用实践过程中又发现数字时代万物互联的新需求，融入3D、视频、传感信号等更多模态数据半岛APP，进一步突破感知、认知和决策的交互屏障。

　　在发布会现场，中科院自动化研究所所长徐波表示，站在更宏观的视角，全模态大模型属于信息智能的突破。

　　未来要通向AGI，势必还要与另两大路线“类脑智能”和“博弈智能”再次融合。

　　原标题：《中科院自动化所「全模态」大模型亮相，图文音视频3D传感器信号都能理解》