本文记录笔者参加CNCC 2023 AI相关的议题，方便各位小伙伴快速了解学界在AI的理论研究和行业应用情况。

1.CNCC 2023概览

(1)会议简介

• 本届大会以“发展数字基础设施，支撑数字中国建设”为主题，探讨计算及信息科学技术领域的最新进展和宏观发展趋势，为数字中国建设提供支持。

• 大会特邀了国际知名学者、两院院士、产学研各界代表在内的700余位报告嘉宾，覆盖了人工智能、安全、计算+、软件工程、教育、网络、芯片、云计算等30余个领域，推动不同领域的交叉融合，为各界专业人士提供了广泛的专业内容。


(2)议题分布

CNCC 2023的众多议题中，LLM相关分会场73个。

• 基础设施：18个分会场
• LLM理论研究&工程化实践：15个分会场
• LLM应用：38个分会场


2.方向1：基础设施

2.1.DPU相关

议题1：DPU标准化工作实践

• 报告人： 钟伟军，中国电子技术标准化研究院技术总监。
• 内容小结：
  • 价值：DPU标准化工作，是DPU大规模落地应用中重要环节。
  • 成果：DPU标准工作实践的成果和现状。如：《数据处理器(DPU)第1部分：参考框架》、《数据处理器(DPU)测试方法》等。
  • 挑战：DPU标准化工作的挑战及下一阶段的计划。

议题2：面向AI时代的DPU云计算融合底座设计与实践

• 报告人：曹辉，中科驭数产品运营部副总经理
• 内容小结：
  • 趋势：越来越多的云计算基础设施组件正在计划融合或支持DPU方案，是下一代云计算架构演进的主流方向。
  • 挑战：在云原生领域，随着智算中心架构的发展，高吞吐、低时延是智算中心架构发展的挑战。
  • 案例：中科驭数的解决方案是IaaS on DPU，将IaaS平台下沉至DPU，提供高性能的容器、虚拟机、裸金属服务。

议题3：网络域场景DPU应用探索

• 报告人：曹畅，中国联通研究院未来网络研究部总监

• 内容小结：

  • 价值：DPU具有高效、灵活的可编程网络数据处理加速能力，可支撑网络、存储、安全、管理等数据中心基础设施层可定制的业务加速能力。
  • 枢纽：DPU衔接了算力和网络两大领域的重要枢纽，推动了计算和网络融合，助力传统算力基础设施向算网一体的算力网络演进。
  • 案例：在算力网络、5/6G、数据中心网络等网络域场景中，中国联通如果对DPU进行的探索及创新方案。

议题4：DPU , 如何使能高性能AI网络

• 报告人：王瑞雪，中国移动通信有限公司研究院基础网络技术研究所技术经理

• 内容小结：

  • NICC：New Intelligent Computing Center，以高性能GPU、AI加速卡为中心，以高速互联智算集群为目标，形成E级超大规模算力基础设施。
  • 价值：强化互联技术、深化算力协同、定义新型存储、新增算力原生、升级绿色节能。
  • 关键点：AI大模型以GPU集群分布式训练为基础，集群节点间频繁参数同步带来大通信开销，因此网络是提升AI大模型训练效率的关键之一。

2.2.芯粒相关

议题1：智能计算时代下的Chiplet生态建设

• 报告人：谭展宏，北极雄芯信息科技有限公司CTO。
• 内容小结：
  • 趋势：海内外多家公司也陆续推出了基于Chiplet技术的产品。
  • 挑战：很多公司标榜着Chiplet这个关键词，但Chiplet的定义、使用方式和技术路线都有各自说法。
  • 探索：本议题探讨Chiplet如何助力面向计算资源与智能计算，分享Chiplet的生态发展的思考。

议题2：面向百芯万核的芯粒仿真初探

• 报告人：王小航，浙江大学教授。
• 内容小结：
  • 价值：软件仿真器是探索集成芯片设计空间的重要工具
  • 挑战：在大芯片和大模型的时代芯片规模提高，仿真性能无法支撑百芯万核规模的芯片仿真，仿真精度校准难，仿真配置多等。
  • 方案：分析了上述问题的形成原因，通过并行仿真、精度调节、自动化设计空间探索等技术解决上述问题。

议题3：芯粒测试关键技术研究

• 报告人：蔡志匡，南京邮电大学教授。
• 内容小结：
  • 价值：Chiplet是延续摩尔定律的关键技术，通过先进封装将芯粒集成在一个中介层上，解决芯片研制的规模大、成本高、周期长等问题。
  • 关键点1：基本DFT技术、单芯粒测试技术、多芯粒测试技术。
  • 关键点2：覆盖芯粒测试各个环节的芯粒系统级可测试设计方案(测试技术、测试EDA、测试装备)，实现高可靠性、全流程的系统级测试。

议题4：从AIGC到百模大战，异构计算和Chiplet 协同以致胜

• 报告人：祝俊东，奇异摩尔产品及解决方案副总裁。
• 内容小结：
  • 价值：随着LLM发展及百模大战，异构计算与Chiplet协同扮演关键角色。
  • 趋势：百模大战引导出的关键挑战之一是高性能芯片、更大规模的智算平台。

议题5：面向2.5D集成的先进封装工艺与设计协同方案

• 报告人：樊嘉祺，华进半导体封装设计经理
• 内容小结：
  • 价值：摩尔定律趋缓，封装技术成为电子产品小型化、多功能化、降低功耗、提高带宽的重要手段。
  • 趋势：芯片封装从传统的平面封装向系统集成、高速、高频、三维方向发展。
  • 挑战：芯片-封装协同设计、满足可靠性要求，材料和工艺方面，存在诸多挑战。
  • 案例：华进半导体致力于系统封装设计、2.5D/3D 集成关键核心技术研发，提供设计仿真、晶圆制造、系统集成、模组测试等全方位解决方案。

2.3.信息器件与智能计算相关

议题1：存算一体异构计算芯片

• 报告人：高滨，清华大学长聘副教授/博导，清华大学教务处副处长
• 内容小结：
  • 背景：存算一体技术聚焦在单片三维集成的新型存储器技术。
  • 技术点：忆阻器相关的制造工艺和设计技术，包括28nm集成、EDA工具开发、IP单元电路设计、异构计算架构设计、编译器等。
  • 成果：基于忆阻器的超近存计算+存内计算的异构计算系统，在算力、灵活性、可扩展性、效率、精度等方面展现出巨大的优势，在多个场景已得到初步的应用验证。

议题2：基于忆阻器的储池计算

• 报告人：王中锐，香港大学电气与电子工程系助理教授
• 内容小结：
  • 价值：由于内存的物理上分离、处理单元以及晶体管工艺节点限制，传统数字硬件面临巨大挑战，忆阻器是高效和高集成度的深度学习解决方案。
  • 挑战：忆阻器的非理想特性使其难以在边缘侧AI实现原位学习。
  • 技术点：利用新颖的硬件-软件协同设计，利用忆阻器的高度并行和高效的存内计算，将忆阻器的随机性转化为优势。
  • 技术点：基于忆阻器的回声状态储池网络用于时空信号学习、利用随机忆阻器阵列进行图结构数据学习、图嵌入方法与忆阻器联想记忆相结合以满足少样本图学习的需求、基于忆阻器液态机的零样本学习用于多模态事件数据。

议题3：新型神经元器件、电路及其类脑系统应用

• 报告人：张续猛，复旦大学青年副研究员，2023年度CCF-之江实验室联合创新基金获得者，全国智能计算标准化工作组委员
• 内容小结：
  • 价值：忆阻器基神经元器件，具有丰富动力学、低功耗、以及高集成度等特点，被认为是构建紧凑神经元电路的理想单元之一。
  • 技术：利用神经元不同放电模式实现高效计算方面的研究工作，神经元器件的本征温度响应和它在多模态感知方面的应用。

议题4：模拟矩阵计算求解Ax = b

• 报告人：高滨，清华大学长聘副教授/博导，清华大学教务处副处长
• 内容小结：
  • 价值：求解矩阵方程Ax = b是历史上计算机技术发展的重要驱动力，也构成了现代计算任务的核心。如：科学计算、机器学习、信号处理等。
  • 挑战：传统数字计算机通过执行串行算法(直接法/迭代法)求解该方程，具有高的计算复杂度。
  • 挑战：传统计算机采用冯·诺伊曼架构，求解速度与能效受存储器、处理器之间的通信瓶颈限制。
  • 方案：模拟矩阵计算，基于存储器阵列架构与全局反馈实现，具有极高的计算并行度；设计存储器阵列的反馈连接方式，模拟矩阵计算电路能够以O(1)的时间求解矩阵求逆、广义逆(如最小二乘)，以及稀疏近似(如压缩感知还原、稀疏编码)。

议题5：基于RRAM硬件的高效小样本学习和图处理

• 报告人：李灿，香港大学电机与电子工程系的助理教授
• 内容小结：
  • 价值：RRAM，抗变存储器，一种新兴的非易失性模拟存储技术，在存算一体应用方面展示了巨大的潜力。
  • 技术点：使用RRAM进行哈希运算和相似度搜索。通过在交叉阵列中进行特殊编码以及在注意力机制中用于相似度搜索。结合这些操作能够使用基于记忆增强的神经网络(MANN)进行少样本学习，以及使用图注意力(Graph Attention Network)网络进行图数据处理。这可能相较于传统计算平台如CPU和GPU，能耗显著降低，准确度损失最小。

2.5.云计算相关

议题1：大模型与国产算力

• 报告人：翟季冬，清华大学计算机系长聘教授。
• 内容小结：
  • 关键点：在新一代国产超级计算机上，从底层算子库、并行加速库、负载均衡和混合精度等多方面对大模型进行了性能优化，最终实现了百万亿级参数量的预训练模型训练加速，达到了 EFLOPS级别的训练性能。

2.6.国内厂商的基础设施情况

议题1：构建泛化普惠的智能算力(中科曙光)

• 报告人：杜夏威，中科曙光智能计算产品事业部总经理。
• 内容小结：
  • 趋势：通用超算中心->专用智算中心->通用智能计算中心。
  • 技术点：成熟兼容的DTK，兼容CUDA和ROCm。
  • 成果：适配百度飞桨，上限飞桨官网。

议题2：算力为基，共筑数智未来(华为昇腾)

• 报告人：刘鑫，华为昇腾计算业务副总裁。
• 内容小结：
  • 介绍华为在AI领域通过昇腾计算构筑坚实算力底座，聚焦根技术创新，打造好用、易用、可信的人工智能平台，发展普惠算力，降低大模型开发门槛，加速大模型模型创新落地，与各产业界共同构筑AI生态未来。

议题3：昇腾大模型基础设施解决方案(华为昇腾)

• 报告人：周斌，华为昇腾计算业务研发总裁
• 内容小结：
  • 挑战：大模型是复杂系统工程，每个环节都存在大量工程技术挑战。
  • 关键技术：高密度计算、复杂通信、内存优化等，打造大模型超级流水线，全流程使能大模型创新落地。

议题4：华为计算领域技术挑战难题解读(华为昇腾)

• 报告人：石晓钟，华为计算产品线技术合作总监
• 内容小结：
  • 难题1：计算系统的高可靠计算容错技术。
  • 难题2：片上和系统相结合的内存纠错技术。
  • 难题3：多言行算力下的高鲁棒性混合精度求解。
  • 难题4：基于原生硬件的高性能算子/算法(Matmul、Self-Attention)。
  • 难题5：基于原生硬件的高性能算子/算法(FFT、Conv2D)。

议题5：壁仞科技

• 报告人：丁云帆，壁仞科技系统架构副总裁
• 内容小结：
  • 服务于百度飞桨、文心一言。
  • 挑战：GPT的大规模分布式训练在模型的参数规模、算力规模和训练性能等维度都存在巨大的挑战，大模型的应用落地也存在成本高、延时大的难题。
  • 关键点：本报告介绍GPT大模型的分布式并行训练策略、如何基于国产大算力通用GPU打造大模型训练系统及低延时高性能的大模型推理引擎。

议题6：飞腾

• 报告人：窦强，中国电子信息产业集团科技委副主任，飞腾信息技术有限公司首席科学家
• 内容小结：
  • 归属：隶属于中国电子信息产业集团。
  • 关键路径：体系结构优化、设计工艺协同优化DTCO、先进封装推动Chiplet、系统垂直优化。

3.方向2：LLM基础理论&工程化实践

3.1.预训练&微调

议题1：大模型技术研究及应用

• 报告人：宗成庆，中国科学院自动化研究所研究员、博士生导师

• 内容小结：

  • PS：宗老师这个议题讲的非常通透，NLP造诣很深厚。
  • 对大模型改进1：丰富生成文本的信息。预训练模型过于关注提示词中给出的实体or事件，难以包含更丰富的实体和信息。
  • 对大模型改进2：无梯度计算的大模型参数调试。即，仅微调模型参数的一小部分就可以达到不错的微调性能。

3.2.端云协同下，分布式训练

议题1：端云协同下分布式模型训练

• 报告人：吴飞，浙江大学求是特聘教授，博士生导师

• 内容小结：

  • 价值：在泛在互联、端云协同、AI赋能背景下，形成端云协同机器学习计算范式，是人工智能成为普惠化能力的关键问题之一。
  • 技术点：将云侧的泛化能力与端侧的个性化能力结合起来，体现须弥纳于芥子的哲学思想。云端or端侧学习能力提升、端云协同模型化、端云系统开放平台是研究重点。

3.3.神经符号计算

议题1：神经符号双轮驱动的信息检索与知识获取

• 报告人：程学旗，中国科学院计算技术研究所副所长

• 内容小结：

  • 挑战：反绎学习面临弱标注数据和弱逻辑规则情形时，可能导致性能下降、不稳定。
  • 关键点：反绎学习是融合机器学习与逻辑推理并使它们能够比较均衡地协同发挥作用的新范式，提升反绎学习鲁棒性是研究重点。

议题2：细粒度多模态协同感知、认知与生成

• 报告人：彭宇新，北京大学博雅特聘教授、国家杰青、国家万人。

• 内容小结：

  • 价值：细粒度多模态协同感知、认知与生成对于刻画真实世界和人类生产生活方式具有重要意义。
  • 研究目标：借鉴人脑的跨模态特性，通过挖掘并协同多源、互补、关联的细粒度和多模态信息，实现对真实世界概念、规则及其演化的深层感知、认知与综合归纳。
  • 关键点：细粒度图像分类、行人再识别、细粒度视频检索、细粒度跨媒体检索、跨媒体推理、细粒度视觉生成。

议题3：从语言大模型到神经符号AI

• 报告人：杨博，吉林大学计算机学院教授/博导，计算机学院、软件学院院长。
• 内容小结：
  • 趋势：神经符号AI期望将符号主义和链接注意融合起来，取长补短，建立具有高效、鲁棒、可解释的智能系统，是当前人工智能研究的一个热点。
  • 本质：符号主义和链接主义是人工智能的两大方法论，分别模拟演绎推理和归纳学习两种认知过程。

议题4：鲁棒反绎学习：迈向安全利用弱标注与弱规则

• 报告人：李宇峰，南京大学人工智能学院教授

• 内容小结：

  • **关键：**提升反绎学习鲁棒性方面的近期研究进展。

3.4.知识图谱

议题1：大模型时代的知识图谱

• 报告人：白硕，CCF上海分部主席，CCF理事，恒生电子有限公司首席科学家。

• 内容小结：

  • 关键点：报告人从逻辑学出发，阐述命题逻辑、描述逻辑、一阶逻辑、高阶逻辑等，深入剖析NLP领域的远距关联、隐形资产以及大语言模型的短板。
  • 关键点：从描述逻辑到知识图谱，事理图谱，阐述知识图谱的四大特点，进一步阐述了知识图谱融合大模型的应用场景分类和应用深度分类。

议题2：大模型应用体会(澜舟科技)

• 报告人：周明，澜舟科技创始人兼CEO。

• 内容小结：

  • 定位：在大语言模型时代，各公司应如何选择产品定位？澜舟科技介绍了自身在大模型时代的定位。
  • 模型选择：报告人提出了周明曲线，阐述了如何为客户选择合适的大模型规模，量体裁衣，打造专业赛道的垂域大模型。
  • 趋势：AI Agents是大模型落地的必然趋势，以解决复杂问题求解、实时信息获取和分析、领域专业知识补充、外部系统交互等问题。
  • 案例：报告人分享了垂域知识库搜索问答、企业用户智能搜索+AI问答、对话生成式BI分析、智能客服、会议内容智能分析领域的案例。

议题3：类ChatGPT语言大模型与知识图谱新进展

• 报告人：王鑫，天津大学智能与计算学部教授、博导，人工智能学院副院长

• 内容小结：

  • 价值：以ChatGPT为代表的语言大模型是“联结主义”的最新成果，而知识图谱是“符号主义”的集大成者，如何充分发挥知识图谱的积累的能力，补齐大语言模型的短板，是重要的研究方向。
  • 关键点：探究类ChatGPT语言大模型与知识图谱相互作用而实现“神经+符号”结合的可能途径。

3.5.安全治理&价值观对齐&联邦学习

议题1：大语言模型之价值观对齐

• 报告人：秦兵，哈尔滨工业大学计算学部教授，博士生导师。

• 内容小结：

  • 挑战：大模型智能时代革命到来，生成式人工智能存在的安全隐患等价值观伦理问题。
  • 研究方向：探索大模型安全性内容生成方法，包括研究大模型辨别是非能力，以及人类普世价值观，社会文化价值观及立场对齐上的内容检测与生成方法，探索AI社会协作式的价值观对齐机制。

议题2：面向异构计算环境的去中心化联邦学习框架

• 报告人：吕建成，四川大学教授/博导、计算机学院(软件学院、智能科学与技术学院)院长

• 内容小结：

  • 价值：联邦学习可以突破数据孤岛和隐私保护瓶颈，是助力人工智能落地的新兴技术。
  • 挑战：联邦学习应用于实际场景时，面临异构的计算环境：设备计算性能异构、通信网络和训练数据异构。现有基于中心化参数服务器的主流优化范式存在计算和通信瓶颈，面临扩展性差、通信开销大、模型性能低等现实问题。
  • 方案：以去中心基础架构、通信优化、个性化模型优化为代表的去中心化架构及其衍生算法 。

3.6.机器语音/机器听觉

议题1：听觉注意力的理论与算法

• 报告人：李海洲，新加坡工程院院士，新加坡国立大学终身教授、德国不来梅大学卓越讲座教授
• 内容小结：
  • 技术点：听觉注意力是面对复杂的声学场景，人的眼睛和耳朵紧密配合、由大脑协调而实现对目标声源的选择。报告人阐述了听觉注意力算法在语音增强、说话人提取、语言提取等应用课题中的实践。

议题2：说话人声音模仿与鉴别技术

• 报告人：陶建华，CCF语音对话与听觉专委会副主任，清华大学自动化系教授，博导

• 内容小结：迁移学习

  • 价值：高度拟人化和个性化的人物声音模仿技术，对通信、教育、金融、社交、娱乐等领域有重要作用。
  • 关键点：阐述了通过迁移学习、生成式网络模型，声音模仿技术的多项成果。
  • 关键点：系统性地介绍伪造声音鉴别技术，伪造溯源分析方法、面向复杂场景的声音生成与鉴别对抗博弈机制。

议题3：SpeechGPT：让大语言模型具有内生的语音对话能力

• 报告人：邱锡鹏，复旦大学计算机学院教授，博导
• 内容小结：
  • 案例：介绍SpeechGPT的跨模态能力，SpeechGPT突破了传统语音到语音对话流水线方式 (ASR+LLM+TTS) 的束缚，实现了模态之间的知识传递，不需要额外的ASR和TTS系统也能和LLM直接进行语音对话。

3.7.全脑神经联接与类脑智能

议题1：破解脊椎动物全脑神经联接 – 脑与类脑研究的基石

• 报告人：杜久林，中国科学院脑科学与智能技术卓越创新中心副主任

• 内容小结：

  • 价值：大脑是在跨时空尺度上具有高度非线性作用的复杂动力学系统，心智的奥秘就蕴藏在这精巧的组织结构中。揭示大脑组织规律及其基础上产生的神经功能的机制，不仅是理解大脑奥秘的必由之路，也将为发展类脑智能构架与算法、突破冯•偌依曼构架提供新策略。
  • 成果：斑马鱼具有脊椎动物保守的神经系统结构，可以从全脑尺度上解读其大脑工作的基本原理。报告人讲述本研究团队运用自创的“既见森林(全脑)、又见树木(神经元)甚或树叶(突触)”的研究范式，实现了对脊椎动物全脑所有神经元形态结构与神经活动的在体观测与调控、以及动物行为的同时记录。

议题2：文曲星：基于“开源芯片与敏捷开发”的开源类脑芯片

• 报告人：赵地，中科院计算所副研究员

• 内容小结：

  • 关键点：在神经形态计算中，脉冲神经网络(Spiking Neural Network，SNN)是硬件实现的最佳选择。
  • 关键点：大多数加速器解决方案都基于CPU 加速器架构，这种结构因为复杂的控制流程而能源效率低下。报告人基于脉冲卷积神经网络的开源芯片构架：开发脉冲卷积单元，对现有的卷积神经网络单元进行特征提取和事件驱动设置，进一步提高单元工作工作的效率，并降低功耗的开销。

议题3：全脑尺度的信息维持和行为策略调整

• 报告人：穆宇，中国科学院脑科学与智能技术卓越创新中心研究员

• 内容小结：

  • 关键点：空间上，大脑的每个部分都接收来自其他区域的输入并对其产生作用。时间上，每一刻的大脑都携带着前一刻的信息并影响着下一刻。对
  • 关键点：报告人阐述如何开发一种系统，支持在单个细胞的分辨率监测整个斑马鱼大脑，并实时处理所获得的神经元或行为信息以生成闭环干扰从感觉到运动的完整转导过程，在全脑尺度上进行剖析，助力理解复杂的脑功能并总结其完整的计算原理。

议题4：类脑器件与系统

• 报告人：缪峰，南京大学物理学院教授、博导、副院长

• 内容小结：

  • 关键点：报告人阐述了二维材料与“原子乐高”电子学如何在发展未来的类脑智能技术中发挥重要作用，包括神经形态计算与类视网膜形态计算等。

4.方向3：LLM应用落地

4.1.软件工程

议题1：大模型时代的软件研发(华为)

• 报告人：王千祥，华为云智能化软件研发首席专家
• 内容小结：
  • 引导：从软件研发角度，大模型将带来哪些变化？报告人结合华为在基于LLM的代码生成等软件研发领域开展的系列探索，分享软件研发大模型的进展。
  • 问题：开发者如何与大模型协同研发？程序如何与大模型协同运行？人类如何与大模型协同存在？

议题2：大模型催生AI原生研发新范式(百度)

• 报告人：臧志，百度工程效能部总监

• 内容小结：

  • 关键点：探讨在大模型技术影响下，产品思维-应用框架-研发过程将发生哪些变化。
  • 关键点：如何适配大模型时代的新要素构建新的研发生产力，以及新型的研发智能体如何在企业场景中落地应用。
  • 核心要点：SE 4 AI，AI 4 SE。

议题3：代码大模型赋能软件研发的探索与实践(科大讯飞)

• 报告人：薛增奎，科大讯飞效能平台首席技术专家

• 内容小结：

  • 关键点：介绍科大讯飞的iFlyCode(基于自研代码大模型的智能编程助手产品)，以及在内外部应用的典型场景和成效。

议题4：基于代码大模型的代码智能体(字节跳动)

• 报告人：许晶晶，字节跳动研究员

• 内容小结：

  • 关键点：讨论基于代码大模型的自主代理的构建和具体的应用场景。在智能体构建方面，如何结合代码规划、代码执行等能力？在应用场景方面，以数据分析场景为例，探讨智能体在其中的应用和实践。
  • PS：这个小姐姐功力深厚。

议题5：大模型对软件开发模式的影响(北大)

• 报告人：李戈，北京大学长聘教授

• 内容小结：

  • 关键点：软件自动化理论认为AI辅助研发的瓶颈是模型大小。大语言模型为软件自动化打开了一扇窗。反之，模型不够大就是多少人工多少智能。
  • **PS：**李老师很诙谐，净说大实话。

议题6：大模型时代软件测试技术方向与趋势(同济大学)

• 报告人：朱少民，同济大学特聘教授

• 内容小结：

  • 关键点：阐述了早期采用遗传算法、粒子群优化算法等生成测试数据，AI覆盖了测试建模、测试用例集优化、GUI白动化测试、测试结果分析等方面。
  • 关键点：报告人着重讨论如何应用大模型为软件测试赋能、如何借助LLM相关技术更高效地完成测试工作，以及未来技术发展方向。阐述了大模型时代软件测试的新范式、大模型时代软件测试的技术方向。

4.2.智慧交通

议题1：视频物联网中云端协同智能计算

• 报告人：马华东，北京邮电大学计算机学院教授

• 内容小结：

  • 价值：视频物联是物联网的一种重要形态，也是支撑智慧城市、智能安防等应用的关键基础设施。
  • 关键点：报告人以人、车、事件为典型目标，阐述了面向多任务多场景的深度神经网络智能视频算法体系
  • 关键点：针对端设备资源受限、云端协同计算难、单一视觉模型能力弱等挑战，介绍了模型轻量化、云端模型互动、视觉大模型等相关技术

4.3.智慧医疗

议题1：Exploring Different Modalities for Healthcare Applications

• 报告人：邱锂力，微软亚洲研究院副院长
• 内容小结：
  • 关键点：报告人介绍如何利用无线传感和机器学习技术利用不同模式进行疾病诊断的探索，从语言、运动、呼吸、心跳、脑电波、医学图像等方面衡量一个人的健康状况。

议题2：生命科学基础模型

• 报告人：宋乐，BioMap CTO和首席人工智能科学家

• 内容小结：

  • 挑战：能否利用大量无监督数据来加速生命科学发现和药物设计？
  • 成果：介绍xTrimo系列跨多尺度生物过程的大规模预训练模型，整合来自蛋白质序列、结构、蛋白质-蛋白质相互作用和单细胞转录组数据的大量数据。

4.4.智慧农业

议题1：智慧农业领域的大模型初探

• 报告人：刘劼，哈尔滨工业大学（深圳）国际人工智能研究院院长，IEEE Fellow

• 内容小结：

  • 关键点：介绍大模型在遥感图像处理、作物数据生成等方面的尝试，并展望建立作物生长等大模型的前景。

4.5.AIoT

议题1：AI+IoT: Human-Centric Smart Sensing Design

• 报告人：张黔，香港科技大学腾讯工程学教授、计算机科学与工程系讲座教授、IEEE Fellow、香港工程科学院院士

• 内容小结：

  • 趋势：AI与IoT的融合，为以人为中心的应用创造了赋能的机会，也产生了相关的挑战。
  • 关键点：如何处理数据的异构特性、不同终端用户数据的不完整性、以及终端设备资源受限造成的低质量数据等问题？感知模态的多样性为感知能力的突破带来的新机会点？