AI周:各地拼经济,大模型能否“大力出奇迹”

不管人工智能最终是否会“毁灭人类”,大国都想先赢下人工智能竞争。这不仅是企业家的赛场,还是政府间的角力。

美国是创业派,大量初创企业成立,迅速成为独角兽,与科技巨头一起重新吃掉软件世界;英国沾了DeepMind的光,有一批人才,又不必遵守欧盟严苛的规则,想领导全球AI监管;中国可能是最大的实干派,互联网平台想从低谷中抓住证明自己的机会,各地政府开始亲自下场。

中国政府正越来越像技术创新全流程的主角。它设立引导基金,激励社会资本投向人工智能等战略新兴领域;它参与基础设施建设,统筹全国人工智能算力资源,鼓励数据要素市场化交易;它还是早期客户,公开了多个政务AI的应用场景。

AI周:各地拼经济,大模型能否“大力出奇迹”插图

按《中国人工智能大模型地图研究报告》,目前全国10亿级参数规模以上大模型已发布79个,涉及14个省份,主要集中在北京和广东,浙江与上海也紧随其后,它们是近三年人工智能服务器采购数量最高的地区。

美元基金正在中国大陆退缩,中国政府积极补位。深圳计划统筹设立规模1000亿元的人工智能基金群。上海则在几年前就有了人工智能产业投资基金,首期目标规模100亿元,最终形成1000亿级基金群。

智能算力与可信数据,正在成为新的水与电,政府开始包揽。国家层面的“全国一体化算力算网调度平台”发布,是东数西算战略的延伸。地方层面,广东提出了打造大湾区智算枢纽,上海提出在临港加速构建算力产业生态体系,北京除了要在海淀区、朝阳区建设自己的公共算力中心,还规划了环京算力网络。北京还将建设“国家数据基础制度先行先试示范区”。

政府正促成更广泛的产业联盟。北京启动了通用人工智能产业创新伙伴计划,分为算力伙伴、数据伙伴、模型伙伴、应用伙伴和投资伙伴等五类,首批39家单位,还有14家模型伙伴观察员。上海的临港新片区智算产业联盟,包括算力提供企业、算力芯片企业与算力需求企业,以及3所高校与科研院所。

政府还把自己放在了客户的位置上。深圳提出了“公共服务+AI”与“城市治理+AI”;北京公布的应用伙伴中,部分是政府相关单位,首个政务服务大模型开发已启动。

未来,AI产业可能成为各地政府隐性的KPI。有些地方数字产业规划才勉强出台,“拼经济”的的各类行动计划中,几乎都提到了人工智能,它会进一步在各地优势产业的应用场景中落地。到2025年,北京的人工智能核心产业规模达到3000亿元,而辐射产业规模超过1万亿元;广东则提出核心产业规模突破1500亿元,带动相关产业规模超万亿元;上海则新提出了集成电路、生物医药、人工智能三大先导产业总规模达到1.8万亿元,按两年前公布的“十四五规划”,届时人工智能规上产业规模4000亿元。

中国正在围绕AI,构建创新的现代产业体系。这不仅仅是几个超大城市的任务。浙江、江苏、四川、山东与安徽等地,也出台了相应的“发展规划”或“场景创新”。一些中西部的省市,正在考虑中。

本周,还有这些发生在AI领域的事件值得关注:

一、风险、监管与伦理

欧盟通过《AI法案》草案。法案将全面禁止生物识别监视、情感识别和预测性执法的人工智能;像ChatGPT这样的生成式人工智能系统必须披露内容是由人工智能生成的;用于影响选民在选举中的人工智能系统被视为高风险。违反规定的公司,将面临高达其全球营业额6%的罚款。

英国要做AI安全监管的地缘之家。全球三大领先的自然语言大模型研究机构OpenAI、DeepMind、Anthropic将向英国政府开放模型,用于研究与安全目的,英国将获得优先访问权。英国将于今年秋季举办人工智能全球安全峰会,并将其比之为人工智能领域的联合国气候变化大会。英国计划投入1亿英镑,研究人工智能安全与保障技术。

东南亚正在制定新的人工智能规则。起草工作正在进行中,可能会在年底前完成,也可能会在明年初的东盟数字部长会议上宣布。新加坡是2024年该会议的主席,同时也处于该地区人工智能战略的最前沿,正在领导起草人工智能指南的谈判。

SEC将考虑为经纪商制定新AI规则。华尔街的主要监管机构SEC担心,当金融专业人士使用人工智能等新技术时,可能会出现“固有的”利益冲突,计划针对使用人工智能与客户互动的经纪商引入新规则。新规最早将于10月出台,还将适用于预测数据分析和机器学习技术。

OpenAI与微软的合作隐藏风险。OpenAI曾建议微软在将其AI技术与必应搜索引擎集成方面放慢脚步,并警告微软推出基于未接受更多培训的GPT-4的聊天机器人的风险。此外,不仅GPT正在变得不够透明,OpenAI对于微软AI部门也是一个黑箱。

学而思模型引发数据侵权争议。“笔神作文”称“学而思”AI大模型非法访问、缓存了其服务器数据,用于训练自己的大模型。学而思否认指控,称学而思对笔神作文接口的调用,属于双方合同约定的正常合作范围;MathGPT是专注于数学领域的自研大模型,没有任何作文相关数据;“作文AI助手”目前处于开发状态,尚未发布,未使用笔神作文的任何数据。笔神作文再次声明学而思方所述并非事实。

谷歌和OpenAI正与出版商讨合作协议,包括新闻集团、Axel Springer、《纽约时报》和《卫报》等出版商,为其内容支付订阅式费用,以开发支持OpenAI的ChatGPT和谷歌的Bard等聊天机器人的技术。讨论还在早期阶段,在开发使用新闻内容训练人工智能的财务模型前,仍有很多技术与披露问题需要解决。

二、中美科技巨头

ChatGPT更新,API调价。OpenAI为Chat Completions API中增加了新的函数调用能力;更新了GPT-4和GPT-3.5-Turbo版本,可操控性更强;GPT-3.5-Turbo新增了16k的上下文长度,原4K长度输入token成本降低25%;嵌入模型成本降低75%。新的函数调用能力,解决了GPT返回数据结构化的问题,不再需要用户输入复杂的prompt。

ChatGPT插件已增加至430个。ChatGPT plugin于今年3月发布,于5月13日向 Plus 订阅用户全量开放,并提供 70 多个第三方 plugins。OpenAI推出 plugin 被视作其 App Store 时刻。

亚马逊使用生成人工智能来总结产品评论。该系统允许用户在不撰写完整评论的情况下留下反馈,简要概述购物者喜欢和不喜欢该产品的哪些方面,以“改变和改善几乎所有的客户体验”。

谷歌宣布将生成式AI引入在线购物。生成式AI模型可根据零售商网站上的图片来生成模特穿着对应服装的照片,并准确地反映出它如何在各种姿势的各种真实模型上折叠、粘附、拉伸、形成褶皱和阴影,以便用户了解心仪的衣物是否适合自己的身材。

华为昇思已孵化超20个大模型。昇思MindSpore基于昇腾芯片,Transformer衍生架构,是华为在2020年开源的新一代全场景AI框架,也是华为盘古大模型的底层AI框架。华为希望到年底该框架使能孵化40~50个大模型。

三、大模型和行业应用

360智脑接入360全家桶。360召开360智脑大模型应用发布会,展示认知型通用大模型“360智脑4.0”,接入浏览器、搜索、安全卫士等360全端产品,正式发布360 AI数字人,并预告发布插件平台。360还介绍了360智脑的审核流程,称其为国内首个通过中国信通院该项权威评估的大模型产品,引起广泛关注。

紫光太初2.0全模态大模型发布。中科院自动化研究所的“紫东太初”2.0,在语音、图像和文本三模态的基础上,加入视频、信号、3D点云等模态数据,可以理解三维场景数字物联时代的重要信息。

此外,长虹电视宣布旗下部分产品将搭载“长虹超脑”人工智能系统,称这是“行业首家人工智能大模型电视”。小冰与网易云音乐宣布联合推出AI歌手音乐创作软件“网易云音乐·XStudio”。视觉中国上线AIGC新功能“AI灵感绘图“。中公教育称推出了职业教育行业大模型。中国电科发布了大模型产品“小可”,在智慧政务等多个具体领域提供特色服务。

奔驰与微软合作测试车载ChatGPT。在美国,将有超过90万辆汽车可以用上它。微软称这是ChatGPT在汽车上的首次应用。车主可以提出复杂的问题,或与其进行多轮对话。双方还在探索ChatGPT的插件生态系统,为第三方服务集成开辟可能性。

埃森哲三年内投资30亿美元用于AI业务。该公司还计划推出AI Navigator for Enterprise的新平台,该平台将帮助客户定义业务案例、做出决策、导引AI旅程、选择架构、理解算法和模型。

四、资金流向

Salesforce生成式AI风投基金翻倍至5亿美元。此外,该公司还推出了AI Cloud服务,将整合该公司包括Einstein、Data Cloud、Tableau、Flow和MuleSoft在内的技术。

Mistral AI获种子轮融资1.13亿美元。这是欧洲生成式AI公司有史以来最大的种子轮融资。该公司仅成立了四个星期,由 Deepmind 和 Meta 的前研究人员共同创立。公司计划只用公开数据来建立模型,最终它的模型和数据集也将开源。这家公司只关注企业客户,提供易于使用的工具,以创造他们自己的产品。

Versed获得了160万欧元Pre-种子轮融资。任何人仅编写故事和说明文字,即可创建自己的角色扮演视频游戏(RPG)。谷歌Gradient Ventures领投。

Glyphic AI获得550万美元种子轮融资。该公司用大型语言模型构建了一项工具,能自动执行销售流程中的一系列手动流程,由前DeepMind员工创办。

Normal Computing获种子轮融资850万美元。该公司以Probabilistic AI(概率AI)技术建立计算基础设施,更加强调计算的可解释性、可审计性和过程性。创始团队来自谷歌与Meta等企业的人工智能团队。

美国AI芯片创企SiMa.ai获新融资。与台积电关系密切的VentureTech Alliance,参与了这笔1300万美元的新融资。一个月里,该基金还参与了Ayar Labs的2500万美元新融资和Ethernovia的6400万美元新融资。

域新说生物完成近千万元天使轮融资。该公司利用AI设计生物元件,利用生物元件开发基因电路,通过基因电路使得菌株及催化酶自然进化,最终生成全新功能性蛋白。

Collov完成近千万美元A轮融资。该公司以室内设计为切入点,致力于在大模型和生成式AI的驱动下,使设计自动化成为工业级解决方案。相比仅仅注重美感的主流图像生成服务,它还注重“高精度可控性”,并从图像时代过渡到视频生成、3D生成时代。

蘑菇财富完成新一轮数千万元融资。该公司是聚焦金融垂直领域的智能社交营销解决方案提供商。本轮融资将主要用于大模型驱动的AI数智助手产品研发,以及跨金融细分市场拓展。

卓视智通完成数千万元Pre-B轮融资。该公司是一家主攻车与路的人工智能识别技术提供商。资金将主要用于产品市场拓展、AI大模型等新技术研发、AI训练平台建设等方面。

八点八数字完成数千万元A轮融资。该公司称采用Transformer+TCN的神经网络架构,训练出参数量达九千万的模型,研发了虚拟人内容生成引擎-XMEN.AI。

智聘获得数百万元种子轮融资。该公司使用GLM-6B开源大模型以及微软Azure等进行二次训练,加入人力资源专门的数据,尝试改变招聘流程,创造更提升双边效率的招聘平台。目前已经推出了针对C端的智能修改、编写简历的小程序。

五、基础设施

AMD发布新AI芯片,AWS考虑使用。本周,AMD推出了MI300A和MI300X。前者被称作“面向AI和高性能计算的全球首款APU加速器”;后者是一个纯GPU版本,专为生成式AI设计,支持内存高达192GB,高于英伟达H100的120GB。亚马逊更偏向于完全自己来设计服务器,而AMD定制化的产品组件则能够直接插入亚马逊现有的系统中。

沐曦GPU芯片功能测试完成。沐曦致力于为异构计算提供安全可靠的GPU芯片及解决方案。该公司宣布完成了曦云MXC500芯片的功能测试,同步完成的还有MXMACA2.0计算平台的基础测试。曦云MXC500芯片号称对标英伟达A100/A800,目标FP32算力15TFLOPS(A100为19.5TFLOPS),采用通用 GPU 架构,兼容 CUDA。

六、开源生态

百川智能发布开源可商用大模型。王小川创办的百川智能,宣布推出70亿参数量,1.2万亿 token预训练数据的中英文大模型baichuan-7B。在多项中文评估基准下,它是同等参数规模中文表现最优秀的原生预训练模型。

阿里巴巴公开AI开源模型社区魔搭。阿里云公布1+4开源战略,即操作系统、云原生、数据库、大数据,以及最新亮相的AI模型社区魔搭。魔搭社区提供多类优质AI模型,以及模型调优、训练、部署等一体化服务,目前已有15款支持中文的开源大模型上线。

Meta希望将下个开源AI大模型商业化。Meta正在研究将其开源大型语言模型的下一个版本用于商业用途的方法。Meta将能够将这些改进纳入其自己的消费者和广告产品的AI模型中,但同时一旦被发现使用了受版权保护的语料来训练,也将承担潜在的法律责任。本周,Meta还开源了MusicGen,可以根据文本提示生成新的音乐。

七、论文

用AI合成数据来训练模型,终将导致模型因忘本而崩溃。来自牛津、剑桥、帝国理工等机构研究人员发现,如果在训练时大量使用AI内容,会引发模型崩溃(model collapse),造成不可逆的缺陷。洛桑联邦理工学院(EPFL)的最新研究称,预估33%-46%的人类数据都是由AI生成的。当前的大模型训练数据大部分来源于过去几十年人类在互联网上的交流。如果未来的语言模型仍然依赖于从网络上爬取数据的话,就不可避免地要在训练集中引入自己生成的文本。对此,研究人员预测,等GPT发展到第n代的时候,模型将会出现严重的崩溃问题。(论文:the curse of recursion: training on generated data makes modelforget )

Meta 发布“突破性”生成式语音系统Voicebox。它可以合成六种语言的语音,执行噪声消除、内容编辑、转换音频风格等。Meta 称之为最通用的语音生成 AI。Meta训练 Voicebox 时使用的数据来自英语、法语、德语、西班牙语、波兰语、葡萄牙语这六种语言,包含 50000 小时的录音和转录文本以及公共领域的有声书。(论文:voicebox-text-guided-multilingual-universal-speech-generation-at-scale)

生成式搜索有时不靠谱。斯坦福大学 Percy Liang 等人的一项测试表明,新必应等生成式搜索引擎很多时候都没有那么靠谱:在它们生成的句子中,仅有 51.5% 的句子有引文支持,仅 74.5% 的引文支持相关句子。研究者通过人工评估来审核四个流行的商业生成式搜索引擎(Bing Chat、NeevaAI、perplexity.ai和 YouChat),让它们完成一组信息查找任务。BingChat 达到了最高的精确度,但其流畅度和感知效用却最低。相比之下,YouChat 的召回率和精确度最低,但它的回答得到了最高的流畅性和感知效用评价。(论文:evaluating verifiability in generative search engines)

大模型因果推理还不行。来自马克斯・普朗克研究所、苏黎世联邦理工学院(ETH)、密歇根大学、香港大学和Meta AI 的研究者们共同完成的一项研究,目标就是探究大型语言模型(LLM)是否能根据相关性进行因果推理,结果表明,大模型在因果推理方面普遍性能很差,测试的17个大模型表现不佳,连 GPT-4 都不及格。(论文:can large language models infer causation from correlation? )

快思考,慢思考。如题的心理学名著,启发了AI2 (Allen Institute for AI) 的研究人员设计一个智能代理,帮助人类完成真实世界中的复杂任务,他们提出了 SwiftSage 智能体框架,通过模仿学习得到一个小型模型,然后将其与 LLM 进行融合。这样,便可以利用大量数据对小型模型进行微调,使其具备环境和任务相关的知识,并仅在需要时调用大型模型进行高阶推理。在 30 个任务上的评估中,SwiftSage 的表现超过了之前的 SayCan、ReAct 和Relfexion 等方法近 2 倍,并且大幅降低了 LLM 部分的计算成本。(论文:swiftsage, a generative agent with fast and slow thinking for complexinteractive tasks )

首个“世界模型”。Meta 推出了首个基于 LeCun 世界模型概念的 AI 模型。该模型名为图像联合嵌入预测架构(Image Joint Embedding Predictive Architecture, I-JEPA),它通过创建外部世界的内部模型来学习,比较图像的抽象表示(而不是比较像素本身)。I-JEPA 在多项计算机视觉任务上取得非常不错的效果,并且计算效率远高于其他广泛使用的计算机视觉模型。此外 I-JEPA 学得的表示也可以用于很多不同的应用,无需进行大量微调。(论文:self-supervisedlearning from images with a joint-embedding predictive architecture. )

测评自动驾驶感知模块安全性。在最近的一篇 ICML 2023 论文中,轻舟智航提出了一套考虑全局影响的感知模块高效评测和理论分析框架,极大地推动了自动驾驶领域这一基础性问题的突破。这种从规划器视角出发的框架,提供了一种新的方法来评估感知模块对整个自动驾驶系统的影响,从而改进设计和优化感知模块,帮助提高自动驾驶系统的性能和安全性。(论文:transcendental idealism of planner: evaluating perception fromplanning perspective for autonomous driving. )

八、其他

《上海市推动制造业高质量发展三年行动计划(2023-2025年)》发布。其中,重点任务包括打造世界级产业集群,瞄准人工智能技术前沿,构建通用大模型,面向垂直领域发展产业生态,建设国际算法创新基地,加快人形机器人创新发展。

《职业教育产教融合赋能提升行动实施方案(2023—2025年)》发布。国家发展改革委等8部门联合印发的这份文件,提到在人工智能等战略性新兴产业深入推进产教融合,培养技能技术人才;安排中央预算内投资时,优先考虑人工智能等领域;鼓励引导职业院校,优先发展人工智能等产业需要的一批新兴专业。