AI课代表|分享大模型最佳实践
AI课代表|分享大模型最佳实践
AI课代表
这是一档传递大模型真知灼见和最佳实践的科技播客,由「声动活泼」参与策划和后期制作。 每期节目,我们会邀请在大模型领域有想法的开发者、技术专家和公司创始人担任“轮值课代表”,结合当下热门议题,分享他们最新鲜、最一手的观察和经验。 如果你对我们的节目有什么建议,或者希望成为我们的下一位“课代表”,欢迎给我们写邮件。 邮箱:[email protected]
03 特斯拉人形机器人擎天柱,竟然要去工厂搬砖?
马斯克、李飞飞、奥特曼、黄仁勋,为什么都入局机器人?最近,我们收到了不少听众的建议,说希望我们能聊一聊具身智能和机器人这个话题。那这两天最火的机器人,毫无疑问,是特斯拉的擎天柱Optimus,它不仅出现在世界人工智能大会上,也出现在马斯克怒怼空头的推文里。不过,这款明年量产的人形机器人首先会进入工厂,来完成电池的分拣工作。换句话说,它其实是一个人形的工业机器人。WAIC上展示的特斯拉人形机器人所以,到底要如何理解这一波具身智能的热潮呢?我们距离通用机器人到底还有多远?这期节目,我们就请到工业机器人公司拓斯达的总工程师张晓辉博士,来和我们聊聊他的看法。张博毕业于中科院沈阳计算技术研究所,长期从事数字化控制系统的软硬件设计和研究。他曾在三一、海天这些头部制造企业负责控制系统的研发。目前,张博在托斯达担任总工程师,并从去年开始就尝试将大模型和工业机器人进行融合。中国作为全球最大的工业机器人消费国,每天有150万台的工业机器人在全国的工厂里运行。张博估计,随着机器人泛化能力的提升,使用机器人的成本会进一步降低,这个数字还会有数十倍、数百倍的增长。【课代表观点】2:50 马斯克为什么要做人形机器人?特斯拉的具身智能技术可以同步到人形机器人上4:10 从收敛场景到泛化能力,具身智能需要一个循序渐进的过程6:10 大模型有可能会带来一次新的工业革命7:40 为什么不用机器人?性价比很低9:43 未来国内工业机器人覆盖率可能会提升10-100倍10:48 为什么李飞飞等众多工业机器人团队都在研究分拣码垛?市场够大、有难度14:05 大模型能让人机交互更简单,但更深层次的改变在于机器人和环境的交互15:20 大模型参与交互的方式有两种——任务拆解和端到端控制16:51 大模型出现后,原来写代码需要2-3小时,现在只需要15-20分钟19:00 我们的产品为什么能这么快落地?因为我们用的是Lua语言20:30 AI将来可以生成更好的数据,控制器就是连接AI虚拟世界和物理世界的桥梁21:55 将机器人运动产生的数据,再拿去训练,这才是真正的数字孪生23:17 大模型与机器人的结合,仍有许多AI infra层面的问题待解决【关于AI课代表】「AI课代表」是一档传递大模型真知灼见和最佳实践的科技播客,由「声动活泼」参与策划和后期制作,现已在小宇宙、喜马拉雅、网易云音乐、苹果podcast等平台上线。每期节目,我们会邀请在大模型领域有想法的开发者、技术专家和公司创始人担任“轮值课代表”,结合当下热门议题,分享他们最新鲜、最一手的观察和经验。如果你对我们的节目有什么建议,或者希望成为我们的下一位“课代表”,欢迎给我们写邮件。邮箱:[email protected]【制作团队】策划:nada、大帅
Jul 7, 2024
24 min
独家揭秘|魔兽回归能否重回MMO第一?AI游戏能否让暴雪迎来第二春?
这是一期特别加更。节目上线第二天,也就是6月27日上午,离开了520天的魔兽国服将会重启。作为一款风靡20年的老游戏,魔兽在中国拥有超百万玩家和数万个游戏公会。此前暴雪、网易及阿里云已联手完成魔兽国服的抗压技术测试。在压测中,有超100万人涌入服务器;其中单服容纳超12万人创下全球最高记录,这个数字是魔兽过往最大单服人数的4倍。而在魔兽早期,单服的人数通常在五千。玩家在压测服中聚集:如此国民级的游戏,为什么在当年被迫停服?回归后的魔兽发生了哪些改变?在AI游戏时代,魔兽还能否继续坐稳MMORPG第一的位子?为了解答这些疑问,本期节目我们请到了著名的“魔兽舅舅党”老刀99,为我们爆料当年暴雪和网易“分手”背后的秘密,以及作为一个老玩家他对这次压测的感受。我们也请到了魔兽重启“背后的男人”——炎强。作为技术架构师,炎强见证了魔兽从退服到回归的全过程。他透露此次魔兽不是把“电子骨灰盒”中的数据复原后直接上线,而是要把过去几十年的架构推翻进行全面升级。可以说,魔兽已经进入了新的技术时代。同样作为老玩家的颢南,和我们分享了他对魔兽的热爱和对这次回归的期待。颢南的收藏:20年前,魔兽重新定义了“大型多人在线游戏”,也参与了无数人的青春。20年后,游戏已成为最赚钱的行业之一,吸引着这个时代最杰出的头脑投身其中。通过一款游戏,我们就能窥见当下技术和内容创作的最新趋势——或许这也是我们今天重新讨论魔兽的意义。【本期嘉宾】老刀99,知名游戏人、魔兽世界资深专家炎强,阿里云游戏行业架构师,为魔兽国服长期提供技术支持颢南,魔兽世界二十年老玩家【嘉宾观点】04:33 网易和动视暴雪谈崩的主要原因,是暴雪老板考迪克想为自己争取更多分手费06:21 北京、深圳两个著名大厂都曾想要买下魔兽版权09:22 这次国服回归不是简单的复活数据,魔兽要从蒸汽机时代进入电气时代13:55 魔兽引领了中国网吧的硬件潮,让大家知道什么才是一款真正的好游戏16:56 魔兽和过去不一样了:过去一百人同时在线已经卡到不行,现在团战已经能容纳六七百人了19:04 魔兽如何实现技术升级?挖掘服务器性能、实现真正的弹性扩展21:25 技术迭代与游戏开发如何同步是魔兽现在面临的挑战23:06 超大服就像大城市一样具有多样性——有玩家甚至在铁炉堡里讲相声28:57 为什么要在怀旧服中做大服扩展?魔兽想借这次机会获得重生31:42 国内MMO行业在AI方面逐渐领先,暴雪、网易都在探索新技术34:11 对于没有时间的中年玩家,能否开发AI队友一起打装备?35:39 能否利用AI技术,加强游戏剧情设计、用好AI这个工具?【关于AI课代表】「AI课代表」是一档传递大模型真知灼见和最佳实践的科技播客,由「声动活泼」参与策划和后期制作,现已在喜马拉雅、小宇宙、苹果podcast等平台上线。每期节目,我们会邀请在大模型领域有想法的开发者、技术专家和公司创始人担任“轮值课代表”,结合当下热门议题,分享他们最新鲜、最一手的观察和经验。如果你对我们的节目有什么建议,或者希望成为我们的下一位“课代表”,欢迎给我们写邮件。邮箱:[email protected]【制作团队】策划:nada、大帅
Jun 26, 2024
43 min
02 为什么说下一个智能硬件可能没有屏幕?
在深圳,大模型掀起的AI硬件创业潮正席卷大厂、初创公司和一些中等规模的软件企业。这些新玩家们相信,大模型带来了全新的人机交互体验,而一个完整的交互解决方案,一定是软、硬一体的。刘轶就是其中的一位。在对谈中,他引用了一个巧妙比喻:大模型是水,本身无形,需要载体——这是他决定投身硬件产业的重要原因。另一部分原因,则来自一个语音AI行业老兵的经验之谈。刘轶的背景横跨学界、产业界。他是港科大首位智能语音语言领域的博士,国家重大人才计划特聘专家。在清华任教期间,他所在的国家实验室后来走出了炙手可热的大模型公司智谱。2014年刘轶博士决定离开高校,在深圳创立了北科瑞声,为行业提供语音AI的系统与服务,并很快在医疗、政务、交通等领域找到了垂直细分市场的机会,但也仍然面临企服市场定制化程度高、软件付费意愿不强等问题。十年后,带着在垂直领域积累下的行业优势,刘轶决定在大模型时代再次出发。手机之外,高度依赖语音交互、“受限显示”的口袋式硬件,被寄予厚望。不过,如何在这样一个小小的终端上平衡性能、算力和功耗三者的关系,是摆在每个新玩家面前的共同挑战。刘轶认为,这也恰恰说明在端侧仍大有可为。【本期课代表】刘轶,北科瑞声创始人、董事长,国家重大人才计划特聘专家【课代表观点】01:05,语音AI技术的进展和局限04:54,中文和阿拉伯语的识别理解,哪个更难?06:30,更好的大模型一定出现在工业界08:51,微调(SFT)不是每个人都该去做的12:13,大模型是水,一定要有载体14:06,做硬件就是一个权衡的过程16:37,GPT-4o离产业化还有一段路17:20,受限显示的小硬件是个趋势【补充知识点】ASR :自动语音识别(Automatic Speech Recognition) 基于深度学习技术,将音频中的语音转成文字。可用于识别多种音频编码格式、多种场景和不同长短的语音。广泛应用于智能客服质检、会议访谈转写、游戏语音输入、课堂内容分析等场景。TTS:语音合成(Text-To-Speech)是一种将文本信息转化为自然语音输出的技术。通过TTS技术,我们可以让机器像人类一样开口说话,从而实现人机交互的语音输出。常见的应用有车载导航、电子书阅读、智能语音助手等。【关于AI课代表】「AI课代表」是一档传递大模型真知灼见和最佳实践的科技播客,由「声动活泼」参与策划和后期制作,现已在喜马拉雅、小宇宙、苹果podcast等平台上线。每期节目,我们会邀请在大模型领域有想法的开发者、技术专家和公司创始人担任“轮值课代表”,结合当下热门议题,分享他们最新鲜、最一手的观察和经验。如果你对我们的节目有什么建议,或者希望成为我们的下一位“课代表”,欢迎给我们写邮件。邮箱:[email protected]【制作团队】策划:nada、大帅、Sue后期:Jack 、迪卡
Jun 19, 2024
23 min
01 苹果市值冲上3万亿美金后,和OPPO的人聊了聊
随着苹果重新夺回全球市值第一的宝座,人们对几天前WWDC全球开发者大会的态度,似乎也发生了微妙变化。在这场大会上,苹果花了一半的时间谈论AI。新版Siri的可贵之处,或许并不是因为它对新近多模态能力的全盘吸收,而是它可以在APP之间“穿梭”,了解一个更完整的“你”。外界备受关注的大模型合作信息,苹果一方面确认了会接入Open AI的GPT-4o,另一方面,它也公开了三层大模型架构,云、端协同,自研与三方协作,给硬件厂商打了个样。本期节目,我们请到了OPPO智能语音助手小布的业务负责人万玉龙,他有过操作系统、基础大模型的研发经验,同时也是个智能硬件“行家”。在这次对谈中,他从苹果发布会聊起,提醒我们思考一个“无处不在”的 Siri 给硬件厂商带来哪些启发,又对隐私提出了哪些挑战;他还非常清晰地拆解了端侧和云上的大模型是如何实现协同的,端侧更快、云上更慢其实是一种过时的说法,同样的,端侧部署更安全,也是个需要被挑战的观念。在讲起乔布斯去世前力推siri上线,让更多人至少从理想维度上对更自然的人机交互有所期待——也非常令人动容。【本期课代表】OPPO智能语音助手“小布”业务负责人,万玉龙【课代表观点】1:34 为什么说Siri升级是苹果发布会的小惊喜3:29 终端厂商要明白自己的优势,不能跟着APP跑偏了8:42 谁更懂用户,谁才能在大模型上做出差异化10:52 苹果在人机交互上一直是行业的标杆12:47 乔布斯去世前力推Siri,让人们对更自然的人机交互有了期待14:16 相比文字,语音才是更自然的交互方式17:50 端侧大模型的重要作用:先把任务分流20:51 效果和服务效率是手机厂商筛选三方大模型的标准24:39 大模型时代,“端快云慢”是一个伪命题27:17 端侧并不必然“更安全”,云的安全性在移动互联网时代已被验证29:58 大模型的商业模式可能接近搜索引擎35:20 手机厂商通常会选择自研和三方大模型并行36:45 手机就像脑机的一个器官,短时间内难以取代【补充知识点】APP intents:使用 苹果App Intents 框架后,开发者可以通过编程的方式,将 App 的内容和功能加入 Siri 和“快捷指令”App 等系统服务中。GUI:Graphical User Interface,即图形用户界面,指采用图形方式显示的端侧操作用户界面。Function Call:Function Call 是 GPT API 中的一项新功能。它可以让开发者在调用 GPT-4 和 GPT-3.5-turbo 模型时,描述函数并让模型智能地输出一个包含调用这些函数所需参数的 JSON 对象。这种功能可以更可靠地将 GPT 的能力与外部工具和 API 进行连接。OCR:Optical Character Recognition,即文字识别【关于AI课代表】「AI课代表」是一档传递大模型真知灼见和最佳实践的科技播客,由「声动活泼」参与策划和后期制作,现已在小宇宙、喜马拉雅、网易云音乐、苹果podcast等平台上线。每期节目,我们会邀请在大模型领域有想法的开发者、技术专家和公司创始人担任“轮值课代表”,结合当下热门议题,分享他们最新鲜、最一手的观察和经验。如果你对我们的节目有什么建议,或者希望成为我们的下一位“课代表”,欢迎给我们写邮件。邮箱:[email protected]【制作团队】策划:nada、大帅后期:Jack 、迪卡
Jun 13, 2024
40 min