![[TAI前沿]如何看待诺奖花落现代AI奠基科学家?](https://cdn-images.podbay.fm/eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1cmwiOiJodHRwczovL2ltYWdlLnh5emNkbi5uZXQvRnRzSkxtalgwX2hfcllIaUR2c1Bub0I0QkFaTi5wbmciLCJmYWxsYmFjayI6Imh0dHBzOi8vaXMxLXNzbC5tenN0YXRpYy5jb20vaW1hZ2UvdGh1bWIvUG9kY2FzdHMyMjEvdjQvMDMvOWUvMGYvMDM5ZTBmOTktYzMyMi05YzZkLTM2MGMtMGRiMjcyOGJkMjZiL216YV84NTIwNTcyNTk2MDY0OTg1OTA5LmpwZy82MDB4NjAwYmIuanBnIn0.ppaDpq6GXWfFIdb0d5JlvWVGIACSr0zEG-KfdkmJXJw.jpg?width=200&height=200)
主要话题: 2024年诺贝尔物理学奖颁给AI教父——Hopfield和Hinton。 他们在神经网络和机器学习领域的奠基性贡献。 物理学方法在构建人工神经网络中的应用。 霍普菲尔德神经网络和玻尔兹曼机的原理及其影响。 现代深度学习革命的起源及其与两位科学家的关系。 人工智能与物理学的相互影响及其在科学研究中的应用。
Oct 11, 2024
10 min

介绍了五项AI研究:1. 多元化奖励的CFG蒸馏,在不增加计算成本的前提下,提高AI生成内容的多样性和质量;2. 上下文强化学习,探索大型语言模型通过奖励信号自我优化学习新任务;3. 揭示了自动化评测大型语言模型的漏洞,即“空模型”也能获得高分;4. 发现重复训练少量样本可以提升模型在特定任务上的表现;5. 提出了一种新的采样算法——噪声校正朗格文算法,能够更高效地从无噪声分布中采样。完整推介:https://mp.weixin.qq.com/s/fzD99zz8BICTRrVPN9oMxg
Oct 10, 2024
9 min

介绍了五项AI研究,核心是如何让AI模型更聪明、高效:通过自适应计算资源分配、调整学习强度、融合多个模型、在代码和推理间选择以及稳定训练过程来提升模型的表现和降低成本。完整推介:https://mp.weixin.qq.com/s/ZzuSmO4tHYhcTjwjxztxTA
Oct 10, 2024
6 min

介绍了五项AI研究:1)用Transformer压缩数据,发现小模型在处理不熟悉数据时表现更佳,多模态训练提升通用压缩率;2)差分Transformer改进注意力机制,过滤噪声提升性能;3)FutureFill方法加速序列数据生成,提升创作和实时应用效率;4)随机Transformer展现出未完全训练也能执行算法任务的潜力;5)利用概率推理优化偏好,提升AI理解和适应人类喜好的能力。完整推介:https://mp.weixin.qq.com/s/Lk88p_Uaf8DLCll8_QT3kA
Oct 8, 2024
8 min

介绍了五个AI前沿进展:推出结合AI和人类辅导员的教育辅助工具Tutor CoPilot并取得显著成效;提出CRH和PAH两个新概念以解释神经网络的“思考”机制;实现类人机器人在复杂地形行走;揭示大型语言模型的通用计算潜力;以及提出新的训练方法以提升语言模型在上下文学习中面对虚假相关性时的可靠性。完整推介:https://mp.weixin.qq.com/s/j0ogODLSf_9-pdor8Ghr4A
Oct 7, 2024
8 min

介绍了五项AI研究:打破常规的编码器语言模型ENTP,快速高精度的深度估计算法Depth Pro,可解释神经科学的GEM-V框架,高效低成本的语音助手训练方法DiVA,以及利用物理系统加速贝叶斯推断的热力学计算方法完整推介:https://mp.weixin.qq.com/s/pXVED10bZJrUxR6B5FVJzw
Oct 7, 2024
9 min

介绍了五项AI研究:更精准的图像生成方法ComfyGen,解决多任务强化学习冲突的CGPO方法,基于上下文的文档嵌入CDE,揭示深度神经网络代数结构以改进数学推理的CoGO框架,以及统一分析自适应优化算法的通用视角。完整推介:https://mp.weixin.qq.com/s/48AiNiFDGWuA3iVT-6ttjg
Oct 6, 2024
9 min

新型“黑盒水印”技术,巧妙标记AI生成内容;改进Transformer模型的“选择性注意力”方法,显著提升效率和性能;RLEF方法让AI像程序员一样迭代改进代码;GUD统一扩散生成框架提升AI生成内容的质量和灵活性;自适应投影引导(APG)方法有效解决AI生成图像的过饱和和假象问题。完整推介:https://mp.weixin.qq.com/s/oqOSbsi7WsJdSTovTnhedw
Oct 4, 2024
8 min

经典RNN模型焕发新生,简化版MinLSTM/MinGRU速度飞升;Softmax注意力机制的缺陷及改进;FORTE方法精准识别数据异常值;位置注意力机制增强AI算法推理能力;LLM推理能力大比拼,揭示多步推理难题。完整推介:https://mp.weixin.qq.com/s/RS1MYj07Uq7Z1zAHhExYQQ
Oct 4, 2024
9 min

介绍了五项 AI 研究:1) KV-Compress 通过灵活压缩大语言模型的键值缓存,提升效率;2) 对比抽象学习让强化学习代理无需奖励即可学习抽象表示,提升学习效率;3) 研究发现大语言模型翻译时的冗余行为源于多种因素,现有评估方法对其不公;4) 模块化 GEM (mGEM) 通过精细控制模型参数更新,解决灾难性遗忘问题并提升泛化能力;5) 通过 SynTheory 数据集探究音乐生成模型对音乐理论的理解,发现模型大小并非决定性因素。完整推介:https://mp.weixin.qq.com/s/V_2-yst3r8YIRdvEsG1Vkw
Oct 3, 2024
8 min
Load more
