Show notes
如果你喜歡我的內容，歡迎加入會員支持我，讓我更有動力繼續分享更多好內容！👉 https://www.youtube.com/channel/UCJIPFjZSCWR15_jxBaK2fQQ/joinAI 變小變快，竟然還能不變笨？！🤯 這週 Google 丟出了一個重量級的技術突破——TurboQuant 演算法！現在大家動不動就狂塞十萬、百萬 token 的 Context Window，導致 AI 推論時撞上了超大的瓶頸「記憶體牆 (Memory Wall)」，GPU 最核心的算力幾乎都在空轉等待資料傳輸。而 TurboQuant 竟然能把記憶體需求暴縮 6 倍、推論速度狂飆 8 倍，重點是模型輸出「零損失」！這集就來跟大家拆解，他們是如何透過發現 AI 的「注意力黑洞」，利用動態混合精度，精準壓縮掉 95% 不重要的廢話！另外，上週才剛跟大家聊完讓我熬夜調教的「小龍蝦」OpenClaw，這週我直接決定棄坑啦！😂 為了打造一個真正懂我、記憶力不混亂的專屬助理，我決定砍掉重練，直接結合 Claude Agent SDK 與向量資料庫 Mem0，自己弄一個部署在雲端、能用 Telegram 溝通的專屬 AI 助理！影片也會跟大家分享我剛從奧蘭多員工旅遊回來的心情。不知道大家有沒有聽過「第一次與最後一次理論」？當我意識到這極有可能是我人生中「最後一次」參加別人的員工旅遊時，整個心境與看事情的角度都變得完全不同了。本集精彩亮點：🚀 Google TurboQuant 震撼彈： 打破致命的「記憶體牆」，記憶體縮小 6 倍、提速 8 倍且零損失的神奇魔法！🕳️ 破解 AI 注意力黑洞： 傳統無損壓縮太笨？看 Google 如何揪出那最重要的 5% 關鍵字。🦞 棄坑小龍蝦 OpenClaw： 調教太心累！看我如何用 Claude Agent SDK + Mem0 自幹專屬雲端助理。🌅 第一次與最後一次理論： 奧蘭多奢華員工旅遊心得，以及我對未來不當員工的職涯反思！🔗 《矽谷輕鬆談》傳送門 👉 https://linktr.ee/jktech(00:00) 開頭(02:24) 留在 Phantom 的兩大理由：無限 AI Credit 自由與超讚員工旅遊(04:03) 第一次與最後一次理論：最後一次員工旅遊？(07:30) 放棄 OpenClaw！改用 Claude Agent SDK + Mem0 自幹個人助理(10:33) Google TurboQuant 打破 AI 推論的「記憶體牆」(12:22) 驚人成效：記憶體縮小 6 倍、提速 8 倍且「零損失」(13:12) 怎麼做到的？傳統壓縮 vs. 動態混合精度(14:16) 關鍵發現：AI 注意力極度不平均，精準壓縮 95% 不重要的資訊(15:32) AI 發展 M 型化：一邊瘋狂擴張算力，一邊極致省成本