MiniMind的block

发布于 15 天前

一、整体架构：Pre-Norm 的 Decoder Block MiniMind 的 Block 采用 Pre-Norm 架构（先 …

从MHA到MQA到GQA

发布于 20 天前

好，我们从 0 开始，一步一步推导 GQA 是怎么来的。我会用公式说话，每个关键结论都会附上参考资料。 一、一切从一个问题开始：推 …

激活函数

发布于 23 天前

🧠 激活函数全解析 激活函数是神经网络中不可或缺的核心组件。它的作用是在每一层神经元的输出上施加一个非线性变换，使网络具备拟合复杂 …

贝叶斯定理

发布于 25 天前

你好！很高兴为你介绍贝叶斯定理。别被这个名字吓到了，它其实非常直观，是我们在生活中每天都在潜意识使用的思维工具。 简单来说，贝叶斯 …