小脑的进化历程可以追溯到最早的圆口类动物——七鳃鳗，那时它的原始小脑已开始出现。在大多数鱼类阶段，小脑发育不完全，体积微小，形状扁平，位于脑室的上部，表面光滑无沟回。例如在软骨鱼类的鲨鱼中，小脑虽有所增大，但仍可见到其表面的简单结构。两栖类的小脑表面特征类似，沟回并不明显。
在少数洄游海龟中，小脑的体积相对于整个脑部变得显著，显示出其可能在这些物种中扮演着更为重要的角色。随着进化进入爬行类，小脑内部开始展现出神经核团的结构，这预示着小脑连接的增多和复杂化。鸟类的小脑尤为发达，其体积大，表面沟回密集，尤其是新小脑部分，它接收来自脊髓和上位脑的投射纤维，表明其功能高度分化。
哺乳类是小脑进化的巅峰，小脑被划分为新小脑、旧小脑和古小脑三个部分，表面的沟回更加复杂，神经核团的分化和发育达到了新的高度。这些变化使得哺乳类小脑的生理功能更为完善和关键，对协调运动、平衡和学习记忆等能力有着显著影响。
小脑位于大脑半球后方，覆盖在脑桥及延髓之上，横跨在中脑和延髓之间。它由胚胎早期的菱脑分化而来，小脑通过它与大脑、脑干和脊髓之间丰富的传入和传出联系，参与躯体平衡和肌肉张力（肌紧张）的调节，以及随意运动的协调。