我认为大模型的趋势有俩，轻量化和多模态化。
轻量化说的就是MOE和稀疏自注意力。大家都在往这个方向走。而且现在似乎再MOE这一点上已经达成一致了。考虑到MOE能够大幅度减少推理成本，这是很合理的。
另一个问题是自注意力机制。最关键的这个部分反而是没有怎么改动的，从MHA,GQA,单个子注意力。这些都是缩减规模，但是性能肉眼可见的在掉，虽然分组倒是能行，但效果还是差了点。这一点来说DS的新注意力就很强了，MLA。和ROPE混合起来使用，保留了自注意力的效果还减少了计算量，明显的有在另辟蹊径。
然后就是多模态化，道也不用多说。这些本质都是为了后续的硬件做服务。我感觉现在的大模型卷到一定程度，确实是都走向应用去了，就是大模型始终只能当辅助。
虽然不好说这个时间能持续多久就是了