未来大模型突破点在于循序渐进思维链的强化。
人会利用前面所学循序渐进学后面的东西，在这个模式下，人类学习效率较高，如果不循序渐进，除少量结构过于复杂的知识网络外，效率都会变得很差，理工科尤其如此。此模式下，学会了前置与后续的关联利用架构，逻辑结构的建构就较优了，现实中就体现出了这个人的逻辑思维泛化创造性、条理层次性优良。 当前大模型的后训练、思维链强化，部分无意识、偶然性的利用了已有循序渐进语料例如理科教材的文字加工版，但这不够，要提高训练效率与思维链质量，需要针对性组织语料。可以人工结合大模型来加工、重整教材、已有语料。 要让大模型把前置、后续结构强化，它自然就优化、泛化了复杂逻辑，哪怕是未知，它也有足够强足够高成长的创新泛化能力。 预训练之后，如果微调后训练特别思维链强化也仍沿用预训练那样随机乱序，也许效率难以提升，至少会损失掉隐含的自然关联的优势，因为灾难性遗忘会优先灭失前置后续权重被忽略的关键。 支持一波~~加油啊~
页:
[1]