通义企业大模型的构建聚焦于企业知识注入与能力激活两大核心挑战。在知识注入方面,研究表明Anchor Text训练格式
相比Plain Text能显著提升知识注入率,
达到31%。进一步通过调整PPL值和采用Knowledge Freeze Injection结构,实现了高达100%的知识注入率,且知识遗忘
率低。在能力激活方面,简单的大数据
/多任务方法效果不佳,而加入少量相似任务(约10%)能略微提升效果。最终,通过主动迭代式的Generating &
Denoising方法,有效激活了企业问答能力,
问答效果显著优于GPT4 + SotaEmbedding和RAG等技术方案,达到了88%的效果占比