辽宁建设工程信息网官方网站,中国500强企业名称,在百度备案网站,商昊网站建设引言
澳鹏助力一家全球科技公司提升其大语言模型#xff08;LLM#xff09;的性能。通过提供结构化的人工反馈形式的大语言模型训练数据#xff0c;让该模型在30多种语言、70多种方言中的表现得到优化。众包人员们进行多轮对话#xff0c;并依据回复的相关性、连贯性、准确…
引言
澳鹏助力一家全球科技公司提升其大语言模型LLM的性能。通过提供结构化的人工反馈形式的大语言模型训练数据让该模型在30多种语言、70多种方言中的表现得到优化。众包人员们进行多轮对话并依据回复的相关性、连贯性、准确性和流畅性等标准对五种模型变体给出的回复进行排序。最终收集到超过25万行对话数据用于提炼模型输出为监督微调Supervised fine-tuning做准备。该项目从最初的5种以上语言、10多种方言扩展到如今的30多种语言、70多种方言大大提升了模型回复在文化契合度和语言准确性方面的表现。
目标
此项目聚焦于提升大语言模型在众多方言如阿拉伯语、中文、德语、俄语和西班牙语等环境下生成高质量回复的能力使其能够针对不同语言群体输出更准确、贴合语境且流畅的内容。这就需要收集人们对模型输出的偏好排序并借助结构化优化确保模型在文化和语言上更加契合。
挑战
该项目需要高质量的多语言和多方言提示。对话的主题和复杂程度各不相同以便为人工智能提供全面的训练数据。此外对模型回复的评估必须因地制宜充分考虑不同方言和地区的独特特征。当模型回复有改进空间时众包人员需要给出适合有监督微调SFT的优化修订内容。
项目的规模带来了诸多独特挑战具体如下
招募语言多样的众包人员寻找合格的众包人员尤其是针对高棉语和马拉地语等相对小众语言的人员难度较大。语言和方言的多样性要确保提示和模型回复在每个地区都符合文化习惯且语言准确。大规模的高质量评估在多个复杂程度层面进行对话评估的同时要保持一致的人工智能数据质量标准。数据对微调的适用性当模型输出需要修订时要保证众包人员给出的优化回复符合有监督微调所要求的质量标准。
解决方案
为应对这些挑战澳鹏采取了一套结构化的多步骤方法
专业众包人员招募澳鹏从不同地区方言的母语使用者中挑选人员这些人不仅有使用大语言模型的经验还能为单语和跨语言交互创建与文化相关且贴合语境的提示。结构化偏好排序流程众包人员与五种不同的模型配置进行多轮对话并依据连贯性、事实准确性、流畅性和指令遵循情况对回复进行排序。这些排序为了解模型在不同方言中的表现提供了关键见解。监督微调准备从排序过程中得到的优化回复被转化为高质量的训练数据确保其与现实世界的语言和文化细微差别保持一致。人工智能数据平台整合该项目在澳鹏的人工智能数据平台ADAP内进行管理以实现高效的工作流程执行和质量保证。同时引入验证器和测试问题以提高数据的一致性和准确性。
成果
结构化的排序和微调方法显著提升了客户大语言模型在多种方言中的性能确保了更好的文化契合度和语言准确性。主要成果包括
截至目前已交付超过25万行对话数据。从最初5种以上语言的10多种方言扩展到30多种语言的70多种方言。通过提升回复质量和语言多样性提高了模型的准确性和用户满意度。
通过利用人们的偏好排序和结构化微调澳鹏帮助客户优化了他们的大语言模型使其对全球用户的响应更加出色能够在广阔的语言领域中提供贴合语境且准确的回复。
