2 月 13 日消息，科大讯飞今晚发布了最新的投资者关系活动记录表，主要针对 DeepSeek 方面的问题进行解答。
科大讯飞表示，正在训练的纯国产算力的星火 X1 新版本预计在 3 月内完成，预期可以实现数学答题和过程思维链能力全面对标甚至超过 OpenAI o1。
此外，科大讯飞还表示他们正在将 X1 深度推理模型进一步结合与中国教科院等诸多教育专家的合作，通过专业知识反思及长思维链强化学习结合，生成符合教育教学需求的“教学思维链”，提高复杂场景推理的逻辑正确性、专业性、可解释性，并将率先用于教师助手、批改、辅学等全系产品创新，预计在 2025 世界数字教育大会期间发布教育专属大模型和创新应用。
IT酷哥摘选部分重点信息如下：
DeepSeek R1 快速对标 o1 的主要创新是其提出并实现的 R1-Zero 强化学习训练方案，即直接在 DeepSeek-V3-base 预训练模型上进行大规模强化学习训练，可在数学、代码等推理任务上得到接近 o1 模型的效果，而不依赖任何有监督微调（SFT），这是当前国内外公开已知的、在大规模任务上获得成功效果的首个发布成果，之前学术界已有相关研究，但因为预训练基座模型不够好而使得强化学习的收益不好，这一成果具有较强的创新性，大大减少了数学、代码等任务训练对人工标注推理过程数据的需求。
DeepSeek R1 并不是唯一高水平的国产深度推理大模型。2024 年 9 月 OpenAI o1-preview 发布以后，国内技术领先的大模型厂商也在快速跟进。科大讯飞基于此前在评语模型、强化学习方面的积累，在 2024 年 10 月就实现了蒙特卡洛树搜索（MCTS）等算法创新并跑通了深度推理模型训练算法，因为只能使用国产算力，我们额外花费 2 个月完成华为昇腾 910B 算力的适配和优化并大幅提升训练效率（训练效率相比 A100 从 55% 提升到 85%），于今年 1 月 15 日完成了星火深度推理模型 X1 的训练和发布。虽然当前 X1 模型很小（仅 130 亿参数），但依靠我们算法和数据优势，星火 X1 已达到可以和 OpenAI o1-preview 对标的水平；随着国产算力的逐步到位，模型参数增加后，我们完全有信心实现数学答题和过程思维链能力全面对标甚至超过 OpenAI o1。此外，结合与中国教科院等诸多教育专家的合作成果，我们将使得 X1 的思维链结果更加符合教育教学的专业要求，在教育、医疗等领域实现更大的应用赋能价值。
DeepSeek 团队围绕 DeepSeek V3 和 R1 的训练和推理降本，实现了多个有效的软硬件结合深度工程优化创新，包括 MLA（通过低秩矩阵对 KV 矩阵进行压缩显著降低 GPU 显存的消耗）、MTP（通过多帧预测提升数据利用率及训练效果和推理效率）、DualPipe（通过更底层的 PTX 指令优化英伟达 GPU 计算和通信的并行）、FP8 混合精度训练（业界首次使用 8Bit 量化浮点数方式实现超大规模模型的训练，以往都是使用 16Bit 量化），最终 DeepSeek 基于 2048 张英伟达 H800 卡，约 560 万美元就能完成 V3 模型的一次完整预训练。另外，DeepSeek R1 因为涉及基于大量数据的强化学习迭代训练，其成本未公布。
和 DeepSeek 类似，科大讯飞受限于有限的算力资源，过去几年关于星火大模型训练和推理成本效率的持续优化也做了大量投入，和 DeepSeek 直接使用英伟达 H800 卡上开展的各种工程优化不同，科大讯飞选择了更难的全国产算力路线。从 2023 年 5 月起科大讯飞就联合华为先后攻克了万卡高速互联组网、计算通信隐藏、训练推理强交互、高吞吐推理优化以及国产算子优化等一系列难题，将通用大模型、类 o1 的深度推理模型等的训练效率对标 A100 均从最初的 30%-50% 优化达到了 85%-95% 以上；以 DeepSeek 非常看重的万卡网络通信带宽的利用率为例，DeepSeek 报道的是 93%，而讯飞星火做到了 95%。训练成本也是讯飞星火大模型的竞争优势，我们单次训练成本和 DeepSeek V3 在一个层次，而且后面优化路径也很明确，目前以昇腾 910B 为代表的国产硬件还不支持 FP8 精度训练以及 DualPipe 的实现，随着国产算力在底层能力上进一步提升，讯飞星火的训练成本还有较大的下降空间。
需要特别说明的是，大模型对算力的需求为训练和推理两个方面，而训练实现的难度远大于推理。这就是虽然陆续有公司宣布可以在国产算力平台上提供 DeepSeek 在内等大模型的推理服务，但仍只有讯飞星火一家是训练和推理均在国产算力上进行的，并且仅用 1 万张 910B 国产算力卡，科大讯飞不仅用比友商少一个数量级的算力取得了大模型研发上的第一梯队成果，而且做了大量国产算力平台上的无人区的适配和效率优化，追求国产算力的极致效率，这比在英伟达上的实现更需要技术实力和战略勇气。
当前所有全民下载的通用大模型 App 中, 只有讯飞星火一家是训练和推理均在国产算力上进行的，仅用 1 万张 910B 国产算力卡，科大讯飞不仅用比友商少一个量级的算力取得了大模型研发上的一系列成果，而且做了大量国产算力平台上的无人区的适配和效率优化。虽然陆续有公司宣布可以在国产算力平台上提供 DeepSeek 在内等大模型的推理服务，但目前仍只有讯飞星火一家是训练和推理均在国产算力上进行的。
本文链接：http://www.28at.com/showinfo-26-130302-0.html科大讯飞：纯国产算力的星火 X1 新版本预计在 3 月内完成，全面对标甚至超过 OpenAI o1
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
