Step 3是什么
Step 3 是阶跃星辰最新发布的新一代基础大模型，专为推理时代设计，兼具高性能与极致成本效益。采用 MoE 架构，拥有 321B 总参数量 和 38B 激活参数量，是首个全尺寸、原生多模态推理模型，具备强大的视觉感知和复杂推理能力，能在多个领域实现高效应用。通过 AFD 分布式推理系统 和 MFA 注意力机制，实现了推理效率的大幅提升。在国产芯片上，推理效率可达同类模型的 3 倍，在 NVIDIA Hopper 架构芯片上吞吐量提升超 70%，显著降低了推理成本。Step 3 将于 7 月 31 日 正式开源，为全球开发者和企业提供最强的多模态推理模型。
Step 3的主要功能
- 视觉感知：Step 3 能准确识别和分析图像和视频中的复杂信息，例如在反光严重的菜单识别中，依然能准确还原内容。
- 复杂推理：支持跨领域的复杂知识理解、数学与视觉信息的交叉分析，例如结合微信群聊天记录和购物小票自动计算 AA 制消费分摊。
- 多模态任务处理：作为原生多模态模型，Step 3 能处理语言、视觉等多种模态的任务，满足多样化应用场景需求。
- 高效推理：通过系统架构创新，Step 3 在推理效率上表现出色。在国产芯片上，推理效率最高可达 DeepSeek-R1 的 300%，在 NVIDIA Hopper 架构芯片上吞吐量提升超 70%。
- 硬件友好：Step 3 适配多种硬件平台，包括主流和国产芯片，能显著降低推理成本，提升资源利用率。
Step 3的技术原理
- MoE 架构：Step 3 采用了 MoE（Mixture of Experts）架构，是高效的模型并行化方法。通过将模型分解为多个“专家”模块，根据输入动态选择合适的专家进行计算，MoE 架构能在保持高性能的同时显著降低计算资源的浪费。
- AFD 分布式推理系统：将模型中的注意力（Attention）和前馈网络（FFN）计算任务分配到最适合的硬件上，提升整体效率。
- Attention 计算：极度消耗内存带宽的任务，分配给内存带宽大的 GPU 集群。
- FFN 计算：极度消耗算力的任务，分配给算力强大的 GPU 集群。
- MFA 注意力机制：优化算术强度，适配主流和国产芯片的性能特征，实现跨硬件平台的高效推理。
Step 3的项目地址
- Github仓库：https://github.com/stepfun-ai/Step3
Step 3的应用场景
- 智能终端 Agent：Step 3 可以应用于各种 IoT 设备，如智能家居、智能穿戴设备等，提供智能语音助手和视觉识别功能。
- 金融财经：Step 3 可以用于金融风险评估、智能客服、市场分析等场景。通过多模态数据处理，模型能更准确地分析市场趋势和用户需求。
- 内容创作：Step 3 可以辅助内容创作者生成创意文案、图像和视频内容。例如，结合视觉和文本信息生成高质量的广告文案或视频脚本。
- 视觉识别：Step 3 能处理复杂的视觉任务，如反光菜单识别、图像分类、目标检测等。
- 复杂推理：Step 3 支持跨领域的复杂知识理解，例如结合微信群聊天记录和购物小票自动计算 AA 制消费分摊。
- 自然语言处理：Step 3 在自然语言处理任务中表现出色，能理解并生成高质量的文本内容。