Galvatron 资源可视化

Galvatron 资源估计可视化工具

本工具可帮助您分析和可视化Galvatron内存分析结果，并根据您的配置预估时间开销。选择模型和精度配置来开始。

您可以导入Galvatron Profiler得到的计算和内存分析结果进行精细的分析，也可以直接在WebUI上直接配置模型和精度进行分析。

Galvatron 综合配置选择器

选择模型

选择精度

或者上传本地配置文件

📁选择JSON配置文件

暂无内存数据可视化

请上传配置文件或调整参数以生成内存分析

等待内存数据计算...
尝试上传配置文件或调整参数以生成内存分析

训练时间分析

暂无时间分析数据，请上传配置文件并调整参数

模型与资源策略配置

模型配置

基本参数

注意力头数: 8

隐藏层维度: 512

前馈网络维度: 2048

词汇表大小: 30522

混合精度训练: 开启

序列并行激活检查点 (Checkpoint)

模型层数:

序列长度:

微批次大小:

全局批次大小:

累积次数:

并行策略配置

总GPU数量:

数据并行度 (DP):

DP: 1

(自动计算: Total GPUs / (TP * PP))

张量并行度 (TP):

流水线并行度 (PP):

ZeRO优化级别:

注意: 序列并行设置根据配置文件自动确定。数据并行度(DP)根据总GPU数量自动计算，块数(Chunks)确保 MBS * DP * Chunks = GBS。当启用流水线并行时(PP>1)，可以选择查看特定流水线阶段的内存分配情况。

关键硬件性能参数

参数来源说明:

JSON配置

硬件预设

用户输入

重置为JSON值

硬件类型预设:

设备数量:

前向计算时间 (ms):

后向/前向计算比例:

通信重叠系数:

AllReduce带宽 (GB/s):

机间All2All带宽 (GB/s):

序列并行空间:

异步梯度归约

基于 Galvatron 内存成本模型 | 数据仅供参考

GitHub 仓库

技术文档

新功能：语言切换

您现在可以使用右上角的语言切换按钮在中文和英文之间切换界面语言。

此提示将在几秒后消失