一、引言

        在进行大模型训练时，我们需要关注GPU资源的利用率，特别是GPU算力利用率通常可以作为大模型训练框架的性能指标，也直接影响训练大模型的成本。我们看到大家普遍使用 MFU（Model FLOPS Utilization）这个指标来评估GPU算力利用率[1]。本文主要介绍MFU的计算方法。

二、MFU的计算方法

1、mfu与hfu的概念

模型算力利用率（Model FLOPs Utilization， MFU）和硬件算力利用率（Hardware FLOPs Utilization， HFU）是评估某一模型实现对芯片计算性能利用情况的常用指标。

• 模型算力利用率是指_模型一次前反向计算消耗的矩阵算力与机器算力的比值_
• 硬件算力利用率是指_考虑重计算后，模型一次前反向计算消耗的矩阵算力与机器算力的比值_

数学公式：MFU = model FLOPs per iteration/（GPU单卡算力*卡数*一次迭代时间）

通用transformer模型一次前反向算力计算公式如下，model FLOPs per iteration： 

所以通用的transformers模型 mfu 用公式表达如下: