常说的某数据中心拥有“**P算力”，这里面的算力是什么呢？
图片
网络上搜索一些内容，整理如下：
“1P算力”里的 P是数量级前缀 Peta（10¹⁵，千万亿），所以“1P算力”通常指 1 PFLOPS，即每秒 1×10¹⁵ 次浮点运算（1000万亿次/秒）。
1. 单位是 FLOPS，不是 FLOP。
算力的常用单位是 FLOPS（每秒浮点运算次数），是个速率。
1P = 1000T（TFLOPS）= 100万G（GFLOPS）
所以业内说的"1P卡"、"100P集群"基本都是指 PFLOPS 规模。
2. 必须看精度，否则数字没意义。 同一张卡在不同精度下算力差好几倍，“1P算力”本身是不完整的说法。完整的应该是包含FP64、FP32、TF32、FP16、BF16、INT8，还是 INT4？
——本篇内容以“1P”说法为入口，了解这方面基础知识。
相关概念：
以一个实例开始：
一张 NVIDIA H100，FP16/BF16 峰值约 1 PFLOPS 量级（开稀疏更高），所以"1P"差不多就是"约一张高端 AI 卡"的体量。
"百P算力中心""千P智算集群"这类说法，就是把成百上千张这种卡堆在一起的总峰值。
算力单位相关 FLOPS：全称 Floating Point Operations Per Second，即"每秒浮点运算次数"，是衡量算力的速率单位。注意结尾的 S 是 Second（秒），不是复数。
FLOP：去掉 S，指"一次浮点运算"本身，是个数量而非速率。训练一个模型"总共要算多少次"用 FLOP（或 FLOPs，小写 s 表示复数次数），"每秒能算多少次"用 FLOPS。两者常被混用，但严格意义不同。
浮点运算：对带小数的数字（浮点数）做的加减乘除等运算。之所以强调"浮点"，是因为它和整数运算的硬件实现、速度都不同，神经网络里大量是浮点计算。
Peta / P：国际单位制的数量级前缀，10¹⁵（千万亿）。同系列还有 G（Giga，10⁹/十亿）、T（Tera，10¹²/万亿）、E（Exa，10¹⁸/百亿亿）。换算：1P = 1000T = 100万G。现在最顶级的超算到了 E 级（ExaFLOPS）。
精度相关 精度：指一个数字用多少位（bit）来表示。位数越多，能表示的数值范围越大、越精确，但占的存储和计算资源也越多。AI 领域为了提速和省显存，倾向用更低的精度。
FP64：双精度浮点，64 位。精度最高，主要用于科学计算、天气模拟这类对数值误差极敏感的场景。
FP32：单精度浮点，32 位。传统通用计算和早期深度学习的默认精度。
FP16 / BF16：半精度浮点，16 位。是 AI 训练的主流。两者都是 16 位但内部结构不同——BF16（Brain Float 16）牺牲了小数精度换取更大的数值范围，更不容易在训练中数值溢出，所以现在大模型训练更常用 BF16。
FP8：8 位浮点，更激进的低精度，近两年在大模型训练和推理上开始普及（H100 这代硬件原生支持）。
INT8：8 位整数。注意它是整数不是浮点，主要用于推理阶段的"量化"，进一步压缩模型、提速。
计算场景相关 HPC：High Performance Computing，高性能计算，指传统超算领域（科学仿真、流体力学、基因测序等），通常吃 FP64 双精度。和 AI 算力是两套不同的需求。
AI 训练：让模型从数据中学习、更新参数的过程，计算量极大，对精度有一定要求（主流 BF16/FP16）。
AI 推理：模型训练好之后,拿来实际回答问题/做预测的过程。计算量比训练小，可以用更低精度（FP8/INT8）来提速降本。
量化（Quantization）：把模型里原本用高精度（如 FP16）存的权重，转换成低精度（如 INT8、INT4）的过程。好处是模型变小、跑得快、省显存；代价是可能损失一点精度。
性能衡量相关 峰值算力 / Peak：硬件在理论最理想情况下的算力上限，是厂商宣传时标的数字。现实中几乎不可能持续达到。
实测算力：实际跑任务时真正发挥出来的算力，受各种瓶颈拖累，通常远低于峰值。
显存带宽：GPU 显存和计算核心之间搬运数据的速度。很多时候算力核心没"吃饱"不是因为算得慢，而是数据喂不过来（带宽不够），这叫"内存墙"。
MFU：Model FLOPs Utilization，模型算力利用率。= 实际有效算力 ÷ 理论峰值算力。大模型训练能做到 30%–50% 就算不错了，意味着标称"1P"的卡，实际有效可能只有 0.3–0.5P。
稀疏 / Sparsity：让矩阵里一部分数值为 0，硬件跳过这些 0 不计算，从而"翻倍"算力。厂商标算力时如果带"稀疏"条件，数字会比实际稠密计算高一倍，看的时候要留意是不是"开稀疏"的数。
硬件/集群相关 H100：NVIDIA 的高端 AI 训练/推理 GPU（Hopper 架构），目前主流大模型训练的主力卡之一，FP16 峰值在 1P 量级。
智算中心 / 智算集群：专门为 AI 计算（而非传统超算）建设的大规模算力基础设施，把成百上千张 AI 卡用高速网络连起来，对外报的"百P""千P"是所有卡峰值算力的总和。
FP64/FP32/TF32/FP16/BF16/INT8/INT4间的差距
"1P算力"在不同精度下不是同一张卡的固定值,而是同一颗芯片在不同精度下的吞吐能力本就不同。现代 GPU 的张量核心大致遵循"精度每减半,算力翻倍"的规律。
