20180509 - TPU 3 的性能号称可以达到单芯片 360 TFLOPS, 是 TPU 2_ - GooglePlus

TPU 3 的性能号称可以达到单芯片 360 TFLOPS, 是 TPU 2 的八倍。

翻译成中文数字，就是 3.6 百万亿次每秒！

https://techcrunch.com/2018/05/08/google-announces-a-new-generation-for-its-tpu-machine-learning-hardware/

TPU 2 和 Nvidia V100 的性能价格差不多。

https://blog.riseml.com/comparing-google-tpuv2-against-nvidia-v100-on-resnet-50-c2bbb6a51e5e

也就是说, TPU 3 比 Nvidia V100 快 8 倍！

如果按照 TPU 2 的组装模式，用 256 块芯片构造一个运算单元，其性能就是 100 petaflops，也就是十亿亿次每秒！

世界第一超级计算机“太湖神威”的性能是 125 petaflops。也就是说，单就 AI 计算而言，一个 TPU 3 计算单元的性能就已经接近太湖神威。

https://en.wikipedia.org/wiki/TOP500

如果用类似的功耗来衡量, 一个 TPU 3 计算单元的功耗假定是 10kW，那 TPU 3 将比“太湖神威”快一千倍。（太湖神威的功耗是 15371 kW， https://www.top500.org/system/178764 ）

TPU 2 是去年发布的。一年提高 8 倍？明年会如何？

考虑到今年已经上了水冷，估计其性能不会再迅速飞升了。

PS:　我就想知道，GOOGLE 是否考虑用 AI 来帮助改进 TPU。

现在的 TPU 设计水平估计相当于围棋业余好手，如果能提升到“棋神”的境界，估计性能至少再提高100倍。