记得 AlphaZero (Alaphgo Zero 的增强版) 用了 8 个小时达到人类顶级水准（AlphaGo 李世石版本）。它使用了5000个TPU第一代和64个TPU第二代。
谷歌没有说明TPU第一代的性能数据，只说在同等功耗下，比CPU+GPU快大约30倍。2016年最快的PC的性能大概是0.5TFLOPS。考虑到TPU的功耗低，换算下来，TPU 第一代的性能大概是 5 TFLOPS；TPU第二代是45 TFLOPS，也就是快9倍；第三代TPU 又提高8倍，达到360TFLOPS
所以，TPU v3 比 TPU v1 快72倍左右。
5000个TPU第一代和64个TPU第二代相当于 5000 + 64 * 9 = 5576 个 TP v1
也就是 5576 / 72 = 78 TPU v3
考虑到一个TPU单元有256块芯片，如果用一个 TPU v3单元来训练AlphaZero，只要2.5个小时就能达到人类顶级水准。
PS: 一块 TPU v3，大概相当于 CPU+GPU 速度的一千倍。
PS 2: 2017年底，AlphaZero 4小时训练，耗资13万美元。现在，如果全部采用 TPU v3，不知道1万美元够不够。
https://en.wikipedia.org/wiki/AlphaGo_Zero
https://en.wikipedia.org/wiki/AlphaZero
https://www.quora.com/Can-I-find-out-how-many-TeraFlops-my-PC-can-calculate
https://twitter.com/demishassabis/status/963324085097959424
Subscribe to:
Post Comments (Atom)
20211004: 心目中近几十年最愚蠢的科研成果
1. 氢燃料汽车 先不考虑安全性。设计者有没有考虑过一公斤液氢的体积，以及容器的质量？ 液氢来自于天然气，碳排放咋办？ 绿色氢气? 先不考虑成本。 太阳能面板生成一百度电，转成氢气再用于汽车驱动，总损耗约 80% 太阳能面板生成一百度电，输送到电动汽车用于驱动，总损耗约 30%...
-
What does the score mean? 10: new window to the world 9: huge improvement of existing perception 8: interesting and learned something from i...
-
1. 氢燃料汽车 先不考虑安全性。设计者有没有考虑过一公斤液氢的体积，以及容器的质量？ 液氢来自于天然气，碳排放咋办？ 绿色氢气? 先不考虑成本。 太阳能面板生成一百度电，转成氢气再用于汽车驱动，总损耗约 80% 太阳能面板生成一百度电，输送到电动汽车用于驱动，总损耗约 30%...
-
0. 背景介绍 动荡的世界是什么样子的？ 尽管存在短期局部战争，二战后人类享受了 77 年历史上从未经历过的和平时期。 两次世界大战之前，大型战争一直此起彼伏 ： https://www.worldstatesmen.org/WARS.html 为什么二战结束后，突然大家都不约而...
No comments:
Post a Comment