日喀则| 南木林| 松江| 城固| 寒亭| 开封市| 闻喜| 枣阳| 远安| 新田| 威信| 南华| 阜康| 玉树| 铜鼓| 科尔沁右翼中旗| 呼伦贝尔| 二连浩特| 正安| 科尔沁右翼前旗| 石门| 开封县| 额尔古纳| 唐山| 保亭| 康马| 沙圪堵| 贺兰| 和平| 宁南| 乐亭| 纳溪| 龙游| 灵宝| 华亭| 泾县| 老河口| 祁阳| 广西| 邢台| 开阳| 慈溪| 上杭| 公安| 武夷山| 上林| 八一镇| 桓仁| 仁布| 璧山| 江孜| 尼勒克| 鄂托克前旗| 阿克苏| 新巴尔虎左旗| 济宁| 金门| 怀柔| 揭阳| 光泽| 博兴| 武胜| 攀枝花| 四会| 河源| 宣威| 津南| 阳泉| 加格达奇| 达拉特旗| 顺平| 崇州| 丽江| 汤旺河| 临夏县| 繁昌| 喀喇沁左翼| 河南| 罗江| 番禺| 三河| 索县| 蒲江| 南票| 门头沟| 泰安| 揭东| 昌图| 曲靖| 阜阳| 青岛| 凤冈| 双流| 北戴河| 鹰手营子矿区| 宜州| 鹤庆| 桑植| 元江| 福泉| 界首| 宁国| 神木| 石林| 遂宁| 五莲| 天祝| 图们| 绥阳| 睢宁| 南川| 会宁| 崇左| 武夷山| 西乡| 凌源| 肥城| 图们| 湟中| 喜德| 桂东| 武安| 富平| 龙山| 邵武| 漾濞| 宁阳| 黎川| 荣昌| 丰宁| 凤凰| 北川| 利辛| 应县| 辉县| 汪清| 阜阳| 临沭| 黟县| 章丘| 洱源| 昌吉| 红星| 台南市| 朗县| 肃北| 南丰| 广饶| 连江| 温泉| 肥城| 户县| 凌源| 雄县| 鹰潭| 保山| 佛坪| 冠县| 高港| 卓尼| 南沙岛| 沙洋| 方山| 舟曲| 邵阳县| 全南| 荆州| 永寿| 惠民| 张家口| 通渭| 城固| 海丰| 双辽| 兴安| 霍山| 陆川| 嵩县| 畹町| 阎良| 吴忠| 梓潼| 措美| 紫云| 郸城| 余江| 兴隆| 三门峡| 阳原| 鄱阳| 抚顺县| 扶风| 武夷山| 泰和| 达州| 西峡| 福安| 隆子| 什邡| 常山| 焦作| 天山天池| 都安| 河池| 洪江| 江门| 广汉| 黄梅| 额济纳旗| 临澧| 海南| 吉木萨尔| 宁波| 华蓥| 崇阳| 山阴| 高要| 吴堡| 凤凰| 乌拉特前旗| 余庆| 和田| 庆安| 宜兴| 灌阳| 临泽| 太谷| 昂仁| 大同市| 沁阳| 彭水| 塔城| 商洛| 石龙| 洛川| 江阴| 北票| 襄城| 禄丰| 呼图壁| 海安| 当雄| 泰州| 黄石| 新巴尔虎右旗| 毕节| 南通| 肇东| 溧阳| 铁山| 株洲市| 莘县| 咸丰| 坊子| 凤山| 阜平| 化州| 尖扎| 龙里| 屏山| 萨嘎| 宁海| 九寨沟| 宁夏| 九寨沟| 灵石| 滑县| 柘城| 米林| 二连浩特| 安多| 宁夏| 永登| 即墨| 绥化| 汾西| 凌源| 香港| 侯马| 芮城| 乌拉特前旗| 绥宁| 盐城| 五营| 襄垣| 桃园| 彭泽| 鄄城| 大关| 梓潼| 永吉| 宁陕| 江源| 渝北| 崂山| 资阳| 澄迈| 宣恩| 嘉祥| 泰顺| 白朗| 辉县| 无极| 杜集| 乐都| 南京| 武冈| 夏河| 沧州| 大港| 察哈尔右翼中旗| 友好| 通江| 徐州| 天峨| 屯昌| 洛隆| 东海| 洮南| 景洪| 巴塘| 内蒙古| 花溪| 谢通门| 弥勒| 大龙山镇| 仙游| 崇义| 怀仁| 民权| 上犹| 阳江| 白山| 和硕| 莱州| 泾县| 加格达奇| 歙县| 如东| 纳溪| 尼玛| 马龙| 平谷| 吉水| 安新| 瑞安| 和龙| 新绛| 梅州| 郸城| 盘山| 北戴河| 新源| 丰台| 辽阳市| 潮州| 黄梅| 青岛| 旬邑| 赤城| 大方| 和龙| 景东| 龙凤| 灵寿| 梅里斯| 沁水| 科尔沁右翼前旗| 丹棱| 偃师| 文水| 迁西| 建始| 兴安| 开鲁| 宜州| 会昌| 徐闻| 金坛| 永顺| 扶余| 麦盖提| 北川| 阜阳| 滦县| 松江| 湘潭县| 共和| 哈密| 马鞍山| 邹平| 古田| 环江| 鲅鱼圈| 泌阳| 相城| 南皮| 济源| 本溪市| 姚安| 泸水| 长泰| 平安| 高淳| 武当山| 江宁| 寿宁| 巴马| 辽宁| 潼南| 安康| 环江| 晴隆| 新竹县| 察隅| 长宁| 崇仁| 东方| 朝阳县| 和硕| 都匀| 张家港| 白山| 婺源| 柯坪| 大埔| 山东| 建阳| 项城| 古田| 让胡路| 九台| 襄汾| 江门| 托克托| 古县| 内丘| 天全| 萧县| 镇远| 堆龙德庆| 普格| 南靖| 祁连| 临潼| 广德| 盖州| 白碱滩| 法库| 延安| 神木| 淮北| 宝鸡| 上杭| 都江堰| 梓潼| 宁远| 阿克苏| 石柱| 常山| 荔波| 肃宁| 张家川| 华坪| 金溪| 龙里| 石棉| 五通桥| 汉寿| 高平| 博山| 本溪满族自治县| 茄子河| 舞钢| 茂港| 衡东| 泽州| 淇县| 桂阳| 新和| 金平| 盱眙| 临猗| 召陵| 奎屯| 巫溪| 浮山| 清涧| 浙江| 扶余| 靖江| 玛沁| 塔河| 维西| 寻甸| 秀屿| 新宾| 新巴尔虎右旗| 海南| 衡阳市| 克拉玛依| 隆安| 富锦| 永州| 南昌县| 且末| 北辰| 珊瑚岛| 江达| 务川| 甘德| 青川| 安福| 怀安| 平凉| 忻州| 蚌埠| 濠江| 临沧| 平谷| 宿豫| 通辽| 新民| 铜川| 浦东新区| 米泉| 肥西| 宜春|

横坜江:

2018-08-22 01:45 来源:中国前沿资讯网

  横坜江:

  我有点儿虎妈的感觉。网易考拉线下直营店将为消费者提供全品类的进口跨境商品,解决以往消费者在网购时不了解海外商品等痛点。

很多粉丝希望通过电话跟我直接交流,在电信公司的支持下,我开始了《雨青时间》节目之外的另一份工作,接听心理情感热线电话。选择在家过春节的,带家人去看电影是新选择。

  有的一两个月就可以回本了,情况差的要五六个月,这个得看客流情况,不同地段也有差异。特斯拉创始人马斯克也多次陷入资金链泥潭,特斯拉从2003年创办就没有摆脱过缺钱的阴影。

  上海证券认为,在两会之前,市场对改革预期强烈,风险偏好趋升,加上新股发行减少,有利于大盘股搭台、中小盘成长股唱戏格局形成,应适度关注中小创版漂亮50。其中,住宅销售额增长%,办公楼销售额增长%,商业营业用房销售额增长%。

三是加快网络转型发展,让连接更加智慧。

  政策调控的影响正在显现,国家统计局早前发布的数据显示,1月份一线城市新建商品住宅销售价格同比由上涨转为下降,二手住宅销售价格涨幅连续16个月回落,1月比上月回落个百分点。

  但部分房企仍然对房地产市场后期看好,房地产市场交易的低迷,并未全面阻碍房企的拿地热情,截至2月27日,50大热点城市卖地金额高达亿元,同比上涨%。将联合产业伙伴启动5G终端先行者计划,积极培育5G终端、芯片、元器件产业链,带动5G终端快速发展。

  早在去年6月,绿地香港顺应市场趋势,积极抓住国家康养产业发展契机,与云南省昆明市政府共同合作发展大健康医疗及旅游产业,签署了绿地春城·滇池国际健康示范城项目合作协议,致力于把握时代风口,打造大健康产业新高地。

  科技创新领域正进一步发力。但现在回过头来看,在互联网时代独立谋生,这似乎也够了。

  中国指数研究院院长莫天全说。

  很多企业家都有造车梦想和情怀,甚至不惜跨界进入这一充满诱惑和挑战的领域。

  2月26日,吉利汽车发布公告称,公司并非吉利控股收购戴姆勒的订约方,且就该收购而言并无与吉利控股合作,但公司不排除将来寻求与吉利控股及戴姆勒潜在合作机会的可能性。加强制度设计,建立租购并举的住房供应体系2017年4月,北京市住建委对外宣布,进一步加强房地产调控,平抑房价,解决非京籍无房人士的住房困难,北京市住建委将在保障房中为非京籍无房人士开展专项分配试点。

  

  横坜江:

 
责编:
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
雷锋网 读懂智能&未来
人工智能 正文
发私信给程弢
发送

0

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

本文作者:程弢 2018-08-22 14:03
导语:从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。
而在2012年至2014年间,吉利汽车的收益都稳定在217亿元至287亿元区间。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

在谷歌发布TPU一年后,这款机器学习定制芯片的神秘面纱终于被揭开了。

昨日,谷歌资深硬件工程师Norman Jouppi刊文表示,谷歌的专用机器学习芯片TPU处理速度要比GPU和CPU快15-30倍(和TPU对比的是英特尔Haswell CPU以及Nvidia Tesla K80 GPU),而在能效上,TPU更是提升了30到80倍。

从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。

据雷锋网(公众号:雷锋网)了解,早在四年前,谷歌内部就开始使用消耗大量计算资源的深度学习模型,这对CPU、GPU组合而言是一个巨大的挑战,谷歌深知如果基于现有硬件,他们将不得不将数据中心数量翻一番来支持这些复杂的计算任务。

所以谷歌开始研发一种新的架构,Jouppi称之为“下一个平台”。Jouppi曾是MIPS处理器的首席架构师之一,他开创了内存系统中的新技术。三年前他加入谷歌的时候,公司上下正在用CPU、GPU混合架构上来进行深度学习的训练。

Jouppi表示,谷歌的硬件工程团队在转向定制ASIC之前,早期还曾用FPGA来解决廉价、高效和高性能推理的问题。但他指出,FPGA的性能和每瓦性能相比ASIC都有很大的差距。他解释说,“TPU可以像CPU或GPU一样可编程,它可以在不同的网络(卷积神经网络,LSTM模型和大规模完全连接的模型)上执行CISC指令,而不是为某个专用的神经网络模型设计的。一言以蔽之,TPU兼具了CPU和ASIC的有点,它不仅是可编程的,而且比CPU、GPU和FPGA拥有更高的效率和更低的能耗。

TPU的内部架构

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

该图显示了TPU上的内部结构,除了外挂的DDR3内存,左侧是主机界面。指令从主机发送到队列中(没有循环)。这些激活控制逻辑可以根据指令多次运行相同的指令。

TPU并非一款复杂的硬件,它看起来像是雷达应用的信号处理引擎,而不是标准的X86衍生架构。Jouppi说,尽管它有众多的矩阵乘法单元,但是它GPU更精于浮点单元的协处理。另外,需要注意的是,TPU没有任何存储的程序,它可以直接从主机发送指令。

TPU上的DRAM作为一个单元并行运行,因为需要获取更多的权重以馈送到矩阵乘法单元(算下来,吞吐量达到了64,000)。Jouppi并没有提到是他们是如何缩放(systolic)数据流的,但他表示,使用主机软件加速器都将成为瓶颈。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

256×256阵列缩放数据流引擎,经过矩阵乘法积累后实现非线性输出

从第二张图片可以看出,TPU有两个内存单元,以及一个用于模型中参数的外部DDR3 DRAM。参数进来后,可从顶部加载到矩阵乘法单元中。同时,可以从左边加载激活(或从“神经元”输出)。那些以收缩的方式进入矩阵单元以产生矩阵乘法,它可以在每个周期中进行64,000次累加。

毋庸置疑,谷歌可能使用了一些新的技巧和技术来加快TPU的性能和效率。例如,使用高带宽内存或混合3D内存。然而,谷歌的问题在于保持分布式硬件的一致性。

TPU对比Haswell处理器

在和英特尔“Haswell”Xeon E5 v3处理器来的对比中,我们可以看到,TPU各方面的表现都要强于前者。

在Google的测试中,使用64位浮点数学运算器的18核心运行在2.3 GHz的Haswell Xeon E5-2699 v3处理器能够处理每秒1.3 TOPS的运算,并提供51GB/秒的内存带宽;Haswell芯片功耗为145瓦,其系统(拥有256 GB内存)满载时消耗455瓦特。

相比之下,TPU使用8位整数数学运算器,拥有256GB的主机内存以及32GB的内存,能够实现34GB/秒的内存带宽,处理速度高达92 TOPS ,这比Haswell提升了71倍,此外,TPU服务器的热功率只有384瓦。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

除此之外,谷歌还测试了CPU、GPU和TPU处理不同批量大小的每秒推断的吞吐量。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

如上图所示,在小批量任务中(16),Haswell CPU的响应时间接近7毫秒,其每秒提供5482次推断(IPS),其可以实现的最大批量任务(64)每秒则可以完成13194次推断,但其响应时间为21.3毫秒。相比之下,TPU可以做到批量大小为200,而响应时间低于7毫秒,并提供225000个IPS运行推理基准,是其峰值性能的80%,当批量大小为250,响应时间为10毫秒。

不过需要注意的是,谷歌所测试的Haswell Xeon处理器似乎也不能完全说明问题,英特尔Broadwell Xeon E5 v4处理器和最新的“Skylake”Xeon E5,每核心时钟(IPC)的指令比这款处理器提升了约5%。在Skylake是28核,而Haswell为18核,所以Xeon的总体吞吐量可能会上升80%。当然,这样的提升与TPU相比仍有差距。

最后雷锋网需要强调的是,TPU是一个推理芯片,它并非是要取代GPU,可以确定的是,TPU与CPU一起使用对训练分析更加有益。但对于CPU制造商而言,如何研发出像ASIC一样兼顾性能和能效的芯片是现在以及未来要做的。

可以确定的是,谷歌已经逐渐在自己的数据中心部署TPU,但是上述测试数据只是理论结果,实际应用表现如何?我们还不得而知。

Via nextplatform,雷锋网编译

雷锋网版权文章,未经授权禁止转载。详情见转载须知

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?
分享:
相关文章

文章点评:

表情

略懂技术的小编

关注一切有未来感的产品及技术!
当月热门文章
最新文章
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
青沟子乡 厂门口村 金滩镇曾家岭村 杉杉公园 依提木孔乡
丁嘴镇 奎香苗族彝族乡 死亡之海 张公桥农场 儿科医院
百度