互联,成为核心技术 -k8体育

今天,人工智能毫无疑问是全球最火热的技术,同时也成为了半导体行业最炙手可热的新市场。在人工智能技术中,目前看来影响力*的技术将会是大模型技术,其核心特点就是通过使用规模巨大(参数可达百亿到千亿数量级)的模型,并且在海量的数据上训练,来实现人工智能能力的突破,并且赋能新的应用,其中典型的例子就是去年下

今天,人工智能毫无疑问是全球最火热的技术,同时也成为了半导体行业最炙手可热的新市场。在人工智能技术中,目前看来影响力*的技术将会是大模型技术,其核心特点就是通过使用规模巨大(参数可达百亿到千亿数量级)的模型,并且在海量的数据上训练,来实现人工智能能力的突破,并且赋能新的应用,其中典型的例子就是去年下半年开始获得万众关注的chatgpt;而在未来,大模型的复杂度预计会进一步提升,以满足应用的需求。

训练和部署大模型需要强而有力的硬件支持,而这也是人工智能时代芯片成为核心技术的原因,因为大模型需要的算力归根到底来自于芯片,同时人工智能市场的发展也极大地推动了芯片行业的市场规模,以及相关芯片技术的演进。

在给人工智能大模型提供足够的算力用于训练和部署的核心芯片技术中,数据正在占据越来越重要的位置。芯片互联越来越重要主要出于两个原因:

首先,随着大模型的参数规模和训练数据容量快速提升,训练和部署最新的大模型一定会使用分布式计算,因为单机几乎不可能提供运行大模型的足够算力。在分布式计算中,随着分布式计算节点数量提升,理想情况下计算能力是随着计算节点数量线性提升,但是现实中由于不同计算节点间的数据交互需要额外的开销,因此只能接近而无法真正实现计算能力随着计算节点增加而线性增加。换句话说,随着模型规模越来越大,需要的分布式节点数量越来越多,对于这类分布式计算节点间的数据互联需求(带宽,延迟,成本等)也就越来越高,否则这类分布式计算中的数据互联将会成为整体计算中的效率瓶颈。

其次,从芯片层面考虑,随着摩尔定律越来越接近物理极限,目前以chiplet(芯片粒)为代表的高级封装技术正在成为芯片性能提升的重要方式。使用chiplet可以把单个复杂的大芯片系统分成多个小的芯片粒,每个芯片粒都可以用最合适的工艺去单独制造,因此确保复杂的芯片系统可以以合理的成本和良率来制造。对于人工智能大模型而言,用于训练和部署的芯片的规模都非常大,因此chiplet将会成为支持人工智能芯片的核心技术。而在chiplet方案中,多个chiplet之间的数据通信也需要数据互联技术,换句话说高带宽、高密度的数据互联将会成为使用chiplet搭建的人工智能加速芯片中的核心组件。

如上所述,在人工智能时代,数据互联将会成为核心技术,而其中最关键同时也是未来将会有最多发展的数据互联方案,就是用于分布式计算中的中长距离数据互联,以及用于chiplet场景中的超短距离数据互联。

用于分布式计算的数据互联:硅光子技术成为关键

人工智能大模型的分布式计算,包括训练和部署,通常都在数据中心中完成。我们在数据中心数据互联中看到两个重要趋势,即常规长距离通信的进一步规模化,以及新的短距离应用的崛起。

在常规的长距离数据中心数据互联领域,目前为了满足人工智能等应用的需求,互联速度正在快速提升,从今天主流的100/200/400gbps光互联技术快速进展到800gbps光互联技术,而到2026年更是预期会使用上1.6tbps光数据互联。除了数据率提升之外,在人工智能时代,数据中心中每台服务器上对于数据互联的需求也在提升,因此单台服务器会需要更多的光数据互联模块。与传统的分立式光互联模块相比,基于硅光技术的光互联模块能实现更高的集成度:在硅光技术中,波导器件、光栅和调制器等核心模块都可以集成在同一块芯片上,从而可以大大降低光互联模块的成本,这对于人工智能应用来说是一个重要优势,因为训练大模型中需要大量的高带宽数据互联同时也不能提高太多成本。

随着对于数据互联带宽的要求进一步提升,数据中心中的光互联带宽也需要进一步提升,功耗则需要进一步降低,而从这个角度,硅光子技术搭配共封装光学(co-packaged optics,cpo)也会成为下一代光互联带宽和功耗优化的核心技术。

在共封装光学技术中,使用硅光子技术实现的光互联模块和使用传统cmos技术实现的数字逻辑(例如光互联模块后接的网络模块)将会使用高级封装技术集成在同一个封装里——而在传统的实现中,光互联模块和其他cmos芯片并不会集成在同一个封装里。通过使用共封装光学技术,光互联模块和其他芯片之间的互联距离大大缩小,从而减小了光互联模块与电信号接口的信号传输衰减,而这对于超高带宽通信至关重要,因为在这些超高数据率的应用中,真正限制数据率的往往不是光信号,而是光信号在转换成电信号之后的信号衰减(即last-mile问题)。另一方面,通过减小信号衰减,光互联模块的整体功耗可以减小。而共封装光学是基于硅光技术之上的,因为传统的分立式光模块因为体积太大,无法使用共封装光技术和其他芯片集成到同一个封装里。

除了目前已经为人熟知的数据中心中长距离光互联模块之外,在人工智能时代将会崛起的另一个光互联技术将是计算集群中的中短距离光互联。如前所述,在大模型时代,分布式计算将会得到广泛应用,而在具体的大规模分布式计算拓扑结构中,常用的结构就是首先由物理位置相邻的服务器组成一个集群(cluster),在这样的计算集群中执行需要大量数据交换的任务,而计算集群之间再使用长距离数据互联连接在一起以提升计算规模。在这样的计算集群中,目前常规的数据互联是使用铜绞线的互联;但是随着对于数据带宽、延迟和功耗的需求越来越高,使用在计算集群中的光互联正在成为越来越重要的技术路径。

与长距离通信不同,计算集群间的数据互联需要延迟极低、功耗也较低,但是由于互联距离较小(即色散效应较小)因此可以允许更多的波分复用,因此光互联可以考虑多个波分复用信道,每个信道的数据率较小(例如16-64gbps),这样做可以尽可能减小对于数字矫正技术的依赖(使用数字矫正技术将会提升延迟,同时也增加功耗),以满足对于功耗和延迟的需求。此外,在计算集群中,我们会预期光模块和cmos芯片(例如gpu或者hbm)更紧密地集成在一起,因此在共封装光学cpo技术之上,我们可能会看到集成度更高的晶圆级共封装光学(wl-cpo)技术,该技术可以为光学互联模块和cmos芯片之间提供更多互联接口,从而进一步增加通信带宽。

互联,成为核心技术

用于chiplet的超短距离数据互联

除了长距离光互连之外,另一个人工智能时代的重要数据互联技术是用于chiplet之间通信的超短距离数据互联。

互联,成为核心技术

随着摩尔定律接近物理极限,使用chiplet来实现复杂芯片系统已经是业界共识。在人工智能时代,随着对算力需求的进一步提升,单芯片系统预计会用到越来越多的chiplet,同时chiplet之间的互相通信需求也会越来越大。长距离光通信数据互联的主要演进方向是共封装光学这类的新封装工艺,而与之相对地超短距离chiplet数据互联演进更多是依赖电路设计和系统设计。我们可以看到chiplet对于数据互联需求的两大方向:

1 更高的数据带宽,更长的通信距离(从毫米级别上升到厘米级别),更严格的功耗要求

2 更复杂的通信协议需求

先看*个方向,这条需求对于chiplet数据互联的电路设计提出了越来越多的需求。随着chiplet数量越来越多,系统越来越复杂,势必chiplet之间的互连距离会越来越长,这也就意味着互联线上的衰减会更大,会需要更强的收发机;另一方面,随着人工智能对于chiplet间数据通信带宽的要求提升,每个chiplet上的数据互联模块数量也会增加,这就意味着单个数据互联模块的功耗不能过大以满足总功耗的限制。另外,随着数据互联需求的快速提升,单个数据互联模块的芯片面积又不能太大,这样才能满足chiplet上总互联接口的需求。因此,chiplet数据互联电路主要有两大指标,一个是能效比(j/bit),用来衡量数据率与功耗之间的关系;另一个指标则是数据率密度(bit/s/mm),用来衡量数据率与芯片面积之间的关系。随着chiplet数据互联需求的提升,未来我们可望会看到越来越高的数据率密度,同时越来越好的能效比。

第二个方向则是通信协议需求,这里涉及了chiplet之间协同工作的方式,例如在处理器系统中,如何确保chiplet之间缓存一致性的问题。未来随着chiplet系统越来越复杂,传输的复杂度也会提升,未来甚至可能会把目前noc的模式搬到chiplet上。这对于chiplet数据互联ip的设计也是一个新的发展方向。

总体来说,对于chiplet的数据互联来说,随着人工智能相关需求的兴起,未来它可望会成为芯片ip领域一个越来越重要的品类,而具体的技术方向,则会沿着电路设计的优化和系统/传输协议复杂度提升的方向去演进。

(0)

相关推荐

  • 8月30日,长城汽车发布了2023年上半年财报。数据显示,公司上半年实现营收699.7亿元,同比增长12.6%;在营收保持稳定的基础上,长城汽车的归母净利润却大幅下滑75.7%,显示出盈利能力的持续下降。对比同行来看,长城汽车的表现则更让人唏嘘。同为自主品牌车企的比亚迪上半年实现了营收2601.2亿

    2023年9月5日 创投
  • 在入职华为的第30年,最能打硬仗的余承东又升职了,这次是从他战斗了两年的车bu ceo升任为董事长。对于早已是华为常务董事、终端bg和车bu一号位的余承东来说,这次升职其实并不会产生太大波澜。但这次调整发生在一个微妙的节点。在终端业务上,前不久未发先售的华为mate 60系列手机销售火爆,正式宣告华

    2023年9月26日
  • 30亿,成都一支区级母基金招gp,本次遴选将围绕航空、金融、文旅、商务等青羊区主导产业,邀约优质投资机构共同合作,预计形成不超过100亿元的子基金规模。

    2023年6月12日
  • 马斯克疯狂画饼!新车年销500万,机器人能卖100亿个

    马斯克疯狂画饼!新车年销500万,机器人能卖100亿个,干货不足,全靠个人魅力。回顾整场股东大会,除了配合释放往期的内容,关于新车的信息并不多,整体有些乏善可陈,但马斯克的出场足以引爆舆论。

    2023年5月17日 创投
  • a股市场上总是不乏连板的妖股,这几天大涨的京城股份就引起了很多朋友的关注,那么京城股份是做什么的,为什么会大涨呢?这篇文章就和大家简单的聊一聊。 首先就是京城股份是做什么的?公开资…

    2022年1月25日
  • pc市场不死,48年后,pc巨头们却都在寻求如何转型。造神又杀神的pc市场,楼塌了吗?

    2023年5月12日
  • 银行大额存款利率?据悉目前四大行大额存款利率较央行基准利率最高上浮限制50%;股份制银行及上市城商行大额存款利率较基准最高上浮限制52%。央行存款基准利率:一年为1.50%、二年为…

    2022年1月25日
  • 字节着了本地的道,虎嗅获悉,抖音外卖业务已正式升级为与餐饮、酒旅等业务线并行的独立部门,并分设业务、运营、经营策略等子部门,业务和运营一号位均直接向抖音生活服务业务副总裁李炜汇报。

    2023年5月8日
  • 规模超5亿,杭州资本发起一支生物医药成果转化基金,借助杭州资本生态优势、专业优势、地方政府政策优势,依托特色投后增值服务体系,生物医药成果转化基金将帮助生物医药创新企业更好地发掘市场机会。

    2023年3月28日
  • 合成生物被看作是一个有望触发产业革命的风口。风口之下却是血雨腥风,一家激动人心的技术型创业公司,无论多么创新,曾经有多辉煌,都不等于一定能在财务上成功。8月10日,有“合成生物鼻祖”之称的amyris公司在其k8体育官网宣布,已经在美国申请破产,并计划出售其消费品牌,以改善公司的流动资金状况。此前,奇华顿也

    2023年8月31日
  • 过去在交往对象时,主要依靠熟人关系,在确认关系上也是慎之又慎。而如今随着互联网时代的发展,网络各种交友成为了年轻人社交的重要途径。随着需求增…” />

    2023年7月27日
  • 这一边,“酱香拿铁”刷爆朋友圈;那一边,茅台也在lp圈荡起涟漪。投资界-解码lp获悉,日前,招商资本与贵州茅台、茅台(贵州)私募基金管理有限公司共同发起设立规模为55.1亿元的茅台招华(贵州)产业发展基金(简称“茅台招华基金”),在中国证券投资基金业协会完成备案。该基金将主要聚焦在新一代信息技术、生

    2023年9月5日
  • 投资界24h|《私募投资基金监督管理条例(草案)》已审议通过;极兔在港交所提交上市申请;苏州发布千亿级基金集群,极兔速递在港交所提交上市申请,中国快递业或进入“三足鼎立”时代。极兔速递计划募集5亿-10亿美元。

    2023年6月19日
  • 5.2元一杯、1年狂卖16亿,抖音跑出一个「奶茶界李佳琦」,凭借30万粉丝,一年带货16亿元。而且他几乎只卖奶茶,被粉丝视为“奶茶品鉴官”。

    2023年7月12日
  • q2多赚了463亿,互联网大厂率先复苏了

    9月9日,滴滴在k8体育官网发布二季报,至此,国内互联网大厂二季报均已发布完毕。经济观察网记者统计财报数据发现,今年二季度是互联网大厂集体复苏的一个季度,净利润(以下均为调整后净利润)总计比去年同期多了463.52亿元,总收入比去年同期增长了1303亿元。本文统计中的大厂,定义为单季度收入100亿元以上,活

    2023年9月15日
网站地图