前$NVDA工程师访谈

他暗示 $NVDA 现在也在推理方面，开始定制 GPU 和它们的服务器级芯片，更加关注变换器和大型语言模型。他还提到推理中内存的重要性。 他认为，如果一个 $NVDA 竞争对手的性能是 $NVDA 的 1-2 倍，那还不够，因为必须要好 5-10 倍，企业才愿意放弃 CUDA 并围绕它构建软件生态系统。 目前机器人技术的主要问题是延迟，因为机器人必须实时快速响应，以及电力。他认为这两个问题在未来 5-7 年内是可以解决的。 他提到目前 HBM 对 SK 海力士和 $MU 至关重要。他还提到内存有多贵，正如他所引用的， $NVDA 的芯片成本中几乎有 60-70%纯粹来自这些内存。 来自 $NVDA 的 GTC 会议，他的看法是，在接下来的 3-4 年里，有一件事会持续提升性能，那就是芯片上拥有更多的内存。他相信，在接下来的 3-4 年里，内存行业的公司将会显著受益。 NVDA 英伟达 HBM MU 海力士