为解决 AI 芯片长期面临的「内存墙」困境，半导体封装业界正积极讨论新一代设计方案，将 GPU 或 ASIC 运算单元与高带宽记忆体（HBM）分离封装，再透过光学互连技术加以串接，藉此突破现行架构的物理限制，大幅扩充 HBM 的安装数量。
根据《ZDNet》报导，尽管每一代GPU的运算效能持续大幅跃升，但内存的数据供给速度却远远落后。 HBM 虽提供了更宽的数据通道，但面对 AI 运算需求的爆炸性成长，带宽与传输速度仍捉襟见肘。
随着HBM堆叠层数从12层、16层迈向20层以上，垂直堆叠技术已逼近临界点，工艺难度呈指数级攀升，JEDEC固态技术协会甚至已放宽HBM高度规范以因应需求。
然而，更根本的瓶颈在于空间。 在2.5D封装架构下，GPU芯片周边可容纳HBM的面积成为关键限制条件，使可配置的HBM数量受到物理空间约束。 随着现有封装周边空间逐渐被用尽，GPU 周围已难以再容纳更多 HBM 模块。
为打破这一困境，业界提出将HBM安置于距离GPU数公分之处，采环形排列于GPU周围，或在电路板中央设立独立的HBM区域，再透过光学讯号连接两者。
由于光讯号传输速度远超电讯号，即便物理距离拉长，也不会造成明显的延迟损耗，却能彻底挣脱芯片边长对HBM数量的束缚。
一位韩国大型存储器厂商的研究人员向ZDNet透露：「我们目前正努力扩展HBM的带宽与容量，同时也在与客户讨论如何透过光连接克服GPU的空间限制，以安装更多HBM。」
他表示，相关讨论涵盖多种方案，从充分利用GPU周边空间，到将HBM完全隔离至GPU基板下方皆有涉及，后者需要显著扩大主板尺寸并调整整体形态，目前已与GPU厂商展开讨论，但这些仍属下一代AI加速器的前期研究，尚未定案。
光学互连的构想已有具体技术成果可循。 在2025年的Hot Chips大会上，Celestial AI展示了其光子互连模组，可使用光讯号连接下一代大规模GPU与加速器中的各芯片，并将光学接口布置于ASIC芯片之间，把周边空间留给HBM的电气接口。
一位全球OSAT封装厂高层表示，光学互连已是明确趋势，问题仅在时机。 他预判技术落地将由大到小逐步推进，先从机架间、伺服器间导入光学连接，再进入单板内的芯片间光互连，并指出目前研发速度相当快，芯片间光互连的实现时间点或许并不遥远。
不过，技术挑战同样不容小觑。 一位韩国共同封装光学（CPO）元件开发业者指出，GPU 与 HBM 之间的光学互连，虽与数据中心服务器间的光通讯原理相同，但必须将原本用于大型设备的光电转换技术缩小至芯片级别，「光学元件需要做得更小、整合度更高，技术难度也更大。」
