学院：集成电路学院

作者：韩丽霞

成果简介：

新型视图合成技术是一种用于创建沉浸式增强现实与虚拟现实体验的基础性技术。其目标在于利用有限的原始图像，从任意摄像机视角生成逼真的场景图像。其中，神经辐射场技术被公认为是最先进的解决方案。不过，要在低功耗设备上实现实时神经辐射场渲染仍然具有挑战性，因为这种技术需要大量的内存来进行哈希编码处理，同时还需要复杂的多层感知机算法来处理数据。在这项研究中，我们提出了Instant-CIM技术——一种完全基于芯片内部的计算架构，能够高效地实现神经辐射场渲染。在算法层面，Instant-CIM采用了一种空间自适应机制：根据区域的密度和梯度信息来确定每个区域应使用的哈希编码级别。这种方式取代了传统的固定编码级别分配方式，只会在那些需要更高编码精度的区域启用更复杂的编码流程。在硬件层面，Instant-CIM采用了基于内存的哈希处理引擎，通过3D场景网格分解和Z轴排序机制来实现高效的哈希查询与插值运算。此外，该技术还采用了稀疏多层感知机架构，通过差分处理方式来优化计算效率，并通过可调节的跳过机制充分利用空间上的相似性。通过对各种合成数据的测试结果表明，与现有的最先进神经辐射场架构相比，Instant-CIM在渲染速度方面提升了3.0到4.9倍，而在能效方面则提升了8.6到33倍。

论文链接：

https://ieeexplore.ieee.org/abstract/document/11298446

期刊名：IEEE Transactions on Computers