作者 : Winbond
出處 : https://www.winbond.com/hq/support/online-learning/articles-item/White-Paper-Revolutionizing-Edge-AI-Computing-with-CUBE?__locale=zh_TW
摘要
本白皮书将带您了解一款彻底改变边缘AI运算的记忆体产品——华邦电子新开发的创新型产品CUBE（客制化超高频宽元件）。CUBE作为一款高频宽、低功耗、小尺寸，以及极具成本效益的记忆体解决方案，可以满足AI应用日益增长的需求，并且可供模组制造商和SoC 厂商直接部署。本文阐述了华邦生产CUBE的目的、CUBE如何满足终端使用者需求与其解决的当前市场痛点，以及适合使用CUBE的客户。
引言
CUBE的宗旨
华邦电子研发并推出了CUBE技术，旨在大幅提升记忆体界面频宽，以满足边缘运算平台上快速增长的AI应用需求。CUBE具备超低功耗和超高性能、小尺寸、高成本效益，从而大幅提升系统能力、回应时间和能源效率。
终端用户需求
CUBE技术能够应用于消费、工业、金融、医疗、政府系统等领域的设备中。近期兴起并风靡各行业的生成式 AI，因为复杂的架构和庞大的模型运算，加重了对系统资源的要求。这些模型包含大量参数，需要相当高的记忆体频宽才能在运行过程中快速提供资料。产生回应和创造内容也需要大量的运算，这给处理资源带来巨大压力，进而影响整体系统性能。此外，储存及处理大量模型负载也导致记忆体的容量需求居高不下。
总体而言，各类AI应用都利用模型的表现力来处理各自领域内复杂的模式和关系，这带动了运算需求和资源需求的提升。例如：
- 电脑视觉应用使用卷积神经网路 （CNN） 进行图像识别，通常使用大模型来学习视觉资料中的复杂模式和特征。
- 自然语言处理（NLP）利用AI模型进行情感分析、语音辨识等，语音辨识需要使用具备大量参数的深度神经网路来提高准确性并理解复杂的语音模式。
- 强化学习应用一般会通过神经网路来表示复杂的策略、函数以及推荐系统，例如串流媒体服务或电商平台的系统。这些应用通常采用大型架构来捕捉并分析用户偏好。
适用CUBE的客户与应用
CUBE技术适用于芯片制造商、模组制造商和系统厂商，因为边缘运算系统而需要记忆体产品和设备。而CUBE具备高频宽、低功耗，以及可客制化的特性。
现有技术的痛点
当前市场问题
为满足AI应用的系统需求，记忆体和模组需要满足多方面的性能需求，而不仅仅是高频宽，还包括低功耗、合理的尺寸，以及散热管理，这些在边缘应用中都至关重要。现有记忆体解决方案有频宽方面的限制，而直接影响了系统的性能。IC引脚数量、资料传输速率和记忆体汇流排宽度等特性，在决定频宽方面也有着重要作用。记忆体和模组工程设计师还须应对设计和制程的限制，这些限制会影响频宽的能力。此外，随著速度提升，信号完整性也是一个关键问题，因为信号的衰减、干扰和反射等因素也会限制频宽可实现的能力。
另一方面，增加频宽可能会造成功耗上升或效率降低，这就会给散热管理带来很大挑战，并影响依靠电池供电的边缘设备运行。此外，一些增加频宽的解决方案会导致记忆体模组体积增大，限制其在小尺寸设备中的应用。
未来将面临的挑战
随著大家日益依赖人工智能，特别是在大模型上的应用，频宽、功耗和尺寸等限制将对所有记忆体技术构成更大挑战。这些不断涌现并快速发展的工作负载需要更高效节能的运算能力来满足需求。
CUBE——创新的解决方案
CUBE 透过增加I/O数量、提高资料速度、支援TSV（可选择的技术）、提供散热优秀的3D架构，解决了传统记忆体IC 和模组解决方案的痛点。作为已获专利的创新性高频宽记忆体界面技术，CUBE能够优化记忆体模组，并提供可以轻松运行大模型AI的性能，传统记忆体的频宽无法满足这些AI的性能需求。在增强频宽的同时，CUBE还降低了功耗。
CUBE加强了前段3D结构（如CoW 和WoW），以及后段2.5D/3D 硅中介层芯片和Fan-out解决方案。另一方面，CUBE还可以轻松应用于新产品的设计中。
CUBE适用于注重功耗的高频宽AI设备，这类设备通常结合了云和边缘算力的优势。CUBE的部署将会开启一个全新时代——能够让高阶AI应用更容易使用，并且能够克服安全问题与成本问题。
CUBE适用于注重功耗的设计，可以在不同平台和应用（包括边缘设备和监控设备）中高效地部署AI模型。
CUBE 的详细介绍
CUBE通过提供高频宽记忆体解决方案来提高整体系统性能，解决现有方案的局限性。此外，CUBE具有出色的效能，功耗低于1pJ/bit。低功耗特性能够使其适用于注重功耗的应用，非常适合替代低效能的记忆体方案。不仅如此，基于3D堆叠以及小尺寸的外形，使CUBE成为携带式设备和空间受限设备的理想之选。CUBE的创新3D架构巧妙地将SoC置上，更加靠近散热器，从而有效缓解边缘AI运算的散热问题。
另一个关键功能是CUBE设计上的弹性。CUBE允许客制化来满足各种应用的特定要求，从而为客户提供量身打造的解决方案。通过导入TSV，CUBE能够进一步提高信号与电源完整性及整体系统效率。
CUBE的灵活设计允许根据特定客户的SoC规格来制订记忆体芯片面积。
容量及主要特性
基于D20制程的CUBE可以设计为1-8Gb/die容量，基于D16制程的为16Gb/die 容量。非TSV和TSV堆叠皆可行，这为各种应用提供了优化记忆体频宽的灵活性。CUBE具有出色的效能，在D20制程中功耗低于1pJ/bit，能够延长设备执行时间、电源消耗更低。
CUBE的IO速度于1K I/O可高达2Gbps，提供从16GB/s 至256GB/s 的频宽。通过这种方式，CUBE能够确保带来高于行业标准的性能提升，并通过uBump或混合键合增强电源和信号完整性。
基于D20标准的1-8Gb/die 产品，以及灵活的设计和3D堆叠，使得CUBE能够适应更小的外形尺寸。TSV的引入也进一步提高了性能，改善了信号完整性、电源完整性和散热性能。
最后，TSV技术以及uBump混合键合可降低功耗并节省 SoC设计面积，从而实现高效且极具成本效益的解决方案。利用 TSV实现高效的3D堆叠，简化了与先进封装技术的整合难度。通过减小芯片尺寸，CUBE能以更短的电源路径以及更紧密、更轻巧的设计来降低成本、提高能效。
CUBE的全面发展与使用
华邦积极开展与IP设计公司、代工厂和OSAT等业内伙伴的合作，促进全面生态系统发展。
结论
CUBE的高频宽、低功耗和先进的技术促进了高效的资料传输，这将帮助边缘AI的整合和进一步发展。
CUBE以更高的频宽和更高的效能、更快的反应时间、可客制化特性以及小尺寸，在AI应用潜力方面发挥重要作用，能够让强大的AI从云落地至边缘设备和混合云应用中
CUBE的应用范围还包括边缘运算和消费电子产品。
CUBE代表了边缘 AI运算方式的转变，为 AI应用不断变化的需求提供了全面的解决方案。CUBE的高效能、高性能和高灵活性将会塑造AI驱动技术的新未来。
更多资讯
如需更多有关华邦电子CUBE产品、应用、或服务的需求，请至华邦技术支援留下您的资料，华邦将会立即连络您。