首页 信息互动 > 内容

用于设备AI的DNN模型代码协同优化工具

时间:2023-01-10 19:36:21 来源:
导读 CoCoPIE推出了XGen,这是第一个共同优化深度神经网络(DNN)模型和代码的AI加速工具链,使AI模型在设备上使用时更小,更快,同时保持准确性。...

CoCoPIE推出了XGen,这是第一个共同优化深度神经网络(DNN)模型和代码的AI加速工具链,使AI模型在设备上使用时更小,更快,同时保持准确性。当前版本主要集中在智能手机上。这是CoCoPIE努力清除终端设备上AI部署的长期障碍的第一个重要里程碑。

现在,云中的 DNN 技术已经显示出其潜力,近年来直接在终端设备上部署 AI 模型的市场需求变得越来越强劲。服务提供商和设备制造商希望在终端设备上运行AI模型,以便为客户提供更好的体验并节省运营成本。有时,当涉及到数据隐私以避免数据传输到云或数据局部性以避免由于云连接而导致的服务故障时,必须在终端设备上部署人工智能。然而,在终端设备上部署人工智能具有挑战性。目前重要的AI模型大多是为云部署而设计的,具有数十亿个参数和操作,依靠云服务器的高计算能力来运行它们。在终端设备上运行模型需要减少模型大小和模型执行时间。现有工具具有孤立的解决方案,这些解决方案可以优化AI模型大小或执行速度,从而导致结果不令人满意,并使AI功能在很大程度上锁定在设备上。

CoCoPIE XGen 通过其在 AI 模型的压缩、编译和运行时中的专有协同设计技术解决了这一挑战。该技术以高比率压缩AI模型,同时仍保持模型表示友好,以实现高效的代码生成。同时,它定制生成的代码,以最佳方式将压缩模型映射到硬件。

借助 CoCoPIE XGen,输入 AI 模型可以变成可直接部署的代码,具有更大的加速、更小的尺寸和显着的节能,同时保持模型的准确性让用户满意。CoCoPIE XGen是一个低代码工具。用户只需通过其直观的用户界面输入他们的 AI 要求;然后,XGen 会自动进行模型和代码协同优化,并生成所需的代码,准备集成到最终应用程序中。在第一个版本中,它支持与Android和iOS应用程序的集成。未来版本将支持更多目标平台和系统。CoCoPIE XGen还提供完全可控性,以便用户可以根据需要完全自定义优化。

CoCoPIE XGen 的卓越优化功能使得在现成设备上实现无处不在的 AI 部署成为可能,而无需依赖专用硬件支持。一个例子是跨平台实时视频超分辨率(CRSR),这是一种人工智能技术,通过实时提高分辨率来增强智能手机上的低分辨率视频。在这种CoCoPIE技术出现之前,超分辨率只能在大型服务器或高端智能手机上通过特殊的硬件支持来实现。得益于CoCoPIE XGen的卓越优化,CRSR提供了首创的解决方案,可在所有当前智能手机(包括低端智能手机)上实时提供高质量的视频。

通过消除终端设备上AI的关键障碍,CoCoPIE XGen使企业能够利用设备AI的巨大市场,这是他们无法企及的。

“通过CoCoPIE XGen,企业可以显着提高其在终端设备上的AI能力,”CoCoPIE联合创始人兼首席执行官李晓峰博士说。“智能手机是消费者日常生活中必不可少的一部分。通过消除部署障碍,CoCoPIE XGen的首次发布将有助于释放移动AI的巨大市场潜力。我们很高兴与我们的合作伙伴合作,通过CoCoPIE XGen提高他们的竞争优势,并加速快速增长的设备AI行业。

CoCoPIE XGen的第一个版本是一个本地软件工具集。用户可以在自己的机器上安装和使用它,因此无需担心隐私和数据机密性。XGen 可以部署在单个计算机上供个人使用,也可以部署在计算机群集上以供扩展使用。

标签: