EN
e星体育网址:双冠!网易互娱 AI Lab 荣获国际视觉大赛两项冠军助力游戏贴图资源自动升级
发布时间:2022-05-21 10:07:12 来源:e星体育网址 作者:e星app下载
产品简介:

  近日,图像修复领域最具影响力的国际顶级赛事New Trends in Image Restoration and Enhancement(NTIRE)结果出炉,网易互娱 AI Lab 包揽了高动态范围成像(HDR)任务全部 2 项冠军。

  近日,图像修复领域最具影响力的国际顶级赛事New Trends in Image Restoration and Enhancement(NTIRE)结果出炉,网易互娱 AI Lab 包揽了高动态范围成像(HDR)任务全部 2 项冠军。NTIRE 比赛每年举办一次,目前已是第七届,主要聚焦图像修复和增强技术,代表相关领域的趋势和发展,吸引了众多来自工业界、学术界的关注者和参赛者,有着非常大的影响力。今年 NTIRE 比赛在计算机视觉领域的顶级会议 CVPR 2022(Computer Vision and Pattern Recognition)上举办。

  高动态范围成像(HDR)任务的赛道 1 和赛道 2 分别有 197 个队伍、168 个队伍报名参加,其中工业界的队伍包括:腾讯、旷视、字节跳动、蚂蚁、小米、快手、京东方、Tetras AI 等,学术界的队伍包括:清华大学、中科院、中国科学技术大学、上海交通大学、中山大学、爱丁堡大学、帝国理工、阿德莱德大学、新南威尔士大学、南丹麦大学等。网易互娱 AI Lab 从众多的强队中脱颖而出,一举斩获该任务的全部 2 项冠军。这是网易互娱 AI Lab 夺得多项国际冠军后,再次登顶国际 AI 竞赛,展现了网易互娱 AI Lab 在人工智能领域的综合实力。

  高动态范围成像(HDR)任务是从存在噪声、过爆/欠曝区域等的多帧输入图像中,恢复一张 HDR 图像。此次比赛的目标是探索高效的 HDR 模型和技术方案,以达到实用化的使用需求。总计有共两个赛道:(1)保真度赛道:在限定模型的计算量(小于 200G GMACs)的基础上,尽可能取得更高的保真度,评价指标是 PSNR-;(2)低复杂度赛道:在超过基线模型指标(PSNR-与 PSNR)的基础上,尽可能取得更低的计算量和更少的耗时,评价指标是 GMACs。

  由于任务的两个赛道均要求训练高效的 HDR 模型,网易互娱 AI Lab 团队凭借以往对 low-level 视觉任务和轻量化网络设计的经验积累,在基线模型的基础上,提出了一个 Efficient HDR 网络,包括高效的多帧对齐和特征提取模块两个模块,同时优化了模型的训练方法。

  (1)在多帧对齐模块,采用 Pixel Unshuffle 操作在增大感受野的同时减少了特征图的大小,大幅减少了后续的计算量。同时,采用深度可分离卷积替代对齐模块中的普通卷积,大幅提高运算效率。

  (2)在特征提取模块,采用深度可分离卷积替代普通卷积,SiLU 激活函数替代 ReLU,设计了一个高效残差特征蒸馏模块(Efficient RFDB)。另外,探索了网络深度与通道数目之间的关系,在限定计算量下层数更深且通道数少的特征提取网络,可以获得更高的评价指标。

  赛道 1 中,网易互娱 AI Lab(ALONG)提出的方法在 PSNR-和 PSNR 上均是第一。如表 1 所示,主要评价指标 PSNR-比第二名高出了 0.172,而第二到第四的 PSNR-差距仅为 0.089,相比第五名之后的队伍更是拉开了 0.45 以上的差距。

  赛道 2 中,网易互娱 AI Lab(ALONG)提出的方法取得了最低的计算量(GMACs)和最少的参数量(Param)。如表 2 所示,在超过基线方法 PSNR 和 PSNR-的基础上,减少了约 40 倍的计算量。相比第二名和第三名有较大领先,仅使用了约一半的计算量。

  此前,网易互娱 AI Lab 已经将比赛中相关技术的应用于游戏贴图资源升级中,实现对游戏贴图、UI 等资源的精度和细节的提升,目前已应用于多个游戏项目当中,为美术节省了大量制作时间。此外,网易互娱 AI Lab 研发了一套智能的游戏贴图资源升级工具iPixel,用户输入一张待处理的贴图资源,便可以针对性的对图片进行无损放大和增强,iPixel 还可以消除噪点并恢复图像中的细节,让图片看起来更加清晰。同时,该工具所提供自定义全图和局部处理功能,可以更好的帮助使用者优化细节,以满足不同贴图不同程度的优化需求。

  网易互娱 AI Lab 成立于 2017 年,隶属于网易互动娱乐事业群,是游戏行业领先的人工智能实验室。目前所研发的技术已应用于网易互娱旗下多款热门游戏,如《梦幻西游》、《哈利波特魔法觉醒》、《阴阳师》、《大话西游》、《荒野行动》、《明日之后》等等。

  公司地址:北京市朝阳区酒仙桥路4号751 D·Park正东集团院内 C8座105室 极客公园

上一篇:格灵深瞳坚持创新与商业落地走差异化人工智能发展路线 下一篇:天翼爱音乐发布AI视频彩铃 加速进入5G+AI数字化时代
推荐产品