it极速网

it极速网

深圳大学和特拉维夫大学最新成果,AI编辑人脸终于告别P一处而毁全图

来源:IT之家  发布时间:2022-02-17 02:15  阅读量:12317   

比如改变人的发型时把背景弄乱,

深圳大学和特拉维夫大学最新成果,AI编辑人脸终于告别P一处而毁全图

加胡子时影响到头发,甚至整张脸都不太像是同一个人了:

这个有了注意力机制的新模型,修改图像时清清爽爽,完全不会对目标区域之外产生任何影响。

具体怎么实现。

引入注意力图

此模型名叫 FEAT,它是在 StyleGAN 生成器的基础上,引入注意力机制。

为了只对目标区域进行修改,FEAT 在此引入了注意图,将源潜码获得的特征与移位潜码的特征进行融合。

首先,给定一张具有 n 个特征的图像如上图所示,浅蓝色代表特征,黄色部分标记通道数量然后在文字提示的指导下,为所有能预测相应偏置的样式代码生成映射器

其中,注意力模块的架构如下:左侧是用于特征提取的 StyleGAN2 生成器,右为用于制作注意图的 Attention Network。

不修改目标区域之外的图像

在实验对比环节中,研究人员首先将 FEAT 与最近提出的两种基于文本的操作模型进行比较:TediGAN 和 StyleCLIP其中 TediGAN 将图像和文本都编码到 StyleGAN 潜空间中,StyleCLIP 则实现了三种将 CLIP 与 StyleGAN 相结合的技术

可以看到,FEAT 实现了对面部的精确控制,没有对目标区域以外的地方产生任何影响而 TediGAN 不仅没有对发型改变成功,还把肤色变暗了在第二组对表情的改变中,又把性别给改了

StyleCLIP 整体效果比 TediGAN 好很多,但代价是变得凌乱的背景接着将 FEAT 与 InterFaceGAN 和 StyleFlow 进行比较

一作侯贤旭来自深圳大学。

他本科和硕士毕业于中国矿业大学地理学和地质学专业,博士毕业于诺丁汉大学计算机科学专业,主要研究方向为计算机视觉和深度学习。

论文地址:

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。

网友吐槽

发表

推荐阅读

图文推荐

友情链接

硬件互联旅游教育汽车房产娱乐财经电子生活

Copyright © 2002-it极速网版权所有 网站地图 备案号:鲁ICP备16043915号-2

本站部分资源来源于网络,版权归原作者或者来源机构所有,如作者或来源机构不同意本站转载采用,请通知我们,我们将第一时间删除内容。本站刊载文章出于传递更多信息之目的,所刊文章观点仅代表作者本人观点,并不意味着本站赞同作者观点或证实其描述,其原创性及对文章内容的真实性、完整性、及时性本站亦不作任何保证或承诺,请读者仅作参考。