微信
腾讯微博
新浪微博
川北快讯
用来解决目标检测无法用到图像级标签的问题
时间: 2022-01-17 01:10   来源:IT之家   阅读量:4046   

,目标检测种类多达 20000+ 种的 AI,你见过吗。不仅准确揪出每个物体所在的位置,分类效果非常准确:

用来解决目标检测无法用到图像级标签的问题

插画版赛博恐龙也没问题:

甚至还能检测杂志封面甚至漫画中的物体!

一起来看看。

可识别跨次元物体

这篇论文提出了一种新的名为 Detic 的方法,用来解决目标检测无法用到图像级标签的问题。

此前的目标检测方法,通常是一个检测框里一个物体:

也有一些研究想出了一种新方法,搞个弱监督学习,试图让 AI 自己学会将图像级的标签,去对应锚定框里面有什么物体,但实际上这种方法的效果也不太好。

Detic 的方法是采用目标检测数据和图像标签数据对 Detic 进行混合训练。

其中,在用目标检测数据训练 Detic 时,同时对图像分类模块 W 和目标检测模块 B 进行训练,但只用标签数据对图像分类模块 W 进行训练。

训练的数据集采用的是 ImageNet,事实证明模型在训练后无需微调,就能很好地适应到 LVIS 等数据集,相对之前的一些模型都达到了不错的效果:

这立刻吸引了不少网友来玩。

在线 Demo 可玩

有网友用梵高的世界名画试了试。

放大一点来看,艺术加工后的椅子,人和桌子也能被识别:

还有用二次元的龙猫进行识别的,除了龙猫本身被错认成猫头鹰以外,其他的雨伞和靴子都认得不错:

我们也随便用一个钟表柜的照片试了试,在线 Demo 的检测时间稍微有点久,大约需要 6 分钟左右,但效果还不错:

细看的话还是能发现一些瑕疵,例如把部分手表误认成转速计,以及怀表和时钟,以及也有一两块手表没有被检测出来。

不过,即使在二次元和插画中,这个 AI 能识别的物体,至少也需要在真实世界出现过。

例如,超出 20000 个分类的物体,如喷火龙和皮卡丘,就不在 AI 的监测范围内了,全部被认成了猴子:

将这些二次元角色也加入 AI 训练数据集中,不知能否取得同样的检测效果。

这张照片是女朋友拍的

Rohit Girdhar,Armand Joulin 和 Ishan Misra,Meta AI 的研究科学家,主要研究方向是机器学习和计算机视觉,此前 Armand Joulin 曾经在李飞飞的实验室进行博士后工作。

Philipp Krhenbühl,得克萨斯大学奥斯汀分校助理教授,Xingyi Zhou 的导师,研究方向是计算机视觉,机器学习和计算机图形学

感兴趣的小伙伴,赶紧试试你想玩的漫画,或是杂志插画吧~

Demo 地址:点击打开

论文地址:点击打开

参考链接:一,二

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

川北快讯
①凡注明"来源:XXX(非在线)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,本网不承担此类稿件侵权行为的连带责任。
②本站所载之信息仅为网民提供参考之用,不构成任何投资建议,文章观点不代表本站立场,其真实性由作者或稿源方负责,本站信息接受广大网民的监督、投诉、批评。
③本站转载纯粹出于为网民传递更多信息之目的,本站不原创、不存储视频,所有视频均分享自其他视频分享网站,如涉及到您的版权问题,请与本网联系,我站将及时进行删除处理。
ad888

ad999
川北快讯