CVPR 2017精彩论文解读:显著降低模型训练成本的主动增量学习

简介:

雷锋网 AI 科技评论按:计算机视觉盛会 CVPR 2017已经结束了,雷锋网 AI 科技评论带来的多篇大会现场演讲及收录论文的报道相信也让读者们对今年的 CVPR 有了一些直观的感受。

论文的故事还在继续

相对于 CVPR 2017收录的共783篇论文,即便雷锋网(公众号:雷锋网) AI 科技评论近期挑选报道的获奖论文、业界大公司论文等等是具有一定特色和代表性的,也仍然只是沧海一粟,其余的收录论文中仍有很大的价值等待我们去挖掘,生物医学图像、3D视觉、运动追踪、场景理解、视频分析等方面都有许多新颖的研究成果。

所以我们继续邀请了宜远智能的刘凯博士对生物医学图像方面的多篇论文进行解读,延续之前最佳论文直播讲解活动,从8月1日起陆续解读4篇不同的论文。

刘凯博士是宜远智能的总裁兼联合创始人,有着香港浸会大学的博士学位,曾任联想(香港)主管研究员、腾讯高级工程师。半个月前宜远智能的团队刚刚在阿里举办的天池 AI 医疗大赛上从全球2887支参赛队伍中脱颖而出取得了第二名的优异成绩。

最佳论文直播讲解 #03

分享论文:「Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally」

时间:8 月 1 日 (周二) 20:00

地点: AI 研习社微信群

论文简介

刘凯博士要为我们解读的生物医学图像论文中的第一篇是「Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally」(用于生物医学图像分析的精细调节卷积神经网络:主动的,增量的)。它主要解决了一个深度学习中的重要问题:如何使用尽可能少的标签数据来训练一个效果有潜力的分类器。

论文简介:用卷积神经网络(CNNs)解决生物医学图像分析问题的方法不仅引发了密切注意,它的影响范围也越来越大。然而这种方法要获得全面的成功,最大的阻碍之一就是缺乏生物医学图像方面的大规模有标注数据集。为生物医学图像做人工标注不仅单调乏味、耗费时间,而且具有这些专业知识技能的医生所需费用也很高,这就导致大规模有标注数据集往往是无法得到的。为了显著降低图像标注费用,这篇论文提出了一种新颖的方法“AFIT”(active, incremental fine-tuning 主动增量精细调节),它把主动学习(active learning)和迁移学习(transfer learning)自然地整合进了同一个框架中。

在 AIFT 中,一个经过预训练的 CNN 会在无标注图像中寻找“有价值”的图像让专家进行标注,然后新标注的图像会参与到 CNN 的精细调节中来;这样,CNN 在逐次迭代中能够借助新标注的图像样本持续进行精细调节,CNN 在目标领域的表现也就以增量的方式得到了增强。论文通过三种不同的生物医学图像应用对所提的方法进行了评估,结果表明这种方法至少可以减少一半的标注费用。这样的效果就是所提的 AIFT 方法中先进的主动学习和增量能力的优势的最佳体现。

观看直播或加群

长按识别或手机扫描下方二维码,进入 AI研习社(公众号:okweiwu)微信交流群,8月1日(周二)晚八点,活动准时开始!

CVPR 2017精彩论文解读:显著降低模型训练成本的主动增量学习

CVPR 2017相关学术内容的报道并未结束,请心系学术的各位继续关注雷锋网 AI 科技评论的后续文章。

相关文章:

CVPR 2017大会主席张正友博士:做研究要静得下心,沉得住气|CVPR 2017

年度最精彩研究,CVPR 2017六篇最佳论文介绍(附打包下载)| CVPR 2017

CVPR现场直击:一文尽览最顶级的CV+学术盛会!| CVPR 2017

本文作者:杨晓凡

本文转自雷锋网禁止二次转载,原文链接

相关文章
|
2月前
|
机器学习/深度学习 算法 安全
FRCNN来袭 | Faster RCNN与FCN永不遗忘,联邦学习+边缘数据既保护隐私也提升性能
FRCNN来袭 | Faster RCNN与FCN永不遗忘,联邦学习+边缘数据既保护隐私也提升性能
59 0
|
20天前
|
自然语言处理 物联网 异构计算
比LoRA还快50%的微调方法来了!一张3090性能超越全参调优,UIUC联合LMFlow团队提出LISA
【4月更文挑战第3天】伊利诺伊大学香槟分校和LMFlow团队推出LISA,一种新型微调技术,用于解决大型语言模型的内存消耗问题。LISA基于层重要性采样,随机冻结中间层,降低内存使用,同时提供比LoRA更快的训练速度和更高性能。实验显示,LISA在相似或更低的GPU内存消耗下,超越LoRA和全参数调优。该方法提高了资源受限环境下的微调效率,有望成为LoRA的有效替代,但仍然面临内存限制和随机性影响的问题。
48 4
比LoRA还快50%的微调方法来了!一张3090性能超越全参调优,UIUC联合LMFlow团队提出LISA
|
机器学习/深度学习 算法 搜索推荐
阿里云机器学习平台PAI与香港大学合作论文入选INFOCOM 2022,有效减少大规模神经网络训练时间
近日,阿里云机器学习平台 PAI 与香港大学吴川教授团队合作的论文”Efficient Pipeline Planning for Expedited Distributed DNN Training”入选INFOCOM(IEEE International Conference on Computer Communications) 2022,论文提出了一个支持任意网络拓扑的同步流水线并行训练算法,有效减少大规模神经网络的训练时间。
阿里云机器学习平台PAI与香港大学合作论文入选INFOCOM 2022,有效减少大规模神经网络训练时间
|
1月前
|
人工智能 物联网 开发者
田渊栋等人新作:突破内存瓶颈,让一块4090预训练7B大模型
【2月更文挑战第18天】田渊栋等人新作:突破内存瓶颈,让一块4090预训练7B大模型
53 2
田渊栋等人新作:突破内存瓶颈,让一块4090预训练7B大模型
|
10月前
|
机器学习/深度学习 存储 人工智能
ICLR 2023 Spotlight|节省95%训练开销,清华黄隆波团队提出强化学习专用稀疏训练框架RLx2
ICLR 2023 Spotlight|节省95%训练开销,清华黄隆波团队提出强化学习专用稀疏训练框架RLx2
124 0
|
11月前
|
机器学习/深度学习 人工智能 算法
模型部署系列 | 一文告诉你AI模型QAT量化遇到震荡问题应该如何解决呢?(一)
模型部署系列 | 一文告诉你AI模型QAT量化遇到震荡问题应该如何解决呢?(一)
470 0
|
11月前
|
机器学习/深度学习 人工智能 算法
模型部署系列 | 一文告诉你AI模型QAT量化遇到震荡问题应该如何解决呢?(二)
模型部署系列 | 一文告诉你AI模型QAT量化遇到震荡问题应该如何解决呢?(二)
176 0
|
11月前
|
机器学习/深度学习 自然语言处理 数据可视化
泛化神器 | 李沐老师新作进一步提升模型在多域多的泛化性,CV和NLP均有大幅度提升(文末获取论文)
泛化神器 | 李沐老师新作进一步提升模型在多域多的泛化性,CV和NLP均有大幅度提升(文末获取论文)
167 0
|
11月前
|
人工智能 搜索推荐 算法
AAAI 2023杰出论文一作分享:新算法加持的大批量学习加速推荐系统训练
AAAI 2023杰出论文一作分享:新算法加持的大批量学习加速推荐系统训练
220 0
|
11月前
|
机器学习/深度学习 人工智能 运维
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架
ECCV 2022 Oral | 无需微调即可推广,上交大、上海人工智能实验室等提出基于配准的少样本异常检测框架