从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)

news2024/3/4 5:49:54

从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)

作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

    想要了解对比聚类,首先应该清楚对比学习的整个过程。最经典的对比学习的文章是Hinton团队提出的SimCLR,该方法首先将一个实例(图像)变换成两种不同的增广实例(图像),然后用神经网络训练得到投影表示,用余弦相似性求出两两投影表示之间的相似性,并最大化相同实例投影表示之间的一致性。而对比聚类(CC)完全借鉴SimCLR的思想,唯一的区别是之前的对比学习是实例层面的,横向进行对比,而CC则添加了一个聚类层面的对比学习,纵向进行对比。通过同时最小化两个层面的损失函数,最终得到聚类层面上的网络权重,进而得到划分结果。

1. 对比学习

2. 对比聚类

CC创新:

  • 一方面,从聚类的角度,受益于“标签即表示”及“列空间对应类别表示空间”的洞见,本文提出的方法无需所有数据输入后才能进行聚类,而是采用在线的方式实时对当前数据进行聚类隶属预测,适用于大规模在线场景和流式数据处理。大量实验表明,提出的方法在CIFAR10,CIFAR100等数据集上比当时最优聚类算法提升精度30%以上。
  • 另一方面,从对比学习角度,该工作是最早的面向任务的对比学习方法,而不再是流行的任务无关无监督表示学习范式。
  • 此外,本文提出的算法也可认为是一种新的引入聚类性质从而增强表示学习能力的对比学习方法,为对比学习研究领域引入新的洞见。
  • 本文的整个idea非常优雅、简洁及自洽。相对于最新的SimCLR等对比学习算法,本文提出的算法仅需在考虑数据特征行空间对比学习的同时再考虑列空间的对比学习即可。

思考:

    对比聚类中用红色方框框出来的就是不同于SimCLR的地方,如果去掉红框的内容,那就完全是SimCLR。以往都是在行空间上进行对比学习,CC的创新之处在于引入列空间上的对比学习(矩阵大小为:样本数*聚类个数)。但列空间上的对比学习的损失函数与SimCLR完全一致,没有任何改进。对比学习主要目的是最大化同一实例之间的相似性,而最小化不同实例之间的相似性。总体来说,该算法最适用于图像类型的数据,因为刚开始涉及到随机变换函数是对图像进行一系列变换操作。本人理解有限,欢迎指正。

3. 采用最近邻进行语义聚类(SCAN)

    在没有真实标注的情况下,我们是否能自动将图像划分为语义意义上的簇?无监督图像分类在计算机视觉领域仍然是一个重要的开放的挑战性任务。最近有几种方法试图以端到端的方式解决这个问题。在这篇论文中,通过两步的方法进行聚类,其中特征学习和聚类是分开进行的。首先,利用表征学习的自监督任务来获取语义特征。其次,在可学习的聚类方法中,使用获得的特征作为先验。在此过程中,去掉了依赖于底层特征的聚类学习能力,这在当前的端到端学习方法中是存在的。具体来看该算法Semantic Clustering by Adopting Nearest neighbors (SCAN)。

4. 参考

[1] Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton. A Simple Framework for Contrastive Learning of Visual Representations, ICML, 2020.

Paper: http://proceedings.mlr.press/v119/chen20j.html

Code: https://github.com/google-research/simclr

[2] Yunfan Li, Peng Hu, Zitao Liu, Dezhong Peng, Joey Tianyi Zhou, Xi Peng, Contrastive Clustering, AAAI, 2021.

Paper: http://pengxi.me/wp-content/uploads/2020/12/2021AAAI-CC.pdf

Code: https://github.com/XLearning-SCU/2021-AAAI-CC

彭玺老师报告视频(从第21分钟开始看):https://www.bilibili.com/video/BV1Ny4y127v6

[3] CCF A类会议AAAI 2021论文收录结果出炉:我院彭玺教授有两篇论文入选 http://cs.scu.edu.cn/info/1246/15202.htm

[4] The Illustrated SimCLR Framework - Amit Chaudhary https://amitness.com/2020/03/illustrated-simclr/

[5] Van Gansbeke W., Vandenhende S., Georgoulis S., et al. SCAN: Learning to Classify Images Without Labels. ECCV 2020. 

Paper: https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123550273.pdf

Code: https://github.com/wvangansbeke/Unsupervised-Classification

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://nwjs.net/news/141850.html

如若内容造成侵权/违法违规/事实不符,请联系七分地网进行投诉反馈,一经查实,立即删除!

相关文章

演讲实录 | DevOps 2021年度洞察

2021DevOpsDays上海站闪耀落幕4月17日的DevOpsDays峰会上海站圆满落幕,众多业内大咖及风云人物悉数亮相,为大家分享了DevOps、精益、敏捷的最新落地实践及案例。全量PPT下载,提取码:3fshhttps://pan.baidu.com/share/init?surlVb…

2021年, 别再只沉迷于GANs 和 Transformer,GNN爆发已经从CV蔓延到物理化学

作者:Sergei Ivanov编译:周寅张皓、梦佳、贾伟GNN,又可以被理解为Neural Networks for Graph,由于图非欧结构的限制,如何设计图数据上的神经网络一直困扰着学界,因此在数年前该领域一直较为沉寂。但近年来&…

新书上市 | 学校没有教的科学写作指南

日常生活中常有这样的情况:有的人埋头工作,但不擅长总结写报告,工作进展和成果无法传达给他人;有的人长于讨论,会议上很活跃,但写不好讨论纪要,无法将讨论的成果积累下来。写作本应是帮助人脑表…

智能,万亿维空间中的求解

作者:Terry J. Sejnowski编译:贾伟、梦佳1884年,Edwin Abbott 在讽刺小说《平面国》中描述了这样一个世界,这个国家生活在一个二维世界中,平面国的人们只能够理解二维数学;但其中一个方块绅士做了一个关于球…

新书上市 | 世界名校数据挖掘经典《斯坦福数据挖掘教程(第3版)》

题图 | 作者为 Scott Ullman《斯坦福数据挖掘教程(第3版)》上架之后,这是我们第一次整篇文章介绍这本书。这本书相当受欢迎(前两个版本累计销量超过 5 万册),尤其是受学校青睐——在此也说声抱歉&#xff…

智源唐杰主编的IEEE Transactions on Big Data期刊被SCI收录 | AI日报

智源唐杰主编的IEEE Transactions on Big Data期刊被SCI收录今日,IEEE Transactions on Big Data (简称:IEEE TBD)被SCI收录。IEEE TBD成立背景:随着人类社会进入数字化时代,产生的数据也在爆发式增长,这些…

Python 工匠:在边界处思考

这是 “Python 工匠”系列的第 15 篇文章。[点击原文链接查看所有]2016 年,Linux 操作系统的创造者 Linus Torvalds 参加了一场 TED 访谈节目[1]。整个节目的前半部分,主要是他在讲如何在家光着膀子写出 Linux 的故事,没有涉及太多编程相关的…

ImageNet的top-1终于上了90%,网友质疑:用额外数据集还不公开,让人怎么信服?...

转载自:机器之心近日,谷歌大脑研究科学家、AutoML 鼻祖 Quoc Le 发文表示,他们提出了一种新的半监督学习方法,可以将模型在 ImageNet 上的 top-1 准确率提升到 90.2%,与之前的 SOTA 相比实现了 1.6% 的性能提升。这一成…

《Adobe Acrobat DC经典教程》—第1章1.11节在阅读模式下查看PDF文件

本节书摘来自异步社区《Adobe Acrobat DC经典教程》一书中的第1章1.11节在阅读模式下查看PDF文件,作者【美】Lisa Fridsma(丽莎 弗里斯玛) , Brie Gyncild(布里 根希尔德),更多章节内容可以访问云栖社区“异步社区”公…

opencv python 多帧降噪算法_防抖技术 | OpenCV实现视频稳流

在这篇文章中,我们将学习如何使用OpenCV库中的点特征匹配技术来实现一个简单的视频稳定器。我们将讨论算法并且会分享代码(python和C版),以使用这种方法在OpenCV中设计一个简单的稳定器。 视频中低频摄像机运动的例子 视频防抖是指用于减少摄像机运动对…

被嫌弃的贝叶斯派的逆袭

多数人第一次听说贝叶斯定理应该是在中学课堂上。那个公式看起来并不复杂,在一众花里胡哨的考点中显得平平无奇。但是很快,我们就知道了什么叫深藏不露。从高校教材到研究实战,贝叶斯这三个字频繁地出现在信息科学的重要议题中,它…

ICLR 2021论文接收统计出炉!Top20 机构,国内仅清华在榜!

转载自:AI科技评论ICLR 2021于前些天正式放榜,本次ICLR 2021一共有2997篇有效论文投稿,最后一共860篇被接收,录取率达到了28.7%,相比去年的26.5%有提升,与其他一些AI顶会大幅降低接收率相比,ICL…

为什么 Linux 和 macOS 不需要碎片整理

为什么这么设计(Why’s THE Design)是一系列关于计算机领域中程序设计决策的文章,我们在这个系列的每一篇文章中都会提出一个具体的问题并从不同的角度讨论这种设计的优缺点、对具体实现造成的影响。如果你有想要了解的问题,可以在…

GPT「高仿」问世:GPT-Neo,最大可达GPT-3大小,已开源 | AI日报

GPT“高仿”问世:GPT-Neo,最大可达GPT-3大小,已开源近日,有个名叫 EleutherAI的团队(创始成员为:Connor Leahy,Leo Gao和Sid Black),宣布推出GPT-Neo开源项目&#xff0c…

Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images

下面内容来自智源研究院CVPR2021预讲华为诺亚专场 1、深度学习的图像去噪方法面临的挑战 当前方法主要包括三类: 基于监督学习的方法:使用 noisy-clean 图像对进行训练(DnCNN, FFDNet, CBDNet, SGNet)。这类方法的难点在于&…

《Pro/ENGINEER野火版5.0从入门到精通》——1.3 体验Pro/E野火版5.0

本节书摘来自异步社区《Pro/ENGINEER野火版5.0从入门到精通》一书中的第1章,第1.3节,作者 暴风创新科技,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 体验Pro/E野火版5.0 Pro/E野火版5.0与其他软件类似,操作程序时…

CVPR 2021评审出炉,评审员奇葩意见遭热议 | AI日报

CVPR 2021评审出炉,评审员奇葩意见遭热议1月18日,CVPR 2021的评审结果出炉。根据CVPR 2021 程序主席、FAIR研究科学家Georgia Gkioxari近日在推特上的发文数据:今年共有7015篇有效提交论文,每篇论文都至少有3个评审结果&#xff0…

书评 | 9 年码龄工程师读 Android 经典

作为一个码龄 9 年的 Android 开发工程师,因业界大前端趋势,从18 年开始更多的时间专注在 React Native 上,Android 相关新技术日渐生疏了。Kotlin 和 Jetpack 等新技术一直缺乏上手了解的机会,是时候通过一本书体系化地了解一下相…

stylegan2 示例命令fused_bias_act.cu环境配置异常(无法打开包括文件: “tensorflow/core/framework/op.h”

在python运行stylegan2示例时,运行过程中,触发fused_bias_act.cu中的异常,可以看到fused_bias_act.cu中实际上是用c/c写的实现代码. 仔细看异常信息会发现这句话 无法打开包括文件: “tensorflow/core/framework/op.h”: 解决策略 1.首先确保你安装了c/c工具集,版本号可以有些…

中科院计算所沈华伟:GNN发展简史,诟病才是成长动力

文:周寅张皓图神经网络(Graph Neural Network)的应用在近年来蓬勃发展,但同时对其质疑也从未消失。诸如对与大规模图数据的存储问题,表达能力问题,以及数据集的规范问题引发了许多讨论。中科院计算所沈华伟…