智能,万亿维空间中的求解

news2024/3/3 18:18:29

作者:Terry J. Sejnowski

编译:贾伟、梦佳

1884年,Edwin Abbott 在讽刺小说《平面国》中描述了这样一个世界,这个国家生活在一个二维世界中,平面国的人们只能够理解二维数学;但其中一个方块绅士做了一个关于球体的梦,在那个梦中,他发现世界的可能性要比平面国里任何人所想象的都要大。但他醒了告诉别人时,没有人能够理解并相信他,最终他因为蛊惑人心被投入了监狱。

 

我们生活在三维世界中,可以很容易想象一维、二维和三维的空间。但是如何来想象四维、五维,甚至一千亿维空间呢?

 

GPT-3有1750亿个参数,也即它是在一个1750亿维的空间中进行求解;而我们大脑有亿万个维度,当我们生活在这样的空间当中,去看3维的世界,会是什么感觉?

 

 

加州大学圣迭戈分校生物科学教授 Terry J. Sejnowski 在美国顶刊PNAS发表的一篇论文《The unreasonable effectiveness of deep learning in artificial intelligence》,从一种完全不同的视角来看当下深度学习的优劣,他认为当下深度学习的优点在于高参数空间,这与人脑有共通之处;但另一方面,生物大脑通过数亿年的进化,在万亿级维度空间中所学习到的方法,依然值得人工智能研究者借鉴。

Terry强调:

我们才刚刚开始探索超高维空间中的表示和优化。也许有一天,对深度学习网络的结构进行分析,我们将得出理论上的预测,并揭示出对智能本质的深刻见解。

 

对于真实世界,或许并不仅仅存在一个函数来描述,也许我们尚未探索在高维空间中仍然存在的大规模并行算法的世界,这远远超出我们所居住的三维世界,以及数字计算机的一维指令序列的直觉。

 

就像平面国的方块绅士一样,我们能够从更高维中,瞥见一个远远超出旧视野的新世界。

 

 

Terry J. Sejnowski,1947年生人,加州大学圣迭戈分校生物科学教授,美国索尔克生物研究所计算神经生物学实验室主任,美国艺术与科学院院士,美国工程院院士,美国国家发明家科学院院士,美国医学院院士,美国科学院院士。在神经网络和计算神经科学方面的研究具有开创性。

 

第一届NeurIPS研讨会于1987年在丹佛科技中心举行。600名与会者来自多个跨学科领域,包括物理学、神经科学、心理学、统计学、电子工程、计算机科学、计算机视觉、语音识别和机器人学,但他们都有一个共同点:他们都致力于解决那些用传统方法无法轻易解决的难题,而且他们往往是自己学科的佼佼者。

 

现在回想起来,33年后,正是这些“格格不入”的人把他们研究的领域推进到由大数据集组成的高维度空间,这就是我们今天生活的世界。作为每年组织NeurIPS大会的基金会主席,我见证了这个创造了现代机器学习社区的卓越发展。NeurIPS大会稳步增长,2019年吸引了超过14000名参会者。许多棘手的问题最终变得容易处理,而今天机器学习已经成为当代人工智能的基础。

 

机器学习的早期目标比人工智能的目标要低。机器学习针对的目标一开始并非是通用人工智能,而是从感知、语言、运动控制、预测和推理等实际问题入手,主要方式是从数据中进行学习。相比之下,AI研究早期的特点是采用维度较低的算法。但是,这种方法只适用于受到良好控制的环境。

比如说,在方块世界中,所有的物体都是矩形的实体,形状相同,环境中光照也相同。这些算法并不适用于现实世界的场景,因为现实世界中的物体形状复杂,反射率各不相同,照明条件也不受控制。

 

而现实世界是高维度的,可能没有任何低维度的模型可以适用。早期基于符号和句法的自然语言模型也遇到了类似的问题,原因是忽略了语义的复杂性。只有深度学习语言模型的复杂性接近真实世界的复杂性,实际的自然语言应用才能成为可能。当今自然语言模型有数百万个参数,经过数百万个标记样本的训练,并且已经投入规模化使用。而更大的深度学习语言网络也正在生产中,为数以百万计的在线用户提供服务,从引入至今还不到十年。

01

深度学习的起源

我曾写过一本书,《深度学习革命: 人工智能与人类智能的结合》(The Deep Learning Revolution: Artificial Intelligence Meets Human Intelligence ),讲述了深度学习是如何产生的。

 

深度学习的灵感来自于大脑中大规模并行处理的架构,它的起源可以追溯到20世纪50年代 Frank Rosenblatt 的感知机,该感知机基于 McCulloch 和 Pitts 引入的单个神经元简化模型。感知机能够执行模式识别,并学会分类标记样本。Rosenblatt 证明,如果存在一组能够正确分类新输入的参数,并且有足够的样本,感知机的学习算法就能保证找到它。

 

该学习算法将标记数据输入,通过梯度下降法,对权重参数进行微小的调整。这个简单的模拟是当今更大更复杂的神经网络架构的核心,但从感知到深度学习的跳跃并不是一个一帆风顺的过程。我们可以从中吸取教训。

 

图注:感知机是Frank Rosenblatt在1957年就职于康奈尔航空实验室时发明的一种人工神经网络,它可以被视为一种最简单形式的前馈神经网络,是一种二元线性分类器。

 

感知机学习算法需要用实数计算,而数字计算机在20世纪50年代表现不佳。Rosenblatt 从海军研究办公室获得了今天相当于100万美元的拨款,用于建造一台大型模拟计算机,该计算机可以使用代表可变权重的电机驱动的电位器组,来实现权重并行更新。

 

而感知机被赋予的巨大期望不久便被Minsky 和 Papert 打破了。他们在《Perceptrons》一书中指出,感知机只能表示在权重空间中线性可分离的类别。虽然在书的最后,Minsky 和 Papert 考虑到将单层扩展到多层感知器的前景,一层传递到下一层,但对于是否有办法训练这些更强大的多层感知机他们提出了质疑。不幸的是,许多人认为这种质疑是决定性的,从事神经网络的研究人员审视完这个问题,最终选择了放弃。

 

20世纪60年代,计算能力与我们今天相比微不足道;当时的情况更适合编写程序,而不是做机器学习,早期编写程序解决玩具问题的成果看起来鼓舞人心。到了20世纪70年代,机器学习已经失宠,但到了20世纪80年代,数字计算机的速度提高了,使得模拟中等规模的神经网络成为可能。

 

在接踵而至的20世纪80年代神经网络复兴中,Geoffrey Hinton 和我提出了一种用于训练玻尔兹曼机的学习算法,与一般观念相反,证明了训练多层网络是可能的。玻尔兹曼机学习算法是局部性的,只依赖于单个神经元的输入和输出之间的相关性,这是一种发现于大脑皮层的赫布可塑性。

 

有趣的是,训练过程中计算出的相关性必须通过没有输入的相关关系(我们称之为睡眠状态)进行规范化,以防止自我参照学习。在无监督学习模式下,也可以学习不带标签输入的联合概率分布。然而,同时提出的另一种基于误差反向传播的学习算法虽然牺牲了局部性 ,但效率更高。这两种学习算法都使用随机的梯度下降,这是一种优化技术,可以逐步改变参数值来最小化损失函数。

 

02

迷失在参数的空间

 

20世纪80年代的网络模型在输入和输出之间很少有超过一层的隐藏单元,但按照统计学习的标准,它们已经高度超参数化了。尽管以今天的标准来看,这些网络是很小的,但是它们比传统的统计模型拥有的参数已经大了几个数量级。

根据统计学原理,在可用训练集相对较小的情况下,很难实现泛化。然而,即使是简单的正则化方法,比如权值衰减,也会导致模型具有比较好的泛化能力。更让人意想不到的是,非凸损失函数的随机梯度下降很少陷入局部极小。

 

这些网络模型和它们的高维参数空间的几何使它们能够更加有效地模拟和预测,且能够获得良好的泛化能力,这与传统直觉的错误预测恰恰相反。

  

网络模型是高维动态系统,可以学习如何将输入空间映射到输出空间。这些函数具有特殊的数学属性,但我们现在只是刚刚开始理解这些数学属性。在高维参数空间中,大多数临界点是鞍点,局部极小值则相对少见。此外,神经网络一般是从参数空间中的一个随机起点进行梯度下降收敛。由于过参数化,因此解决方案的简并性改变了问题的本质,把一个“干草堆里找针”的问题,变成了“针堆里找针”。

 

但许多问题并没有回答:

 

  • 为什么可以从这么少的样本和这么多的参数中得出正确的结论?

  • 为什么与其他优化方法相比,随机梯度下降在寻找有用函数方面如此有效?

  • 对于同一个问题,所有好的解决方案的集合有多大?

  • 好的解决方案在某种程度上是相互关联的吗?

  • 架构特点和能够促进泛化的归纳偏见之间有什么样的关系?

 

探究这些问题的答案,显然将帮助我们设计更好的网络架构和更有效的学习算法。

 

20世纪80年代,没有人知道神经网络学习算法可以根据网络中的神经元和权重数量进行缩放调整。与许多人工智能算法不同的是,随着深度学习网络规模的扩大,训练规模随着参数的增加而线性增加,性能随着网络层数的增加而不断提升。

此外,深度学习网络的大规模并行处理架构可以通过多核芯片有效地实现。在完全并行的硬件下,学习和推理的复杂度为 O (1)。这意味着处理输入所需的时间与网络的大小无关,这是计算领域一种罕见的结合。

 

当引入一类新的函数时,通常需要几代人的时间来进行充分的研究和探索。例如,当傅立叶在1807年引入傅立叶级数时,他无法证明收敛性,针对其是否能算作是函数也受到了质疑。但这并没有阻止工程师们使用傅里叶级数来求解热方程,并将其应用于其他实际问题。对这类函数的研究最终导致了对泛函分析的深刻见解,这是数学皇冠上的一颗明珠。

 

03

深度学习的本质

  

继上世纪50年代的感知机和80年代的多层神经网络之后,如今进行的第三次神经网络架构探索,已经超出了学术研究的范畴,进入到了实用阶段。媒体甚至将深度学习直接称为“AI”。

 

显然,深度学习对“AI”的贡献在于,将人工智能真正地扎根到现实世界中。

 

传统AI是一个基于符号和规则的黑白世界,而现实世界是模拟的、嘈杂的、不确定的和高维的。深度学习则为两个世界提供了一个接口。

 

例如传统上自然语言处理被认为是符号处理的问题。但递归神经网络直接将语言翻译变成了端到端,直接从句子中提取语法和语义信息,让自然语言处理不再面对繁琐的规则处理。

上世纪60年代,AI研究所面临的一个严重问题是,AI与人类智能之间的关系。当时AI的工程目标是,通过直觉编写程序,来重现人类智能的功能。

 

我曾问过卡耐基·梅隆大学的艾伦·纽厄尔(Allen Newell)一个问题,他是AI的先驱者之一,曾参与了1956年的达特茅斯夏季学术会议:为什么AI的先驱者忽略了人类智慧的基石——大脑?毕竟人类的大脑是唯一可以解决AI难题的存在性证据。

 

他告诉我说,他本人对大脑研究的见解持开放态度,但当时对大脑的了解还不足以提供更多帮助。

 

很不幸的是,随着时间的流逝,人工智能研究的态度逐渐从“了解不足”,变成了“与脑无关”。

 

这种观点通常通过航空学的例子来证明其合理性:如果要制造飞行器,研究鸟类如何拍打翅膀或鸟的羽毛特性是浪费时间的。

 

但这种观点忽略了一点:莱特兄弟正是从鸟类滑翔中学到了设计实用机翼的思想以及空气动力学的基本原理;现代喷气式飞机机翼正是模仿了老鹰的翅膀,从而节省了5%的燃料。

 

现在人们对大脑如何处理感官信息。如何积累证据,如何做出决策以及如何计划未来行动等,已经有了很多了解。借鉴大脑,正当其时。

 

另一方面,深度学习也同样可以从大自然中获得启发。当前计算机科学中正在兴起一个新兴的领域,称为算法生物学,即模拟生物系统中使用的各种问题解决策略来设计算法。我们可以从自然界中学习到一些复杂问题的一般原理和特定解决方案,这些问题经过数亿年的进化,已经贯穿到了生物的链条当中。

在神经网络模型中,实际神经元的复杂性与模型神经元的简单性之间存在鲜明的对比。

 

生物神经元本身是具有广泛的内部时间尺度的复杂动力系统。其中许多复杂性都源于细胞生物学,每个细胞在各种条件下都需要自己产生能量并保持稳态。

 

但神经元的其他特征可能对其计算功能更重要,其中一些还尚未应用到模型网络当中,包括:

 

  • 针对特定功能优化的多种细胞类型;

  • 短期突触可塑性,可以在几秒钟的时间范围内兴奋或抑制;

  • 在突触内部可塑性基础上的一系列生化反应,受输入历史控制,持续时间从数秒延长至数小时;

  • 睡眠状态下大脑会离线,并重构自己;

  • 控制大脑区域之间流量的通讯网络;

  • ……

 

将脑科学研究与AI研究进行协同,必然将使两方都受益。

新皮质层大约在2亿年前,在哺乳动物的大脑中开始出现;它是大脑外表面折叠的神经元层。人的大脑皮层展平的话,直径大概有30厘米大,厚约5毫米;其中包含约300亿个皮质神经元,共分为 6 层,它们以局部定型模式彼此高度互连。

 

脑皮层在进化过程中,相对于大脑中枢发生了极大的扩展,特别是人类的皮层,占据了大脑体积的80%。这种扩展表明,皮质结构具有可扩展性;而其他脑区相对于人体而言并没有太多扩展。

 

有趣的是,形成皮质白质的远距离连接比局部连接少得多,它的体积与灰质体积呈 5/4幂次关系,白质体积上要大于灰质体积。大脑结构的这种尺度定律,可以提供一个重要的计算原理见解。

 

在整个皮层中,包括细胞类型及其连接性在内皮层结构都相似,但却可以形成用于不同认知系统的专门区域。例如在视觉皮层,已经发展出了用于视觉的专用通路,这些通路在深度学习体系结构(卷积神经网络)中已经得到了验证。

 

新皮层进化出的这种通用学习体系结构,反过来也极大地增强了许多特殊用途的皮层下结构的性能。

 

 

人的大脑大概有 11 个不同的层级,上图提供了部分层级内容。

 

在突触的水平上,每立方毫米的大脑皮层(米粒大小)包含十亿个突触;而当今最大的深度学习网络的参数大概也是在10~1000亿的量级。

 

皮层具有数十万个深度学习网络的等效功能,每个深度学习网络都专门用于解决特定问题。这些专家网络如何组织?

 

网络级别以上的 investigation level,主要的功能在于,组织不同皮质区域之间的信息流。这是系统级别的通信问题。关于数十万的专用网络如何组织,还有很多需要研究,其方法则是研究如何管理皮质中的全局信息流。

 

皮质内的远程连接是稀疏的,原因在于维持远程连接的代价是比较高的,不仅需要长距离传输信息所需要的能量,更重要是它们还要占用大量空间。

 

交换网络在感觉和运动区域之间会对信息进行路由,这些信息可以快速重新配置,来满足不断发展的认知需求。

 

构建下一代AI系统的一个主要挑战就在于,如何将由许多深度学习专家网络构成的高度异构系统进行内存管理。

 

如何才能够灵活地更新这些网络,而又不会降低已经学习到的记忆呢?这是保持稳定的终身学习的关键问题。

 

目前有一些方法可以最大程度地减少存储损失和子系统之间的干扰。其中一种方法是,选择在哪里存储新知识。例如在睡眠期间,皮质会进入电活动的整体连贯模式;这种短暂的振荡事件(称为睡眠纺锤)在夜间会重复出现数千次,这个过程与记忆的巩固有关;纺锤是由白天经历的事件重放所触发,并被简约地整合到长期皮层语义记忆当中。

 

04

深度学习的未来

  

当下的深度学习主要是受大脑皮层的启发,但人类大脑显然并不只是大脑皮层,还有许多其他脑结构来控制人们的运动以及其他功能,例如负责强化学习的基底神经节、为大脑提供运动命令的小脑。

 

人类之所以能够进行复杂的社交互动,很大程度上是因为同时拥有大脑皮层和皮下神经的共同支持。

 

因此,如何借鉴皮下神经,以及如何将其与神经网络进行结合,是构建自主AI系统一个很重要的研究方向。

举例来说,脑干中的多巴胺神经元会计算奖励预测误差,这正是强化学习里时间差异学习算法中关键的计算,DeepMind 正是将这种算法与深度学习进行结合,研发出AlphaGo,在2017年打败了围棋世界冠军柯洁。

 

中脑中的多巴胺神经元弥漫在整个皮层和基底神经节,它能够调节突触的生长,并提供获得长期奖励的动力。考虑到多巴胺神经元在人类大脑中的作用,甚至出现了一门神经经济学的新领域,来了解人类如何更好地做出经济决策。

 

除了多巴胺外,在人类脑系统中,还有其他几个神经调节系统,也同样控制着脑部全局状态,来指导行为,表示负反馈,惊奇,信心、时空折现(temporal discounting)等。

运动系统是AI的另一个领域,也是受生物学启发比较多的一个领域。将动物的运动与大多数机器人的刚性运动进行比较,关键的不同点在于,动物在控制肌肉的高维自由度方便具有非凡的灵活性。高维运动空间中,如何协调行为,将是深度学习网络研究的活跃领域。

 

此外,还有一种分布式控制理论,可以解释脊髓、脑干和前脑中的多层控制是如何协调的。大脑和控制系统都必须处理反馈回路中的时间延迟,这会导致不稳定。

 

小脑中的身体正向模型(The forward model of the body)提供了一种预测运动-感觉结果的方法,并且将感觉预测误差用到优化开环控制当中。

 

例如,头部运动,前庭眼反射(VOR)通过在开环中快速使用头部加速度信号来稳定视网膜上的图像滑动。VOR的增益通过来自视网膜的滑动信号进行调整,小脑则使用该信号来减少滑动。

 

感觉神经和运动神经的带宽有限,此外大脑的其他限制,但在分层控制系统下可以克服这些限制,这些分层控制系统的组件具有速度-精度折中方案。工程系统中也存在许多类似的案例,例如计算机中的内存系统,尽管组件并非最好,但仍然可以实现快速、准确的控制。

 

05

通向通用人工智能

从深度学习的当前状态到通用人工智能,是否存在一条道路?

 

从进化的角度看,大多数动物都可以解决其生存所面临的问题,但只有在人类这一脉的动物存在一般的抽象推理能力。

 

但我们人类显然也并非特别擅长抽象推理,我们的大脑系统是从动物而来,还没有针对逻辑进行优化,因此需要长期训练才能够达到逻辑推理的能力。例如,小学生需要学习很多年才能够掌握计算机1s内就能完成的算法。

 

不过,人类能够具备推理能力,这在原则上证明了,大规模的深度学习网络系统有可能发展出计划和决策的能力。

 

当然人类并非唯一的参考,我们同样可以使用一些混合解决方案,例如DeepMind开发的神经图灵机,可以学习、排序、导航等。

 

根据Orgel第二规则:大自然比我们聪明,但仍有可改进空间。

 

当下深度神经网络,在有监督学习方面取得了巨大的进展,许多拥有大数据的领域都取得极大进步,例如机器翻译等。但是在现实中,更多的领域并没有足够的标签数据集。

 

与之对应,人类在信息不足的时候,会首先对事物的可能结果做出一个潜意识地预判,对于符合预判的则把它视为正常,而对于意外情况会觉得惊讶。

 

类比于人类,自监督学习将是一个很有前途的方向,其学习的目的则是从一些数据流中预测未来结果。

 

此外,模仿学习也是一种方法,来学习重要行为并获得有关世界知识。

 

人类在真正达到成人水平智力前,还有许多可以借鉴的学习方法。这些必然对设计通用人工智能大有裨益。

06

旧视野的新世界

我们正处于一个可以称为“信息时代”的开始。数据从传感器涌入,传感器将数据转化为信息,然后通过一些方式将信息转化为知识,将知识转化为理解,如果幸运的话,也可以将知识转化为智慧。

我们已经迈出了解决现实世界中复杂的高维问题的第一步;正像婴儿一样,虽然步履蹒跚,但我们已经走在正确的方向上。深度学习网络是数字计算机与现实世界之间的桥梁;这让我们可以根据自己的情况,例如通过语音与计算机进行互动,键盘将与打字机一样变得过时。

 

Eugene Wigner 在他的论文“自然科学中数学的不合理有效性”(The Unreasonable Effectiveness of Mathematics in the Natural Sciences)中惊叹道:物理理论的数学结构常常揭示出对这种理论的深刻理解,从而得出经验预测。值得注意的是,方程中的参数很少,我们称为物理参数。本文也反映了 Wigner 的观点;但是,与物理定律不同,深度学习网络中存在大量参数,而且是可变的。我们才刚刚开始探索超高维空间中的表示和优化。也许有一天,对深度学习网络的结构进行分析,我们将得出理论上的预测,并揭示出对智能本质的深刻见解。我们可以从维度中受益。

 

找到一类函数来描述真实世界复杂的现象,但也许还存在其他函数。也许我们尚未探索在高维空间中仍然存在大规模并行算法的世界,这远远超出了我们所居住的3维世界,以及数字计算机的一维指令序列的直觉。

 

就像平面国的方块绅士一样,我们能够从更高维中,瞥见一个远远超出旧视野的新世界。



点击左下角“阅读原文”,了解更多!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://nwjs.net/news/141845.html

如若内容造成侵权/违法违规/事实不符,请联系七分地网进行投诉反馈,一经查实,立即删除!

相关文章

新书上市 | 世界名校数据挖掘经典《斯坦福数据挖掘教程(第3版)》

题图 | 作者为 Scott Ullman《斯坦福数据挖掘教程(第3版)》上架之后,这是我们第一次整篇文章介绍这本书。这本书相当受欢迎(前两个版本累计销量超过 5 万册),尤其是受学校青睐——在此也说声抱歉&#xff…

智源唐杰主编的IEEE Transactions on Big Data期刊被SCI收录 | AI日报

智源唐杰主编的IEEE Transactions on Big Data期刊被SCI收录今日,IEEE Transactions on Big Data (简称:IEEE TBD)被SCI收录。IEEE TBD成立背景:随着人类社会进入数字化时代,产生的数据也在爆发式增长,这些…

Python 工匠:在边界处思考

这是 “Python 工匠”系列的第 15 篇文章。[点击原文链接查看所有]2016 年,Linux 操作系统的创造者 Linus Torvalds 参加了一场 TED 访谈节目[1]。整个节目的前半部分,主要是他在讲如何在家光着膀子写出 Linux 的故事,没有涉及太多编程相关的…

ImageNet的top-1终于上了90%,网友质疑:用额外数据集还不公开,让人怎么信服?...

转载自:机器之心近日,谷歌大脑研究科学家、AutoML 鼻祖 Quoc Le 发文表示,他们提出了一种新的半监督学习方法,可以将模型在 ImageNet 上的 top-1 准确率提升到 90.2%,与之前的 SOTA 相比实现了 1.6% 的性能提升。这一成…

《Adobe Acrobat DC经典教程》—第1章1.11节在阅读模式下查看PDF文件

本节书摘来自异步社区《Adobe Acrobat DC经典教程》一书中的第1章1.11节在阅读模式下查看PDF文件,作者【美】Lisa Fridsma(丽莎 弗里斯玛) , Brie Gyncild(布里 根希尔德),更多章节内容可以访问云栖社区“异步社区”公…

opencv python 多帧降噪算法_防抖技术 | OpenCV实现视频稳流

在这篇文章中,我们将学习如何使用OpenCV库中的点特征匹配技术来实现一个简单的视频稳定器。我们将讨论算法并且会分享代码(python和C版),以使用这种方法在OpenCV中设计一个简单的稳定器。 视频中低频摄像机运动的例子 视频防抖是指用于减少摄像机运动对…

被嫌弃的贝叶斯派的逆袭

多数人第一次听说贝叶斯定理应该是在中学课堂上。那个公式看起来并不复杂,在一众花里胡哨的考点中显得平平无奇。但是很快,我们就知道了什么叫深藏不露。从高校教材到研究实战,贝叶斯这三个字频繁地出现在信息科学的重要议题中,它…

ICLR 2021论文接收统计出炉!Top20 机构,国内仅清华在榜!

转载自:AI科技评论ICLR 2021于前些天正式放榜,本次ICLR 2021一共有2997篇有效论文投稿,最后一共860篇被接收,录取率达到了28.7%,相比去年的26.5%有提升,与其他一些AI顶会大幅降低接收率相比,ICL…

为什么 Linux 和 macOS 不需要碎片整理

为什么这么设计(Why’s THE Design)是一系列关于计算机领域中程序设计决策的文章,我们在这个系列的每一篇文章中都会提出一个具体的问题并从不同的角度讨论这种设计的优缺点、对具体实现造成的影响。如果你有想要了解的问题,可以在…

GPT「高仿」问世:GPT-Neo,最大可达GPT-3大小,已开源 | AI日报

GPT“高仿”问世:GPT-Neo,最大可达GPT-3大小,已开源近日,有个名叫 EleutherAI的团队(创始成员为:Connor Leahy,Leo Gao和Sid Black),宣布推出GPT-Neo开源项目&#xff0c…

Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images

下面内容来自智源研究院CVPR2021预讲华为诺亚专场 1、深度学习的图像去噪方法面临的挑战 当前方法主要包括三类: 基于监督学习的方法:使用 noisy-clean 图像对进行训练(DnCNN, FFDNet, CBDNet, SGNet)。这类方法的难点在于&…

《Pro/ENGINEER野火版5.0从入门到精通》——1.3 体验Pro/E野火版5.0

本节书摘来自异步社区《Pro/ENGINEER野火版5.0从入门到精通》一书中的第1章,第1.3节,作者 暴风创新科技,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 体验Pro/E野火版5.0 Pro/E野火版5.0与其他软件类似,操作程序时…

CVPR 2021评审出炉,评审员奇葩意见遭热议 | AI日报

CVPR 2021评审出炉,评审员奇葩意见遭热议1月18日,CVPR 2021的评审结果出炉。根据CVPR 2021 程序主席、FAIR研究科学家Georgia Gkioxari近日在推特上的发文数据:今年共有7015篇有效提交论文,每篇论文都至少有3个评审结果&#xff0…

书评 | 9 年码龄工程师读 Android 经典

作为一个码龄 9 年的 Android 开发工程师,因业界大前端趋势,从18 年开始更多的时间专注在 React Native 上,Android 相关新技术日渐生疏了。Kotlin 和 Jetpack 等新技术一直缺乏上手了解的机会,是时候通过一本书体系化地了解一下相…

stylegan2 示例命令fused_bias_act.cu环境配置异常(无法打开包括文件: “tensorflow/core/framework/op.h”

在python运行stylegan2示例时,运行过程中,触发fused_bias_act.cu中的异常,可以看到fused_bias_act.cu中实际上是用c/c写的实现代码. 仔细看异常信息会发现这句话 无法打开包括文件: “tensorflow/core/framework/op.h”: 解决策略 1.首先确保你安装了c/c工具集,版本号可以有些…

中科院计算所沈华伟:GNN发展简史,诟病才是成长动力

文:周寅张皓图神经网络(Graph Neural Network)的应用在近年来蓬勃发展,但同时对其质疑也从未消失。诸如对与大规模图数据的存储问题,表达能力问题,以及数据集的规范问题引发了许多讨论。中科院计算所沈华伟…

赠书活动 | 数据挖掘经典入门

赠书活动在 AINLP 公众号。这本书相当受欢迎(前两个版本累计销量超过 5 万册),尤其是受学校青睐——在此也说声抱歉,出于出版时间的原因,很多学校依然采用了旧版作为教材;同时也请知悉,新版已上…

《C语言编程初学者指南》一2.9 理解运算符优先级

本节书摘来自异步社区《C语言编程初学者指南》一书中的第2章,第2.9节,作者【美】Keith Davenport(达文波特) , M1ichael Vine(维恩),更多章节内容可以访问云栖社区“异步社区”公众号查看 2.9 …

产品开发的 11 宗罪

题图 | created by freepik最近图灵君在翻看一本比较小众的书:《硬件产品设计与开发:从原型到交付》,没成想翻开前言和第 1 章都很惊艳,尤其是第 1 章总结的《产品开发的 11 宗罪》,真的让我受益匪浅。因为这篇文章总结…

盘点:2020 年机器学习 10 大进展

转载自:机器之心2020 年因为新冠疫情,很多人不得不在家工作和学习,大量人工智能学术会议也转为线上。不过在去年我们仍然看到了很多 AI 技术领域的进展。DeepMind 研究科学家 Sebastian Ruder 近日帮我们对去年的机器学习社区进行了一番总结。…