提升2021年转型时的企业数据技术和战略。
上周,谷歌研究(Google Research)举办了一个关于深度学习概念理解的在线讲习班。该讲习班由获奖的计算机科学家和神经科学家介绍,讨论了深度学习和神经科学的新发现如何有助于创建更好的人工智能系统。
虽然所有的演讲和讨论都值得观看(我可能会在未来几周再次观看),但其中一个对我来说特别突出: 哥伦比亚大学计算机科学教授Christos Papadimitriou关于大脑中单词表示的演讲。
Papadimitriou是哥德尔奖和Knuth奖的获得者,在他的演讲中,他讨论了我们对大脑信息处理机制的日益了解可能如何帮助创建在理解和参与对话方面更强大的算法。 Papadimitriou提出了一个简单有效的模型,解释了大脑的不同区域如何相互沟通以解决认知问题。
"现在发生的事情可能是世界上最伟大的奇迹之一, " Papadimitriou说,他指的是如何与观众沟通。大脑将结构化知识转化为无线电波,通过不同的媒介传播,到达听众的耳朵,在那里,它们再次被大脑处理并转化为结构化知识。
"毫无疑问,所有这些都发生在尖峰、神经元和突触上。但如何?这是一个巨大的问题, " Papadimitriou说。 "我相信,我们将对未来十年这种情况的细节有一个更好的了解。 "
大脑中神经元的集合
认知和神经科学界正试图理解大脑中的神经活动是如何转化为语言、数学、逻辑、推理、规划和其他功能的。如果科学家成功地从数学模型的角度来表述大脑的工作,那么他们将为创建能够模仿人类思维的人工智能系统打开新门。
许多研究集中在单个神经元水平的活动上。直到几十年前,科学家们还认为单个神经元与单个思想相对应。最流行的例子是"祖母细胞"理论,它声称大脑中只有一个神经元,每次见到祖母就会激增。最近的发现驳斥了这一说法,并证明了大量神经元与每个概念相关联,而与不同概念相关联的神经元之间可能存在重叠。
这些脑细胞被称为"组装" , Papadimitriou将其描述为"一组高度相连、稳定的神经元,它们代表着某种东西:一个词、一个想法、一个物体等等" 。
获奖的神经科学家G ö rgy Buzzaki将集合描述为"大脑的字母表" 。
大脑的数学模型
为了更好地理解集合的作用, Papadimitriou提出了一个称为"交互复网"的大脑数学模型。在这个模型下,大脑被划分为有限数量的区域,每个区域包含数百万个神经元。每个区域都有递归,这意味着神经元相互交互。这些区域中的每个区域都与其他几个区域有联系。这些区域间的联系可以被激发或抑制。
该模型提供随机性、可塑性和抑制。随机性意味着每个脑区的神经元是随机连接的。此外,不同区域之间有随机联系。可塑性使神经元和区域之间的联系能够通过经验和训练进行调整。抑制意味着,在任何时候,都有有限数量的神经元被兴奋。
Papadimitriou将此描述为一个基于"生命的三大主要力量"的非常简单的数学模型。
Papadimitriou和来自不同学术机构的一组科学家一起,在去年发表在同行评审的科学杂志《美国国家科学院院刊》(Proceedings of the National Academy of Sciences)上的一篇论文中详细介绍了这个模型。大会是该模型的关键组成部分,并使科学家们所说的"组装演算"成为可能,它是一套能够处理、存储和检索信息的操作。
Papadimitriou说: "这些操作不仅仅是从稀薄的空气中提取出来的。我相信这些操作是真实的。 "我们可以用数学方法证明并通过模拟验证这些操作与真实的行为相符......这些操作与[大脑]观察到的行为相符。 "
Papadimitriou和他的同事假设装配和装配演算是解释大脑认知功能的正确模型,如推理、计划和语言。
Papadimitriou在Google Deep Learning Conference上的演讲中说: "很多认知都可以适应这种情况。 "
使用汇编演算的自然语言处理
为了测试他们的思维模式, Papadimitriou和他的同事们试图实现一个自然语言处理系统,该系统使用汇编演算来解析英语句子。实际上,他们正试图创建一个人工智能系统,模拟大脑中容纳符合词汇和语言理解的汇编语言的区域。
Papadimitriou说: "发生的情况是,如果一个单词序列在lex中激发了这些程序集,这个引擎将产生句子的解析。 "
该系统完全通过模拟神经元峰值(就像大脑那样)工作,这些峰值是由组装演算操作引起的。组装对应于内侧颞叶、韦尼克区和布罗卡区的区域,这三个区域是大脑中高度参与语言处理的三个部分。该模型接收一系列单词并生成语法树。他们的实验表明,就神经元峰值的速度和频率而言,他们的模型的活动与大脑中发生的事情非常接近。
Papadimitriou承认,人工智能模型仍然非常初级,缺少语言的许多重要部分。研究人员正在制定计划,以填补现有的语言空白。但他们认为,所有这些内容都可以与组装演算结合起来,组装演算是一个需要通过时间测试的假设。
Papadimitriou问道: "这可以成为语言的神经基础吗? 。 "关于语言在人类头脑中的工作方式以及它与其他认知功能的关系,仍然有很多问题。但Papadimitriou认为,组装模型让我们更接近于理解这些功能,并回答剩下的问题。
语言解析只是测试装配演算理论的一种方法。帕帕迪米特里奥和他的合作者正在研究其他应用,包括学习和规划,就像儿童在很小的时候那样。
Papadimitriou说: "假设是,组装演算-或类似的演算-填补了访问逻辑的账单。 "换句话说,它是我们大脑计算方式的有用抽象。 "
