凯发·K8国际- (中国)登录首页

　　编者按ღ★：OpenAI最近对不同时期最大型的AI试验所消耗的计算量进行了调查分析ღ★。结果发现ღ★，跟6年前相比ღ★，AI训练所需的计算量整整增长了30倍ღ★，相当于每3.5月就翻番ღ★。这种指数增长速度是惊人的ღ★，但是考虑到硬件投入ღ★、电耗支出等开支（比如目前规模最大的AI试验AlphaGo Zero的训练开销估计达1000万美元）ღ★，这种趋势还能持续多久呢？Ryan Carey通过分析得出结论说不会超过3.5-10年ღ★。但是哪怕这种趋势还能继续延续这么久ღ★，AI也能突破一些实现一般人工智能（AGI）所需的计算量ღ★。

　　我们知道ღ★，过去几年AI试验使用的算力要比之前多得多ღ★。不过就在上个月最新国自产拍短视频ღ★，OpenAI进行的一项调查对这种发展速度有多快做出了一些初步估计ღ★。通过对AlphaGo Zero与AlexNet进行比较ღ★，他们发现现在最大型的试验是6年前最大型试验规模的300000倍ღ★。此间每年的最大型试验规模都呈现出指数性增长ღ★，每3.5月就翻番ღ★。

　　按照这种AI计算趋势ღ★，试验的增长率之快令人诧异ღ★，值得进行一些分析ღ★。本文将探讨两个问题ღ★。第一个是如果试验规模还是增长得这么快的话ღ★，很快就会变得承受不起ღ★，所以这种趋势将渐近结束ღ★。除非经济被彻底重塑凯发国际K8官网ღ★，否则这种趋势顶多只能维持3.5到10年ღ★，具体要看开支水平以及计算成本如何变化ღ★。第二个问题是如果这种趋势能再维持3.5年ღ★，则用于AI试验的计算量就会超过一些有趣的里程碑ღ★。尤其是ღ★，一次试验所用的计算将超过利用尖峰神经元模拟人脑 18年思考所需的总量ღ★。大体而言ღ★，我们可以说这种趋势将超过达到成人智力水平所需的水平ღ★，如果赋予同等效率算法的线）节里ღ★，我将相应探讨这些问题ღ★，而在（3）节ღ★，我会讨论一下这一分析的限制并且权衡这一工作将如何影响AGI的预测ღ★。

　　要想弄清楚这种AI计算趋势在经济上还能持续多久ღ★，我们需要知道三件事情ღ★：试验成本的增长率ღ★，目前试验的成本ღ★，以及未来一次试验可以承受的最大开支ღ★。

　　最大型的试验每3.5个月规模就翻番（每年大概增加一个数量级ღ★，也就是10倍ღ★。时间测算=LOG(10,2)*3.5/12=0.9689年凯发国际K8官网ღ★，约为1年）ღ★，而每计算单位的成本大概是每4-12年下降一个数量级（长期趋势是每4年成本改进10倍ღ★，而近期趋势是每12年成本改进10倍）ღ★。所以最大型试验的成本每1.1-1.4年就增加一个数量级ღ★。

　　当然ღ★，试验规模能到多大要取决于谁来做最新国自产拍短视频ღ★。最有钱的玩家大概是美国政府最新国自产拍短视频ღ★。之前ღ★，美国用了GDP的1%来进行曼哈顿项目ღ★，而实施阿波罗计划期间往NASA投入了~0.5%的GDPღ★。那我们就假设类似地投入到AI试验的最大开支也能占到GDP的1%ღ★，也就是2000亿美元ღ★。鉴于一个数量级的增长所需时间为1.1-1.4年ღ★，而初步试验规模为1000万美元ღ★，那么按照AI计算趋势预测在5-6年时间内我们就将看到成本达2000亿美元的试验ღ★。那么鉴于未来（美国）经济状况跟目前类似ღ★，届时将是这股AI计算趋势的终结ღ★。

　　我们还可以考虑一下如果政府不参与的话这种趋势能持续多久ღ★。鉴于私营企业规模较小ღ★，其遭遇经济门槛也会快一点ღ★。其中最大的是科技公司ღ★：Amazon和Google目前的研发预算大概是每年200亿美元ღ★，那么我们可以假设政府以外最大的独立试验是200亿美元ღ★。则私营板块大概能跟上AI计算趋势的时间为政府的3/4ღ★，也就是约3.5到4.5年ღ★。

　　另一方面ღ★，特定硬件的研发也可能令计算成本变低ღ★，因此导致趋势维持更久一点ღ★。如果一些新硬件让计算便宜1000倍并且突破性价比摩尔定律的话ღ★，则这种经济门槛还能维持得久一点ღ★，大约还能持续3-4年ღ★。

　　为了让AI计算趋势维持线年）ღ★，经济产出必须以每年增长一个数量级的速度发展ღ★。这的确是非常极端的情况了ღ★，但也不是不可能ღ★，主要一点是要看某些极其强大的AI技术能不能带来大规模的经济收益ღ★。

　　当然最新国自产拍短视频ღ★，重要的是要清楚这些数字都是上限凯发国际K8官网ChatGPTღ★，ღ★，所以并不能排除AI计算趋势更快停止（比方说如果AI研究被证明经济性不如预期的话）的可能性ღ★，不管是突然中止还是慢慢停下来ღ★。

　　第二个可以得出的结论是ღ★，如果AI计算趋势继续当前的节奏的话凯发国际K8官网ღ★，就会突破某些有趣的里程碑ღ★。如果AI计算趋势继续3.5-10年ღ★，则最大型试验的规模预计将达到10^7-5×10^13Petaflop（千万亿次浮点运算）/日ღ★，那么问题就是在该水平之下能达到哪些里程碑ღ★。哪些里程碑可能会给AGI的发展做出贡献仍然是个争议线个候选ღ★：

　　对于创造出人工智能所需的计算量ღ★，一个自然的猜想是人脑所用的计算量凯发k8娱乐官网app下载ღ★。ღ★。假设AI有（相对于人类）ღ★：

　　那么按照最短的估计ღ★，比如Moravec的估计ღ★，我们的计算已经足以超过人类儿童的里程碑了ღ★。而按照中位数测算以及Hodgkin-Huxley测算的线年内到达里程碑ღ★。

　　关于人类儿童里程碑的一个异议是AI系统目前比人学得慢（“slower-learners”）ღ★。AlphaGo Zero下了250万局围棋才变成超人ღ★，也就是说如果一局需要1小时的线年的围棋游戏最新国自产拍短视频ღ★。我们也许会问ღ★，像人脑这么复杂的东西要是运行300年而不是18年的话得要多久ღ★。答案是ღ★：为了达到这一里程碑ღ★，趋势在达到人类儿童里程碑之后还得再继续14个月ღ★。

　　一个更加保守的里程碑是模拟所有神经进化所需的计算量ღ★。2012年Shulman和 Bostrom介绍了一种办法ღ★，那就是看看模拟神经系统进化的成本ღ★。这需要模拟10^25个神经元10亿年间的进化ღ★。Shulman和 Bostrom估计模拟一个神经元1秒钟的成本是1-10^10次浮点运算ღ★，这样的线Petaflop/日ღ★。这个计算量太庞大了ღ★，等到AI计算趋势结束的时候也还远远达不到ღ★。所以AI计算趋势并不能改变Shulman和 Bostrom做出的结论ღ★，即距离我们能模拟地球上的大脑进化还远着呢——哪怕开支可以快速增长也不行ღ★，这一计算里程碑需要摩尔定律再发展好几十年才可能达到ღ★。

　　总的说来ღ★，我们可以看到尽管大脑进化里程碑远远超出AI计算趋势之所能及ღ★，但其他的里程碑则未必ღ★。按照其中一些估计——尤其是代谢组估计的标准ღ★，人类儿童和AlphaGo Zero游戏里程碑也没法达到ღ★。但如果未来几年AI计算趋势继续下去的话ღ★，人类儿童与AlphaGo Zero游戏里程碑就能实现ღ★。

　　根据这一分析ღ★，自然就要提出一个合理的问题ღ★：为了预测AGIღ★，我们最应该关注哪一个里程碑呢？这个问题的不确定性太大了ღ★，不过我想形成AGI要比大脑进化里程碑容易些ღ★，但是那种AGI可以在AlphaGo Zero游戏里程碑达到之前或者之后实现ღ★。

　　第一点是银为大脑进化里程碑假设算法发现的过程必须由AI自己执行ღ★。但对我来说人类设计师以毫无计算成本（或者相对于模拟进化所需成本不值一提）的方式提供适当算法（或者大部分）似乎更有可能ღ★。

　　第二点ღ★，评估AGI相对AlphaGo Zero游戏里程碑的难度要复杂一些ღ★。有人认为AlphaGo Zero游戏里程碑使得AGI看起来太简单了ღ★，但我们必须考虑到教会机器一般智能需要比教会机器下围棋有更多的训练例子ღ★。为了执行范围很广的各类任务ღ★，有必要考虑更大范围的依赖性以及了解一个更加复杂的从动作到实用工具的映射ღ★。这件事可以进一步探索——通过比较各种已解决的AI问题的样本效能ღ★，然后基于一般智能的复杂程度要高多少来推断AGI的样本效能ღ★。然而ღ★，还有一些原因导致AlphaGo Zero游戏里程碑也许让事情变得太困难了ღ★。首先ღ★，AlphaGo Zero并未使用任何已有知识ღ★，而AGI系统可能是需要这个的ღ★。如果我们看看当初的AlphaGo的话ღ★，它所需要的局数相对于AlphaGo Zero来说本来是应该少一个数量级的ღ★，而更一般的学习任务可能还能进一步提升效能幅度ღ★。其次ღ★，通过模拟人脑的做法可能会有1到多个数量级的保守性内置ღ★。基于目前的硬件配置来模拟人脑来执行其计算功能可能效率会相当低ღ★：也即是说ღ★，人脑也许只使用所需的其中一小部分的计算来模拟最新国自产拍短视频ღ★。所以很难判断达到AlphaGo Zero里程碑对于AGI来说究竟是太早还是太晚了凯发国际K8官网ღ★。

　　还有一个原因可以更加确保AGI的实现也许也许6年以上的时间ღ★。我们只需要看看AI计算趋势然后问问自己ღ★：AGI跟AlphaGo Zero的关系是不是像AlphaGo Zero跟AlexNet（编者注ღ★：AlexNet是2012年诞生的）那样近呢？如果我们认为第一对的差异大过第二对的差异的话凯发k8ღ★，ღ★，那我们就应该认为AGI不是6年的时间可以实现的ღ★。

　　总之ღ★，我们可以看到AI计算趋势是一个极其高速的发展趋势ღ★，快到经济力量（假设GDP不会出现大幅增长）在3.5到10年之内就无法跟上的地步ღ★。但哪怕还能维持几年ღ★，这股趋势的发展也已经够快了ღ★，快到可以突破某些貌似相当于AGI需求的计算里程碑ღ★。其中就包括利用Hodgkin Huxley神经元模拟人脑思考18年所需的计算量ღ★。然而ღ★，其他的里程碑在经济因素导致AI计算趋势终止前都无法实现ღ★。比方说这里的分析表明我们（至少）在几十年内都无法拥有足够的算力来模拟人脑的进化ღ★。