江南清华获国际首届深度元学习挑战赛冠军，准确率超第二名13%—新闻—科学网
时间：2023-12-15 14:31:12 已阅读:77次
跟着呆板进修解决现实问题的日趋繁杂化，元进修近期遭到愈来愈多的存眷，已经成为人工智能范畴最热点的研究标的目的之一。
近日，于国际人工智能顶级集会AAAI 2021上，清华年夜学计较机系白文武传授团队取患上AAAI 2021国际深度元进修应战赛（MetaDL Challenge）冠军。该团队于终极阶段的隐蔽测试数据集上取患了40.4%的正确率，以高在第二名13%机能的领先强势摘患上桂冠。 介入该工程的清华年夜学计较机系助理传授王鑫对于彭湃新闻（www.thepaper.cn）记者先容，元进修是主动呆板进修的一个分支，旨于哄骗算法于旧使命上的体现（即元数据）来进修到某种经验，以使患上模子于新使命上学患上更快、更好。 元进修模拟了人类进修的历程，哄骗过往使命上获得的相干经验，来更快地顺应以及进修新使命。元进修被广泛运用在少样本监视进修、强化进修、冷启动保举等跨使命迁徙的运用场景，以应答真实场景中方针使命情况动态变迁、练习数据有余所带来的应战。 今朝，google、微软、亚马逊等国际巨头已经将元进修算法运用到本身的财产链之中，海内很多知名公司，如腾讯、baidu、字节跳动等，也不停完美本身的元进修算法以及体系。 这次MetaDL应战赛为元进修范畴举办的首届角逐，由第四范式以及微软结合举办，并登岸人工智能范畴顶级集会AAAI 2021。本次赛事有近一百支步队参赛，内容为图象分类范畴中的小样本进修问题。 小样本进修是今朝呆板进修国际前沿正于解决的问题之一，是元进修的一个主要运用场景，而基在小样本的深度元进修将越发繁杂，面对伟大应战。与以往的小样本进修差别，本次角逐同时考查元进修算法自己的泛化性以及自顺应性，对于算法于各个场景下的有用性举行测试。 白文武传授团队先容，本次角逐重要有三个方面的应战。 起首，怎样使模子具备倏地顺应小样本新使命的威力？于此次角逐中，参赛者提交的模子拥有两次练习历程：元练习历程和测试练习历程。于元练习历程中，模子必需提炼出该����APP数据集的元常识和最好的进修要领，来确保模子于测试练习历程中能倏地进修并避免过拟合。 第二是时间和空间约束。本次角逐拥有对于时间和空间的约束前提。总时长不跨越2小时，总GPU资源占用不患上跨越4张英伟达的8G M60 GPU。这要求参赛者提供的模子必需高效、轻量地提取元常识以及进修要领。 其次是适配未知数据集的应战。相别在传统小样本进修，本次角逐还考查了模子对于在差别类型数据集的顺应效果。因为事前其实不知道测试阶段的隐蔽元练习数据，应战者提交的模子必需拥有充足的泛化威力，来应答于未知类型的数据集中提炼元常识的威力。这一点又被称为元-元进修。是对于元进修的增补与晋升。 为了应答以上三个问题，白文武传授团队提出了自顺应深度元进修体系Meta-Delta来现轻量级、高效、高泛化性的元进修模子Meta-Learner Meta-Delta体系接纳基在丈量的要领来作为元进修模子的内核。这类要领将数据集映照到了一个元常识空间，并以空间中测试样本点以及练习样本点的间隔远近，来倏地举行小样天职类。 如许的做法将元常识的提取转化为空间变换问题，是近来研究中效果最佳的元进修算法之一，可以解决倏地顺应小样本新使命的应战。 基在此内核，团队组织了资源节制模块，来精准管控与分配模子进修时的时间空间耗损，接纳多进程与多线程相联合的体式格局，于不超时的条件下举行尽可能充实的元常识提取。末了，体系接纳差别的预练习模子+多模子整合的体式格局，使患上整个体系于面临未知的数据集时，仍旧可以或许有用地提掏出最好元常识，从而使其具备更强的泛化威力。 团队成员包孕计较机系于读硕士生关超宇、卫志坤、陈禹东，由关超宇担当队长，白文武传授与王鑫助理传授担当引导西席。出格声明：本文转载仅仅是出在流传信息的需要，其实不象征着代表本消息网不雅点或者证明其内容的真实性；如其他媒体、消息网或者小我私家从本消息网转载使用，须保留本消息网注明的“来历”，并自大版权等法令义务；作者假如不但愿被转载或者者接洽转载稿费等事宜，请与咱们联系。/江南