实时

您的位置:首页>产品 >

最大CLIP!LAION发布CLIP的扩增定律_天天百事通


(资料图片仅供参考)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

关键词:

推荐阅读
点蓝色字关注“机器学习算法工程师”设为星标,干货直达!近日,LAION等机构在Reproduciblescalinglawsforcontrastive

2022-12-28 16:35:24

以下是慈星股份在北京时间12月28日13:42分盘口异动快照:12月28日,慈星股份盘中快速回调,5分钟内跌幅超过2%,截至13点42分,报5元,成交7002

2022-12-28 13:35:24

县市议会议长选举虽已在25日落幕,但仍话题不断,其中在台南市,更是出现三位国民党籍议员跑票的情况。

2022-12-28 10:18:36

12月27日,国富沪港深成长精选股票最新单位净值为1 759元,累计净值为1 759元,较前一交易日上涨0 57%。历史数据显示该基金近1个月下跌0 34%,

2022-12-28 01:13:04

七一二12月27日公告,第二大股东TCL科技今日通过大宗交易减持公司股份828 64万股,占公司股份总数比例为1 07%。截至公告披露日,本次减持计划

2022-12-27 18:07:01

莱美药业(300006)12月27日在投资者关系平台上答复了投资者关心的问题。投资者:请问公司生产的抗病毒药炎琥宁,用于病毒性肺炎和病毒性上呼吸

2022-12-27 14:30:58

按照前期分析,欧元 美元价格分析:空头吃紧牙关在关键支撑附近测试多头,空头正阻止空头试图走高。欧元 美元开始盘整于前期看涨形态背面,但

2022-12-27 09:15:23

中科创达软件股份有限公司                监事会议事规则(草案)                     第一章 总 

2022-12-26 20:53:40

截至2022年12月9日收盘,*ST科华(002022)报收于12 96元,上涨3 6%,换手率2 06%,成交量10 6万手,成交额1 37亿元。12月9日

2022-12-26 15:36:23

随着全球央行降息,并推出大规模刺激措施支撑受到新冠肺炎疫情严重冲击的宏观经济,叠加其他不确定因素,国际黄金价格自2020年初以来上涨已经

2022-12-26 10:15:43

(记者李江宁)25日,记者从青海省财政厅了解到,日前,青海省财政厅研究起草了《青海省预算绩效管理条例》(以下简称《条例》),将于2023年1月1

2022-12-25 20:31:08

任达华与名模琦琦的爱女任晴佳(Ella)完美遗传父母的优良基因,不但五官标致,更极似妈妈的身形高挑。而12月23日,据港媒报道,为了庆祝爱女1

2022-12-25 04:16:14

提高信用评级预警能力,助力我国债券市场高质量发展

2022-12-24 08:31:21

证券代码:601890    证券简称:亚星锚链       公告编号:临 2022-048              江苏亚星锚链股份有限公司 

2022-12-23 18:25:12

谈及2023年国内权益市场的投资主线,邱延冰建议,可把握“复苏”与“成长”两个方面。既可关注疫后复苏和估值修复相关的消费、医药、互联网、

2022-12-23 13:43:59

今年游戏本最让人期待的,莫过于RTX40系显卡,毕竟桌面卡在低功耗下的表现依旧很出彩,非常适合移动平台。如今,移动版RTX40系独显的信息突然

2022-12-23 07:59:05

2022年12月22日,纺织服装受到利好消息的刺激下,整个板块掀起了涨停潮。共5家涨停,1家连板。2板:1、安奈儿(002875)(10 01%)1板:1、如意

2022-12-22 18:44:58

记者|姚立凡《美妆头条》新媒体今日(2022年12月22日),上海上美化妆品股份有限公司(以下简称“上美股份”)在香港交易所敲钟上市,股票代

2022-12-22 13:14:27

网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可

2022-12-22 06:48:12

日前,全球首套煤电机组耦合熔盐储热示范工程在江苏国信靖江发电有限公司正式投入运行。据公司相关负责人介绍,该项目应用熔盐储热技术,在电

2022-12-21 17:12:17