亏了80万跑路了,求安慰 |
感觉就是深度学习,版上懂行的说说
@mantout 没有吧,新技术和网络梗不一样,人类进步的方向跟每一个人息息相关。
@tianqiliangle 外行纯凭感觉,比Siri聪明一点
我注册了一个,玩儿了下觉得很厉害,看上门评论还是有少许版友未接触过,甚至观点有些狭隘。
以下是我复制楼主的标题问ChatGPT得到的回复:
ChatGPT是一个基于Transformer模型的大型预训练语言模型。它的根本创新点在于:
1.规模:ChatGPT是当前世界上最大的语言模型之一,具有数百亿个参数。
2.预训练:ChatGPT是通过大量的预训练数据(来自互联网)训练得到的,拥有丰富的语言知识和技能。
3.领先的性能:ChatGPT在许多语言任务中,如问答、对话生成等方面表现出了领先的性能。
之前也有类似的语言模型,例如Google的BERT模型,但ChatGPT更加先进,在规模和性能方面都较之前的模型有了很大提高。
没啥理论革新、技术创新的,无脑堆规模。一句话:大力出奇迹
参数量大,训练数据量大。
GPT3 训练的时候,光把训练程序跑完一遍,就消耗时间10个月,费用1100万美元。跑到一半,发现有bug,需要修改重跑。但是即使OpenAI这种狗大户,也耗不起,只能作罢。可以想想这消耗程度。
@bug404 只能基于已训练数据回答。那就是新的知识并不在其中。
gpt3论文中写到数据集来源网页、图书、github等,加上主流标记好了的nlp数据集,另外还有40个外包标记,数据截至2021年9月份,训练出的一个基于强化学习超大语言模型(large language model)。作为隔壁cv方向的从业者,不看好超大模型的发展,1 训练成本高,有报道说一次训练成本1200w美元,有些bug在训练开始后才发现,无法停下并重新训练 2 无法做到时事知晓,因为模型是无法每天更新的,目前只能获得21年9月前的信息 3 搜索引擎无法找到的信息,gpt3同样无法获取到。综上,LLG可能是未来的发展方向,但是现在下结论还过早。最后,希望gpt3带来的热度能让钱进到这个领域,能涨工资。
过早客微信公众号:guozaoke • 过早客新浪微博:@过早客 • 广告投放合作微信:fullygroup50 鄂ICP备2021016276号-2 • 鄂公网安备42018502001446号