搜索
|
首页 > 推荐吧 > 
锐思考 | OpenAI没有护城河:当我们能把世界塞进一块显卡里
出处:二牛网    编辑:晓南 ·  2023-05-11

外媒SemiAnalysis公布了一篇文章,叫《我们没有护城河,OpenAI也没有》。

据悉,这份文件是一名匿名人士在Discord服务器上分享出来的,文章来自谷歌内部的一名研究员,真实性已被确认。

SemiAnalysis特别强调,这份文件仅代表谷歌员工的意见,不代表谷歌。      

锐思考 | OpenAI没有护城河:当我们能把世界塞进一块显卡里

  

这篇文章的内容大致意思是,双方最大的竞争对手是:开源。 

今年三月份的时候,Meta泄露了其基础语言大模型LLaMA,这个大模型可能不及谷歌和OpenAI,但是有了这个模型,开源社区一日千里。 

来自全球各地的无数开源爱好者通过低成本的训练,能迅速的改造大模型,并通过微调模型(lora),耗费极低(100美元左右)就能实现巨头们斥资千万美金成本实现的效果。        

据斯坦福的论文称,他们共花费了几百美元,让用户的微调指令可以与原始代码分开,从而使其独立于Meta的许可证。  

这样一来,任何人都可以分享和应用不断微调后的模型。 

看起来是Meta的模型泄露了,但是反过来讲,开源爱好者们做出的所有努力都是基于LLaMa的,Meta想用的话可以直接拿来主义,反而受益了。谷歌和OpenAI的大模型是闭源的,自然无法直接用。 

开源的威力有多大?        

比如清华版的ChatGLM把6B版开源,短短一个月下载量超百万。申请合作的企业包括微软、谷歌等巨头,甚至极短的时间内已经有了商业化落地的案例(哈勃)。  

我有一块3060的显卡,12G显存。虽然很多网友说30系列默认矿卡,我按全新价格买的不算便宜,但炼丹一个多月后,这块显卡还是很超值的。

ChatGLM-6B需要13G显存,但量化版可以8G显存跑起来。

我部署完毕后,问了ChatGLM几个问题。

锐思考 | OpenAI没有护城河:当我们能把世界塞进一块显卡里

这几个问题没有什么关联性,跳跃性很大。 

需要指出的是,太阳系最高的山在火星。木星作为一个气态行星,表面是没有固体的“山”的概念。 

无论任何领域,除了个别一本正经的瞎编外,ChatGLM基本都能对答如流。

冷知识:ChatGLM-6B是离线模式。     

这意味着,它掌握的所有知识,都被存在这块显卡里。

这个大模型,几乎塞进了全世界有史以来的全部文本知识。

尽管谷歌和OpenAI还在闭门造车,也许有一天它们也会拿出开源版本,这些整合了全人类全部知识的大模型,很可能一块(或者几块)消费级显卡(当然有点高消费)就可以装下。   

锐思考 | OpenAI没有护城河:当我们能把世界塞进一块显卡里

     

24G显存的消费级顶级显卡4090才1万块,高级的80G显存的算力卡A100才10万块。        

掌握全人类的全部知识,比上MBA都便宜。

说明:来源星空财研微信公众号, 本文作者天渊三,更多锐思考请移步“星空财研”。

锐思考 | OpenAI没有护城河:当我们能把世界塞进一块显卡里