是不是中小公司也可以搞大模型了?
314B,建议用5块h100,一般群众玩不动吧
看到这,有网友开始好奇 314B 参数的 Grok-1 到底需要怎样的配置才能运行。对此有人给出答案:可能需要一台拥有 628 GB GPU 内存的机器(每个参数 2 字节)。这么算下来,8xH100(每个 80GB)就可以了。
https://github.com/xai-org/grok-1?tab=readme-ov-file 搞大模型的实际意义在哪?就算搞了也搞不过人家吧。我觉得通过大模型衍生出来的应该更有意义!
可以跑,但是目前不知道跑点啥,有哪位兄台有啥思路一起玩玩?