ChatGPT幕后经济账
ChatGPT能否取代Google、传统搜索引擎如百度等？如果能够的话，它们将给我们带来哪些改变？中国为何无法迅速作出ChatGPT的决定？如何在现有的条件下快速有效地将大规模复杂的搜索结果自动转换成人们能够接受的信息呢？目前，关于这些问题的讨论大都局限于大型语言模型（LLM）在技术上的可行性，忽视或十分粗疏地估算出达到上述目的背后所付出的经济代价，由此导致了LLM发展与应用与现实存在偏差的错误判断。
在这篇文章中，笔者以经济学为切入口，对寻找类ChatGPT模型所需代价进行了详细的推导、培训GPT-3和绘制LLM费用轨迹通用框架，以期对探索LLM成本结构及其未来发展问题提供一个有价值的参考视角。
重点概述：
以LLM为动机进行搜索已经济上可行了：粗略估计，根据已有搜索成本结构，高性能LLM推动搜索所需费用大约为目前估计广告收入/询问费的15%。
但是经济上可行并不等于经济上合理：以LLM为动力进行搜索，其单位经济性获利巨大，但是，对于搜索收入超亿美元的已有搜索引擎而言，增加这一特性可能会意味着增加超过亿美元。
还有一些新兴LLM驱动业务获利丰厚：比如Jasper.ai使用LLM生成文案，很可能会有SaaS服务一样的毛利率（超75%）。
对大公司来说，培训LLM（即使是从头开始）费用不高：现在，公有云上培训GPT-3只需要大约万美元，即便是像PaLM这样最先进的车型，也只需要万美元左右。
LLM费用可能明显减少：自从GPT-3问世两年半来，与GPT-3表现相同的模型，其训练及推理成本降低80%左右。
数据对LLM性能产生了新的瓶颈：相对于增大高质量训练数据集规模而言，加入模型参数个数可得到边际收益越来越低。
01
动机方面
LLM令人惊叹的性能引起了广泛的推测，这些推测主要涉及LLM潜在触发的新兴商业模式，以及对已有模式产生的冲击。
年，搜索是个有趣的机会，仅谷歌在搜索相关广告上的营收就超过亿美元[1]。ChatGPT（一种使用LLM的聊天机器人，能够生成高质量的答案，以回答类似搜索的问题）的「病毒式」传播引发了人们对搜索领域潜在影响的诸多思考，其中之一是LLM现在在经济上是否可行：
一名自称谷歌雇员的男子对HackerNews说，为了实现LLM推动下的查找，首先要把它的费用减少10倍。
同时，微软也有望于今年3月发布LLM版Bing产品[3]，而且搜索初创公司，例如You.
转载请注明：http://www.0431gb208.com/sjszlfa/7841.html
