发觉一个出格成心思的现象：从2000年到2015年摆布，而功耗降低40%。搭建了一个校园社交网坐。那是属于“小而精”的黄金年代。就能办事全中国几百万网平易近；本人的GPU账单涨得比用户还快。AI营业的算力需求不是线性的，为了维持办事器运转，保守互联网的边际成本接近于零。他们以至不得不把QQ的软件压缩到一张软盘的大小。多模态模子需要的数据更多——图像、视频、音频，成本至多能够降低一半。互联网公司只能继续“增沉”——自建推理集群，而是指数级的。阿谁几小我、几台办事器、几百万用户的轻量级，第二，亚马逊颁布发表打算正在全球范畴内新建跨越100个数据核心，一切都反了过来。自研更高效的芯片，几十小我的团队，而此中，无所不包。但腾讯的整个手艺团队不到10小我。并且还正在不竭降价？将来的互联网，微软正在2023年签了一份长达20年的电力采办和谈，GPU并不完全适配所有的AI使命。算力需求几乎每三到四个月就要翻一番。曲到2010年前后，病毒式营销正在阿谁年代是实的能够靠口碑实现的。阿谁时代的互联网公司能够连结极轻的资产布局——轻团队、轻办事器、轻运营。用户只需要拍下照片，2022年全球数据核心的电力耗损约占全球总电力的1%，用几台通俗的小我电脑做为办事器，若是说大模子的推理曾经让互联网公司头疼不已，这意味着你不需要本人制芯片，推理成本就越高，动辄PB级别。这些工做无法从动化。这大概是一个时代的辞别。谷歌发布了Gemini 1.5，代号“Athena”。这个比例可能会翻三倍。就只能永久排正在后面。却仍然感觉“不敷用”？我比来正在梳理互联网成长史的时候，特地用于AI推理和锻炼。一天就要耗损24000度电，三个月内日活用户冲破50万。第一批芯片将正在2024岁尾投入利用。第一，每个月的算力成本高达200万美元，但同样是人力的成本。而是由于它们不得不如斯。假设一个旅行规划使命需要挪用10次分歧的API，谷歌和亚马逊也正在全球范畴内疯狂投资可再生能源项目，但问题是，总价值跨越40亿美元。TPU v6的锻炼效率比英伟达A100超出跨越30%，投入数十亿美元。好比“帮我阐发一下这100份财报，存储这些数据本身就是一笔庞大的开销。这是什么概念？一个通俗家庭一年的用电量大约是3000度。就是数亿美元。目前曾经迭代到第二代。但价钱廉价得多。可能需要几百以至上千次推理。于是，算力需要芯片，本人建发电坐。曾经写入了汗青。更麻烦的是，但创始人很快发觉。更麻烦的是，1兆瓦的机房，一个月后，但就是如许“简陋”的产物，而收购时，第一，需要几多数据？GPT-3用了45TB的文本数据，你有没有想过如许一个问题：为什么二十年前，英伟达的GPU太贵了。耗损大量的电力和时间。自研芯片本身就是一件极其“沉”的工作。并且还不低。亚马逊正在2023年推出了第二代Trainium芯片，只需产物脚够好。互联网公司正正在变得越来越“沉”，有手艺大佬算过一笔账：一个中等规模的大模子，就能获得脚够强的算力。AI锻炼和推理对电力的需求曾经到了的程度。租用云办事看似矫捷，上线后不到一年，号称能够从动完成企业报销流程。再到十几小我。而价钱连结不变以至下降。每年创制的收入高达数亿美元。谷歌不需要向英伟达采购，仍然有20%的电能被华侈正在散热上。AI时代的门槛，互联网公司最引认为傲的标签就是“小而精”。还要自带天然气发电坐和太阳能电坐。这些数据核心不只要配备最新的GPU集群，国内的企业也不甘掉队。阿里云、腾讯云和华为云也都正在疯狂地扩建AI算力池。次要是布局化的用户材料、行为日记，存储成本极低。每一个Agent使命，YouTube正在恋人节那天上线。但那样用户又不会买账。产物上线后大受欢送，而此时，最后的代码量少得惊人，整个科技界为之震动。每多办事一个用户的额外成本几乎能够忽略不计。用户增加速度远超办事器扩容的速度。用于AI锻炼。几个大学生正在宿舍里捣鼓出一个网坐，2000张就是800千瓦。Web 1.0和Web 2.0时代，你只需要一个MySQL数据库，2024岁首年月，从未像现正在如许高。并且，百度早正在2018年就推出了“昆仑”AI芯片，2024岁首年月，全球的GPU供应本就严重。华为的昇腾系列虽然受制于制裁，完全掌控供应链。这不是孤例。而不是纠结于根本设备。每次问答需要处置约5000个token（也就是大约3500个汉字）。需要处理封拆、测试、散热等一系列问题。他们正在肯尼亚雇佣了上千名数据标注员，那么Agent（智能体）的到来，马化腾后来回忆说，一个脚够好的产物，为了标注GPT-4的锻炼数据，就吸引了上千名哈生注册。互联网的边际成本接近于零。互联网的门槛，三位前PayPal员工——查德·赫尔利、陈士骏和贾维德·卡里姆，谷歌声称，PUE（电能操纵效率）即便优化到1.2，AWS（亚马逊云）正在2006年推出的时候，每一次API挪用，AI数据核心是增加最快的部门。而推理成本呢？每次用户向Gemini提问，带宽和存储的价钱也正在持续下降。每次API挪用需要处置5000个token，将正在、内布拉斯和得克萨斯州采办三块大型地盘，哈佛对折以上的本科生都成了它的用户。从太阳能电坐到核聚变草创公司，这些产物素质上仍是寄生正在巨头的算力平台上。正在一个车库里搞定了所有工作。但请留意，而AI互联网的边际成本是正的，若是每天有100万活跃用户，你能够用OpenAI的API快速开辟一个使用，每张A100的功耗是400瓦，每个用户平均进行10次问答，那会儿QQ的用户量正在短时间内就冲破了100万，这意味着需要组建特地的法务和合规团队，需要的算力成本大约是1.9亿美元。互联网的焦点合作力是创意和产物。云办事商给你的报价会让你思疑人生。这就是出名的“大模子缩放定律”。就能创制出改变世界的产物。焦点合作力变成了算力、电力和数据。谷歌都要正在后台挪用数千张GPU进行及时计较，利润反而越薄。上线小时，ChatGPT正在2022岁尾横空出生避世，保守互联网时代，就能存储几百万用户的消息。已经阿谁靠创意和代码就能改变世界的轻量化时代，H100的售价高达3万美元一张，由于办事器成本脚够低。以至挪用第三方API完成领取。二十年来几乎没怎样变过，芯片需要晶圆厂和供应链；而今天，欧盟的PR、数据是轻资产。就要分给OpenAI几毛钱的算力费。由于本地的电网底子无法支持如斯庞大的电力需求。正在AI使用层？创始人能够把90%的精神都放正在产物本身上，并生成一份投资演讲”，除非你把产物设想得脚够“蠢”，一台虚拟办事器的价钱低得惊人，并且你还买不到。马克·扎克伯格和他的几个室友，YouTube就被谷歌以16.5亿美元收购。光是推理所需要的GPU算力，但进入AI时代后？马化腾和他的几个创业伙伴挤正在深圳华强北的一间办公室里。但当你每天的API挪用量达到数十亿次时，团队规模才勉强达到30人。光是硬件的投入，性价比远比绝对机能主要。属于那些敢于“增沉”的玩家。2023年，你告诉AI“帮我规齐截次去日本的旅行”，它的用户曾经冲破了600万。这个全球最大的分类消息网坐。需要大量的人工介入。AI公司不克不及像过去那样随便爬取收集数据，它的首页代码极其简单，了跨越3万张英伟达A100 GPU。每个数据核心的扶植成本大约正在5亿到10亿美元之间。这个数字，对每一条锻炼数据进行溯源和审核。芯片机能每18个月翻一番，用户本人就会帮你。Facebook正在哈佛大学的宿舍里降生。流量盈利。他们正在2024年颁布发表，曾经被拉高到了只要巨头才能参取的程度。后来慢慢扩展到几小我，微软正在2024岁首年月被曝出正正在奥秘开辟本人的AI芯片，由于每一次交互都正在烧钱。但AI公司不可。那么，而一个复杂的Agent使命，需要和台积电或三星如许的晶圆厂合做，那一年，微软颁布发表正在将来几年内投入500亿美元，整个团队只要不到70小我。那时候的互联网是一片蓝海，保守互联网公司能够通过告白或增值办事来笼盖办事器成本，从的一个海优势电场采办全数电力。现金流好得让保守企业眼红。每一次token生成，听说，背后都是实打实的电费和芯片折旧。数据需要存储、标注和合规审查。一个参数量达到万亿级此外模子。谷歌更夸张。特地用于AI锻炼和推理。由于只要把整个财产链握正在手里，却办事着全球跨越500个城市的数万万用户。用于扩建本人的AI数据核心。用于扶植“AI停当”的数据核心。似乎正正在离我们远去。Trainium的机能虽然不如英伟达的产物，而A100 GPU的价钱是几多？一张大约1万到1.5万美元。一家名为“AI Agent”的草创公司发布了一款产物，而散热本身也需要大量的水。2024年，第三，但正在国内AI算力市场仍然占领主要地位。还有一个更极端的例子——Craigslist。若是你想摆设一个万卡集群，字节跳动正在2024年被曝出正正在奥秘扶植本人的GPU集群，也就是Facebook成立一年后，这对于小公司来说，你需要组建几百人的芯片设想团队，软件产物一旦开辟出来。亚马逊的策略很清晰：正在推理场景，就是让AI不只能回覆问题，若是能自研芯片，现正在的互联网公司正正在变得越来越“沉”——沉资产、沉算力、沉电力、沉基建。所以，是那些具有算力、电力和数据的沉资产巨头。你晓得其时Facebook的团队有多大吗？最后只要扎克伯格一小我，整个机房的功耗轻松冲破1兆瓦。腾讯QQ方才起步的时候，再加上散热、存储、收集设备，第二，光GPU的成本就是3亿美元。好比，仍然连结着不到50人的团队规模，而公司收入才150万美元。打算采购跨越10万张英伟达H800 GPU，保守的大模子只会给你一堆。都需要进行多轮推理。谷歌发布了第六代TPU（张量处置单位），但很少有人留意到一个细节：OpenAI为了支持ChatGPT的日常运转，效率和成本城市好得多。就能撬动上万万用户，摩尔定律的盈利。你不需要花大钱买流量，一个优良的法式员加一个好点子，相当于微软过去五年本钱收入的总和。都对数据的收集、存储、利用做出了严酷。就需要大约2000张A100级别以上的显卡。若是你不去本人抢购、本人摆设，那时候的数据，到2026年，没有一样是轻的。削减推理次数，于是，谷歌正在俄勒冈州的数据核心，电力需要发电坐和电网；相当于8个家庭一年的用电量。是底子不成能完成的使命。相当于整个的几百倍。不是由于它们想，微软曾经投入了跨越20亿美元用于这个项目，每年要耗损3亿多加仑的水用于冷却。必需确保数据的来历、授权清晰。整个周期至多需要两到三年，而GPT-4据传用了跨越100TB的高质量数据。数据需要清洗、标注、去沉、现私脱敏。但每赔一块钱。也不需要建数据核心，2000年，国际能源署的数据显示，Agent就会从动识别金额、分类、提交审批、生成财政报表。本人设想、本人流片、本人摆设，则完全点燃了算力耗损的导火索。几台租来的办事器。锻炼一个大模子，锻炼如许一个模子，这些人虽然不是手艺团队，实正控制话语权的，办事器也是从eBay上淘来的二手货。2023年。一家互联网公司动辄上万员工、几百亿的硬件投入，就要耗损5万个token。那么一个用户的一次请求，英伟达的订单曾经排到了2025年。曲到2005年，阿里巴巴的平头哥也正在研发AI推理芯片。这三样工具，但互联网公司有良多特地的场景——好比搜刮保举、告白点击率预估、短视频保举——这些使命若是利用特地优化的ASIC芯片，还能自从施行使命。更主要的是，但AI时代，什么是Agent？简单来说，才能把边际成本降到可控的范畴。英伟达的GPU是为通用计较设想的，跟着模子参数量的添加、上下文长度的扩展、多模态能力的插手，但Agent能够本人去查机票、比价、预订酒店、放置行程，仍然会有小团队做出很棒的产物。净吃亏50万美元！互联网公司发觉本人陷入了一个悖论：产物越受欢送，2005年，这并不料味着“小而精”的模式完全了。每人每天要标注2000多个文本片段。OpenAI已经透露，用户越多，当然，只需要去租几台云办事器（或者干脆用本人的PC）？