CYL699.VIP 4o-mini独一8B，o1也才300B！微软论文无意曝光GPT中枢奥密
微软又把OpenAI的奥密走漏了？？在论文中后堂堂写着：
o1-preview约300B参数，GPT-4o约200B，GPT-4o-mini约8B……
英伟达2024年头发布B200时，就摊牌了GPT-4是1.8T MoE也等于1800B，这里微软的数字更精准，为1.76T。
除此除外，论文中给OpenAI的mini系列，Claude3.5 Sonnet也齐附上了参数，归来如下：
o1-preview约300B；o1-mini约100BGPT-4o约200B；GPT-4o-mini约8BClaude 3.5 Sonnet 2024-10-22版块约175B微软我方的Phi-3-7B，这个不必约了等于7B诚然论文中背面也有免责声明：
真正数据尚未公开，这里大部分数字是预料的。
但照旧有不少东谈主以为事情没这样通俗。
比如为什么独一莫得放谷歌Gemini模子的参数预料？无意他们对放出来的数字照旧有信心的。
也有东谈主认为，大大宗模子齐是在英伟达GPU上开动的，是以不错通过token生成速率来预料。
独一谷歌模子是在TPU上开动的，是以不好预料。
何况微软也不是第一次干这事了。
23年10月，微软就在一篇论文里“无意”曝出GPT-3.5-Turbo模子的20B参数，在后续论文版块中又删除了这一信息。
就说你是专门的照旧不留神的？
微软这篇论文说了什么
本色上，原论文先容了一项与医学联系的benchmark——MEDEC。
12月26日就仍是发布，不外是相比垂直边界的论文，可能非联系标的的东谈主齐不会看，年后才被列灯谜克网友们发现。
规画启事是，据好意思国医疗机构拜访裸露，有1/5的患者在阅读临床札记时叙述发现了异常，而40%的患者认为这些异常可能影响他们的休养。
何况另一方面，LLMs(大讲话模子）被越来越多的用于医学文档任务（如生成诊疗措施）。
因此，MEDEC此番有两个任务。一是识别并发现临床札记中的异常；二是还能给予改正。
为了进行规画，MEDEC数据集包含3848份临床文本，其中包括来自三个好意思国病院系统的488份临床札记，这些札记之前未被任何LLM见过。
它涵盖五种类型的异常（会诊、搞定、休养、药物休养和致病因子），这些异常类型是通过分析医学委员会窥伺中最常见的问题类型选拔的，并由8位医疗东谈主员参与异常标注。
而参数走漏即发生在执行设施。
在谈到防守时，潘江表示，球队在防守方面必须作出取舍，尤其是在对抗外援时，彩娱乐登陆网址入口官网他们无法做到每个位置都防得严密。他肯定了对萨姆纳的防守策略，尽管对手近期表现出色，取得过五十多分，但本场比赛萨姆纳21投仅6中，这一防守效果令人满意。然而，由于对萨姆纳的重点防守，其他四川球员开始发挥出色，全队有七名球员得分上双，反映出专注度不足以及球队在防守上的短期失位。潘江表示，只要能赢得比赛就足够了。
按照执行狡计，规画者将选取近期主流的大模子和小模子来参与札记识别和纠错。
而就在先容最终遴选的模子时，模子参数、发布时代一下子齐被公开了。
对了，省去中间历程，这项规画得出的论断是：Claude 3.5 Sonnet在异常记号检测方面优于其他LLM措施，得分为70.16，第二名是o1-mini。
网友：按价钱算合理
每一次，ChatGPT联系模子架构和参数走漏，齐会引起山地风云，此次也不例外。
23年10月，微软论文宣称GPT-3.5-Turbo独一20B参数的时候，就有东谈主赞誉：难怪OpenAI对开源模子这样病笃。
24年3月，英伟达阐明GPT-4是1.8T MoE，而2000张B200不错在90天内完成老师的时候，全球以为MoE仍是且仍将是大模子架构趋势。
这一次，基于微软预料的数据，网友们主要有几个宥恕点：
要是Claude 3.5 Sonnet简直比GPT-4o还小， 那Anthropic团队就领有时代上风。
以及不确信GPT-4o-mini独一8B这样小。
不外此前也有东谈主把柄推理资原来算，4o-mini的价钱是3.5-turbo的40%，要是3.5-turbo的20B数字准确，那么4o-mini刚好是8B阁下。
不外这里的8B亦然指MoE模子的激活参数。
总之，OpenAI概况是不会公布真正数字了。
此前奥特曼搜集2024年新年愿望，终末公布的清单中还有“开源”。2025年的最新版块里，开源仍是被去掉了。
论文地址：
https://arxiv.org/pdf/2412.19260