SamAltman 的欧洲之行仍在进行中。前不久,在伦敦,他和 AI 公司 HumanLooop 的 CEO 进行了一次闭门讨论。HumanLoop 是一家帮助开发者在大语言模型上构建应用的公司。
HumanLoop 的 CEO Raza Habib 记录了这次谈话的要点,并公开在公司官网上。但随后在 OpenAI 的要求下,这份纪要被撤下。这反而增强了外界对这次谈话的好奇心。有人推测,是其中所涉及的 OpenAI 的一些想法有所更改。
极客公园在浏览了这份被删除的谈话纪要后,发现其中不仅涉及 Sam 眼中对OpenAI的短期规划,也隐藏着获得微软云计算资源大力支持后,OpenAI 所承担的压力。毕竟,模型的微调、推理依旧消耗大量计算资源。据 The Information 报道,Open AI 的模型已经花费了 Microsoft Azure 12 亿美元,将计算资源集中于支持 OpenAI,也让微软的其他部门可使用的服务器受限。
【资料图】
对此,Sam 表示降低成本是目前的首要目标。
此外,Sam 还透露:目前,开放更长的上下文窗口、提供微调 API 等服务都受到GPU资源的限制;
这场对话中,Sam Altman 回应了许多外界关心的问题,比如竞争与商业化:
尽管刚刚招聘了一位世界级的产品经理 Peter Deng,但OpenAI 不会考虑发布更多的产品;
未来的应用趋势是大模型的功能嵌入更多APPs,而不是在ChatGPT上生长出更多插件,因为现实中大多数插件并没有呈现出 PMF(Product / Market Fit,即产品市场匹配);
过去几年,OpenAI 以数百万倍的速度扩展模型规模,但这样的速度不可持续。接下来,OpenAI 会继续以 1 到 3 倍的速度,增加模型规模,以提升模型性能。
谈话纪要公开于 5 月 29 日,根据网友的记录,于 6 月 3 日左右删除。以下是通过备份获得的内容:
01
OpenAI目前受到
GPU的严重限制
随着对话扩展,
所需的计算资源呈指数增长
目前 OpenAI 的 GPU 非常有限,这拖延了他们许多短期计划。客户*的抱怨是 API 的可靠性和速度。Sam 承认他们的担忧,并解释说,大部分问题是由于 GPU 短缺。
The longer 32k context can』t yet be rolled out to more people. OpenAI haven』t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.
更长的 32K 上下文还不能提供给更多的人。OpenAI 还没有克服注意力机制的 O (n ^ 2) 的扩展问题,尽管看起来,他们很快 (今年) 就会拥有 100k-1M Token 的上下文窗口。任何更大的窗口都需要研究突破。
注:O (n^2) 意味着,随着序列长度的增加,执行 Attention 计算所需的计算资源呈指数增长。O 用来描述算法时间或空间复杂度增长速度的上限或最坏情况;(n^2)表示复杂度与输入大小的平方成正比。
微调 API 目前也受到 GPU 可用性的限制。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法,因此,通过微调进行运行和管理(模型)非常计算密集。未来将对微调提供更好的支持。他们甚至可能主持一个基于社区的模型贡献市场。
专用容量供应受 GPU 可用性的限制。OpenAI 提供专用容量,为客户提供模型的私有副本。要获得这项服务,客户必须愿意承诺预先支付 10 万美元。
02
OpenAI的近期路线图
2023,降低智能成本;
2024,多模态的有限演示
Sam 也分享了他所看到的 OpenAI API 临时近期路线图。
2023:
更便宜更快的 GPT-4ーー这是他们的首要任务。总体而言,OpenAI 的目标是尽可能地降低「智能成本」,因此他们将努力工作,随着时间的推移继续降低 API 的成本。
更长的上下文窗口ーー在不久的将来,上下文窗口可能高达 100 万个 Token。
微调APIー微调 API 将扩展到最新模型,但具体的形式将取决于开发者表明他们真正想要什么。
一个有状态的API(stateful API)- 当今天调用聊天 API 时,你必须反复通过相同的会话历史,反复支付相同的 tokens。将来会有一个版本的 API 可以记住会话历史记录。
2024:
多模态- 这作为 GPT-4 版本的一部分进行演示,但在更多 GPU 上线之前不能扩展到所有人。
03
商业化预判和思考:
插件「没有 PMF」,
可能不会很快出现在 API 中
很多开发者都对通过 API 访问 ChatGPT 插件感兴趣,但 Sam 说他认为这些插件不会很快发布。除了 Brosing 插件 之外,其他插件的使用情况表明还没有 PMF(Product/Market Fit)。他指出,很多人认为他们希望自己的应用程序位于 ChatGPT 之内,但他们真正想要的是 ChatGPT 存在于应用中。
04
除了 ChatGPT,
OpenAI 将避免与其客户竞争
伟大的公司都有
一个杀手级应用
不少开发者表示,他们对使用 OpenAI API 开发感到紧张,因为 OpenAI 最终可能发布对他们有竞争力的产品。Sam 说,OpenAI 不会在 ChatGPT 之外发布更多的产品。他说,历史上,伟大的平台公司有一个杀手级应用。ChatGPT 将允许开发者成为自己产品的客户来改进 API。ChatGPT 的愿景是成为一个超级智能的工作助理,但很多其他的 GPT 用例,OpenAI 不会涉及。
05
需要监管,
但不是现在
「我对多少个人和公司
有能力持有大模型表示怀疑」
虽然 Sam 呼吁对未来的模型进行监管,但他认为现有模型并不危险,认为监管或禁止它们是一个大错误。他再次强调了开源的重要性,并表示 OpenAI 正在考虑将 GPT-3 开源。他们还没有开源,部分原因是他对有多少个人和公司有能力持有和服务大型语言模型(LLMs)表示怀疑。
06
规模定律仍然适用
几年数百万倍的扩展速度,
不可能一直持续下去
最近有很多文章声称「巨型 AI 模型的时代已经过去」。这并不准确。(注:在 4 月一场在 MIT 的活动中,Sam Altman 曾经表示:我们现在已经接近巨大模型时代的尾声。)
OpenAI 的内部数据表明,模型性能的规模定律仍然适用,增加模型的大小将继续提高性能。
由于 OpenAI 在短短几年内就将模型扩大了数百万倍,这样的扩展速度不可能持续下去。这并不意味着 OpenAI 不会继续尝试把模型做得更大,而是意味着,它们每年的规模可能会增加一倍或三倍,而不是增加许多数量级。
规模定律有效对 AGI 开发时间线有重要意义。规模定律的假设是我们可能已经具备构建 AGI 所需的大部分要素,并且剩下的工作,主要是将现有方法扩展到更大的模型和更大的数据集上。如果规模的时代已经过去,那么我们可能会离 AGI 更遥远。规模定律继续适用的事实,强烈暗示着更短的时间线。
标签:
上一篇 : 思科认证初级_思科认证有多少个级别简介介绍-观热点
下一篇 : 最后一页
SamAltman的欧洲之行仍在进行中。前不久,在伦敦,他和AI公司HumanLooop的CEO进行了一次闭门讨论。HumanLoop是一家帮助
06-08 02:44:00
对于思科认证有多少个级别这个问题感兴趣的朋友应该很多,这个也是目前大家比较关注的问题,那么下面小好小
06-08 02:19:07
6月7日,沪指盘中窄幅震荡,尾盘探底回升翻红;创业板指弱势下探,盘中跌近2%再创逾一年新低;两市成交额再
06-08 01:25:21
有投资者在投资者互动平台提问:公司是否有司美格鲁肽相关产品或研究合作项目?康龙化成(300759 SZ)6月7
06-08 00:56:16
最近,外卖包装收费不合理问题引发关注。
06-08 00:37:27
刚刚,IDC发布报告*: 腾讯云数据库TDSQL持续领跑市场,在Top5厂商中,整体收入同比增速、本地部署模式
06-07 23:48:08
1、春江新城社区是2013年11月组建的社区,位于南京市铁心桥街道江泉路以东,宁丹路以西。2、三江学院以北,
06-07 22:55:59
23安徽债61发布发行公告
06-07 22:28:33
中国江苏网6月7日常州讯2015年6月,江苏常州经济开发区成立。8年,以奋斗作笔,以实干落墨,“勇当先行...
06-07 22:23:11
“刘院长,今天下午预计会有大雨,黄梅街道巫墅村120亩小麦急需收割,请求学院支援。”6月4日上午9点,...
06-07 22:07:17
23安徽债59发布发行公告
06-07 21:24:51
如今,阳光城陷入债务危机一年多,创始人仍奔走在自救一线,但其困局率先在资本市场中显现出来。对此,中指
06-07 20:46:39
6月7日,国债期货多数收涨,30年期主力合约涨0 22%,10年期主力合约涨0 09%,5年期主力合约涨0 04%,2年期
06-07 20:30:05
恩捷股份(002812)06月07日在投资者互动平台表示:您好,公司现有隔膜产品适用于储能电池。同时公司积极拓
06-07 20:11:33
南京一大学生宿舍内被害,疑似被人用刀捅伤身亡,嫌疑人已被控制文 小何社会论(本文原创禁止抄袭)标题:
06-07 19:44:47
二度烫伤在生活中很常见。局部表现为创面水疱,水疱饱满。创面基底红润,湿润,渗出物较多,基底弹性好,疼
06-07 19:15:19
天门法院强制执行3起生态违法案,助力绿色发展---为推进全市生态文明建设,助力绿色发展,天门法院开展涉环
06-07 18:32:34
华贵人寿以及汪振武等高管被罚349 5万,经营何时迎转机?,持股,汪振武,保险业,华贵人寿,业绩发布会
06-07 18:30:36
近日,买车网Buycar获悉,公安部宣布继续扩大私家车新车上牌免查验试点,悦达起亚成功入选第二批18家“公安
06-07 17:45:43
十年前,一个人打破一扇“门”,暴露美国情报机构在世界各地肆无忌惮的监听和情报窃取活动。这扇“门”...
06-07 17:26:37
IT之家6月7日消息,今日2023年全国高考正式拉开序幕,今天上午语文科目考试已经结束,作文题目再次成为焦点
06-07 16:56:13
1、详细钢管规格如下:4分外径21mm壁厚2 0-2 5、6分外径26mm壁厚2 0-2 5、1寸外径32mm壁厚1 7
06-07 16:53:21
截至2023年第一季度,全国旅行社总数为47069家。在第一季度中,全国旅行社组织国内旅游4528 66万人天、外联
06-07 16:36:29
2023年重庆企业职工退休金怎么计算?重庆2023退休养老金方案何时出?随社保网小编来看看。养老金(pension
06-07 16:02:55
空姐工资为:1 基础工资,2 飞行小时数3 驻外补贴。空乘会按照职务来分配基本工资:见习乘务员,普通乘务员
06-07 15:09:26
Cola-StateMachine组件是一种轻量级的、无状态的、基于注解的状态机实现,可以方便地管理订单等业务对象的
06-07 15:02:57
5月11家车企召回118万辆,特斯拉占比超9成6月7日,国家市场监督管理总局披露,今年5月共11家汽车生产企业向
06-07 14:26:34
信用卡逾期不良信用记录什么时候会消除?1、通过个人信用异议申请消
06-07 13:29:28
5月31日下午,市人大常委会副主任、县委书记陈泓调研博爱县“三夏”生产、秸秆禁烧、防汛工作。县委常委...
06-07 12:59:00
新华社权威快报丨前5个月我国货物贸易进出口同比增长4 7%---海关总署6月7日发布数据显示2023年前5个月我国
06-07 12:24:47
10名中国选手赌球被禁赛,中国台球协会回应
06-07 11:50:55
眼下,在330千伏威凉一、二回28号杆塔下,兰张三四线高铁铺轨工作正如火如荼进行,国网武威供电公司输电运
06-07 09:47:14
刚进入校长办公室,甘雨便眼前一亮。办公室很整洁利落,没有多余的花里胡哨的装修。枣红色的木桌上放着一台
06-07 09:22:17
白沫河畔水连天,茶马古道此溯源。一线沉浮千里雪,马铃来往春秋间。(孟勇诗书画)
06-07 08:58:29
昨天晚上小编睡得比较晚,原因是在处理一些“互联网赚钱必修课”的东西。在这个过程中我按照往常一样使...
06-07 08:17:30
想必现在有很多小伙伴对于谢谢喵是什么意思,关注喵关注谢谢喵什么梗方面的知识都比较想要了解,那么今天小
06-07 07:56:01
1、“寸”字加偏旁的字有:村、付、肘、过、对、忖、射、时、存、刌、吋。2、释义1 中国市制长度单位,...
06-07 07:28:52
想必现在有很多小伙伴对于网络语心塞是什么意思,女人说心塞是什么意思方面的知识都比较想要了解,那么今天
06-07 07:31:25
1、退货运费险(买家版)针对网络交易的特征,适时推出退货运费险产品,也简称“退运保险”。2、针对支持...
06-07 06:59:34
1、“何以解忧,唯有杜康”经常被人们引用,意思是只有酒才能解除我心头的忧虑,和李白“举杯浇愁”意思...
06-07 06:21:45
加快上市步伐!淮安组织重点拟上市企业走进北交所
06-07 06:09:02
1、某人姐姐或者妹妹的子女叫做某人外甥或者外甥女,简单一点说它和侄子侄女的区别就是:侄子和侄女是哥哥或
06-07 05:58:57
1、位于四川省,德阳市。2、是经四川省人民政府批准组建的、国家公办高等职业技术学院,学院渊源1956年创建
06-07 05:29:10
今夏沙特联赛成为所有人关注的焦点,他们在去年世界杯结束之后拿下C罗,影响力倍增,相关的转播、赞助等收
06-07 04:48:01
1、下载土豆视频,上边有,本人亲测(【面子-原版完整版】清晰度不够高。2、找到【面子】这个清晰度还好)
06-07 04:32:15
1、南回归线是太阳直射点回归运动时移到最南时所在的纬线,其纬度数值等于黄赤交角,大约在南纬23度26分。2
06-07 03:59:48
中国国民党2024参选人、新北市长侯友宜6日晚间拜访新竹县议会,受到新竹县议长张镇荣欢迎。张镇荣更出面作
06-07 03:20:37
1、问导演去啊。2、麻辣变形计第二季还没拍呢,所以最早也要2017年才播了2016年六月开始拍摄,2017年登陆湖
06-07 02:23:45
题:邬贺铨院士:面向AR VR、车联网,5G能力不足需提升中新财经记者刘育英苹果刚发布的MR(混合现实)头显设
06-07 01:22:43
送政策、送需求、送补贴;制造端、应用端、投资端齐驱动……广东省发展新型储能产业打出“组合拳”。
06-07 00:33:33
SamAltman的欧洲之行仍在进行中。前不久,在伦敦,他和AI公司HumanLooop的CEO进行了一次闭门讨论。HumanLoop是一家帮助
2023-06-08
对于思科认证有多少个级别这个问题感兴趣的朋友应该很多,这个也是目前大家比较关注的问题,那么下面小好小
2023-06-08
6月7日,沪指盘中窄幅震荡,尾盘探底回升翻红;创业板指弱势下探,盘中跌近2%再创逾一年新低;两市成交额再
2023-06-08
有投资者在投资者互动平台提问:公司是否有司美格鲁肽相关产品或研究合作项目?康龙化成(300759 SZ)6月7
2023-06-08
最近,外卖包装收费不合理问题引发关注。
2023-06-08
日前从邢台市新闻办举办的南宫专场新闻发布会获悉,今年以来,南宫市坚持外引内育,大力开展招商引资,...
近日,从海带中制造环保纱线的材料创新者AlgiKnit宣布获得1300万美元(8735 6万元)的A轮融资,以通过加...
概念特点1、 定义:纤维是天然或人工合成的细丝状物质,纺织纤维则是指用来纺织布的纤维。2、 纺织纤...
中新网西宁11月21日电 题:青海水润高原:从“大动脉”到“毛细血管”的精准管理 作者 谈林明...
中新网西宁11月21日电 (记者 张添福)青海省卫生健康委员会21日消息,该省第3例本土确诊病例经过20...
Copyright © 2015-2022 华南纤维网版权所有 备案号:粤ICP备18025786号-52 联系邮箱: 954 29 18 82 @qq.com