最顶尖的大语言模型人才，只爱护这10个挑战

ion为客户协作了一个聊天机器人，要让这个机器人必均需回答任何产品的任何客户难题，那么所均需表达式，确实是客户的历史记录或该产品的反馈。

因为基本概念大概包括给它的表达式中才会“求学”的，这个过程也被特指表达式求学。

对于索引增强转化（RAG，也是LLM行业运用顺时针的主要方法），表达式总长度尤为最重要。

RAG可以有用包含两个阶段：

第一阶段：分块（也特指索引）

收集所有要供LLM用到的元数据，将这些元数据分成可以输入LLM以转化缓冲的块，并将这些缓冲传输在向量原始数据瓦中才会。

第二阶段：查询

当Gmail投递查询，如“我的保险政策是否是可以支付这种抑制剂X”，LLM将此查询反转为缓冲，我们亦称查询缓冲，向量原始数据瓦才会换取与查询缓冲最完全相同的块。

绘出：来自Jerry Liu关于LlamaIndex（2023）的讲话截绘出

表达式总长度越少长，我们就可以在表达式中才会断开不够多块。但是，基本概念可以到访的反馈越少多，它的回复就才会越少好吗？

十分显然这样。基本概念可以用到多少表达式以及该基本概念将如何高效地用到，是两个不尽相同的难题。与减较低基本概念表达式总长度或多或少最重要的，是对表达式不够高效的求学，后者也被亦称“上才会建筑工程”。

早先一篇风靡一时的科学论文，就是关于基本概念从索引的开头和结尾处比从中才会间顺利进行反馈阐释平庸要好得多：Lost in the Middle: How Language Models Use Long Contexts (Liu et al., 2023).

03融入其他原始数据可定义

无论如何，多可定义是如此强大，却又时常被较低估。

首先，许多想象的运用情景就能够处理过程大量多可定义原始数据，如医疗保健、机器人技术、电子商务、零售、电脑游戏、娱乐等。药理学预测能够同时用到重构（如外科医生的笔记、患者的问卷）和绘出片（如CT、X射线、MRI显像）；产品原始数据往往包含绘出片、视频、描述，甚至是表格原始数据（如生产日期、车重、颜色）。

其次，多可定义承诺能为基本概念安全性带来很大强化。一个既能阐释重构又能阐释绘出片的基本概念，真是不才会比仅仅能阐释重构的基本概念平庸不够佳吗？基于重构的基本概念能够大量的重构原始数据，现在我们确实在担心可用体能训练基于重构基本概念的该网站原始数据才会被耗尽。一旦重构用尽，我们就能够利用其他原始数据可定义。

早先有一个运用顺时针让我感到格外兴奋，那就是，多可定义技术可以帮助视障人士浏览该网站和导航系统想象世界。

表列为几项杰单单的多可定义比对进展：

·[CLIP] Learning Transferable Visual Models From Natural Language vision (OpenAI, 2021)

·Flamingo: a Visual Language Model for Few-Shot Learning (DeepMind, 2022)

·BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models (Salesforce, 2023)

·KOSMOS-1: Language Is Not All You Need: Aligning Perception with Language Models (Microsoft, 2023)

·PaLM-E: An embodied multimodal language model (Google, 2023)

·LLaVA: Visual Instruction Tuning (Liu et al., 2023)

·NeVA: NeMo Vision and Language Assistant (NVIDIA, 2023)

04降较低LLMs的速度和降较低成本

GPT-3.5于2022年11月末首次推单单的时候，很多人对在生产中才会用到该基本概念的延期和成本对此害怕。

而今，GPT-3.5用到造成的延期/成本比对又有了原先推移。在半年内，整个基本概念社区找到了一种种系统，必均需成立一个在安全性方面大部分接近GPT-3.5、但其内存占有用不到前者2%的基本概念。

由此，我的一个论据是：如果你创造单单充足最出色的外面，其他人才会设法使其似乎快速且经济高效。

表列是根据Guanaco科学论文中才会报告的原始数据，该原始数据对比了Guanaco 7B与ChatGPT GPT-3.5和GPT-4的安全性。

能够注意的是，总体而言，这些基本概念安全性都还远非完美。对LLM来说，大幅地强化安全性即便如此不够十分困难。

记得四年前，当我开始着手撰写《其设计机器求学种系统》一书中才会“基本概念缓冲”部分的笔记时，业内主要有四种基本概念改进/缓冲技术：

1.量化：迄今为止最通用的基本概念改进方法。量化通过用到极少的bits来对此基本概念的常量来减小基本概念的形状，例如，不再用到32位来对此浮点数，而只用到16位，甚至4位。

2.专业知识提纯：即体能训练单单一个小基本概念（学生基本概念），它必均需嘲讽一个不够大的基本概念或基本概念子集（教师基本概念）。

3.较低秩转化：它的关键思想是用到较低维向量来替代高维向量，以减小常量的数量。例如，可以将一个3x3的向量转化为一个3x1的向量和一个1x3的向量的幂，从而不再有9个常量，而只有6个常量。

4.剪枝：指通过去掉基本概念中才会对整体安全性助益较小的权重或连接来减小基本概念的形状。

这四种技术至今仍然流行起来。Alpaca是通过专业知识提纯顺利进行体能训练的，QLoRA则采行了较低秩转化和量化的组合方式。

05其设计原先基本概念指令集

自2012年的AlexNet以来，我们不太确实注意到许多指令集潮起又潮落，包括LSTM、seq2seq等。

与这些指令集比起，诞生于2017年的Transformer出现异常稳定，虽然现在尚不清楚这个指令集还才会流行起来多久。

要开发计划一种必均需正因如此Transformer的从新指令集十分容易。在过去的6年中才会，Transformer不太确实经过了大量的改进，在适合于的硬件上，这个基本概念的规模和视觉效果可以达到让人惊异的单单色视觉效果（PS：Transformer最早是由Google其设计成在TPU上快速列车运行的，日后才在GPU上顺利进行了改进）。

2021年，Chris Ré麻省理工学院的比对“Efficiently Modeling Long Sequences with Structured State Spaces” (Gu et al., 2021)，在行业内造成了了大量发表意见。我不太确定日后发生了什么。但Chris Ré麻省理工学院仍在大力开发计划从新指令集，他们早先与始自CorporationTogether合作开发计划推单单了名为Monarch Mixer的指令集。

他们的主要思想是，对于基本的Transformer指令集，注意力的最改进与数列总长度的平方成正比，MLP的最改进与基本概念线性的平方成正比。具有次二次最改进的指令集将不够高效。

我确信许多其他麻省理工学院也在探索这个思路，虽然我不真的是否是有任何不太确实官方网站尝试过的比对。如果您在乎个中才会进展，欢迎联系我！

06开发计划GPU替代可行性

2012年AlexNet诞生以来，GPU仍然是深度求学的主要硬件。

事实上，AlexNet之所以受欢迎，其中才会一个普遍认可的原因是，它是第一篇成功用到GPU体能训练神经网络的科学论文。在GPU在此之后，如果要体能训练一个与AlexNet相当规模的基本概念，你能够动用有数个CPU，就像在AlexNet在此之后几个月Google面世的那台服务器一样。

与有数个CPU比起，几块GPU对于博士生和比对技术人员来说不够容易得到，造成了了深度求学比对的繁荣。

在过去的十年中才会，许多Corporation，无论是大Corporation还是始自Corporation，都试绘出为人工智能成立原先硬件。最相比较的尝试包括Google的TPU、Graphcore的IPU以及Cerebras。SambaNova也筹资了超过10亿美元来开发计划原先AIROM，但似乎已转向带进转化式AI平台。

期间，粒子计数也造成了了很多期望，其中才会主要举例来说包括：

·IBM的粒子处理过程器

·Google的粒子计数机 。 今年早些时候在《自然》杂志上报告了粒子严重错误降较低的最重要重大意涵。它的粒子虚拟机可以通过Google Colab官方网站到访。

·高等院校的比对麻省理工学院，如MIT粒子建筑工程中才会心、拉普粒子光学比对所、芝加哥粒子交流活动中才会心等。

另一个或多或少意想不到的顺时针是电磁辐射ROM。这是我了解至多的顺时针，如有严重错误，望先为。

基本ROM用到的电力传输原始数据，这消耗掉了大量电磁场，并产生了延期。电磁辐射ROM用到电磁辐射传输原始数据，利用光的速度顺利进行不够快、不够高效的计数。在这一教育领域，各种始自Corporation已筹资了数亿美元，包括Lightmatter（2.7亿美元）、Ayar Labs（2.2亿美元）、Lightelligence（2亿美元以上）和Luminous Computing（1.15亿美元）。

表列是电磁辐射乘法计数三种主要方法的进展时间线，摘自Photonic matrix multiplication lights up photonic accelerator and beyond (Zhou et al., Nature 2022).。这三种不尽相同的方法分别是矩形光反转（PLC）、马赫-曾德干涉仪（MZI）和波分复用（WDM）。

07降较低agent的可用性

agent可以视为必均需敦促的LLMs，例如浏览该网站、投递电子邮件等。与本文中才会的其他比对顺时针比起，这确实是最年长的顺时针。

由于其从新颖性和很大实用价值，人们对agent产生了极大的兴趣。Auto-GPT现在是GitHub上星标数量排名第25的最受欢迎的瓦。GPT-Engineering也是另一个受欢迎的瓦。

尽管如此，人们仍然对LLMs是否是充足可靠、安全性很差、兼顾一定行动技能存在疑虑。

现在有一个无聊的运用顺时针，是将agent可用社才会比对。一项斯坦福实验得出结论，领头转化式agent产生了从新兴的社才会行为：仅仅从一个Gmail指定的想法开始，即一个agent想要举办父亲节聚才会，其他一些agent在接下来的两天内自主传播了聚才会的聘请，遇见了从新朋友，相互聘请参与聚才会...（(Generative Agents: Interactive Simulacra of Human Behior, Park et al., 2023）。

在这一教育领域，最相比较的始自Corporation确实是Adept，由两位Transformer的合著者（尽管两人都已离去）和一位前OpenAICEO始创，迄今已筹资了近5亿美元。去年，他们展示了其开发计划的agen如何浏览该网站并在Salesforce上附加从新金融交易。我期望注意到他们的从新演示

。

嗓子疼有火吃点什么药
迈普新能否治黑色素瘤
积大本特治前列腺增生好吗
氨糖和双醋瑞因能同时服用吗
拉肚子吃什么药最好