LLM
LLM-Blender：大语言模型排序融合框架
随着Alpaca, Vicuna, Baize, Koala等诸多大型语言模型的问世，研究人员发现虽然一些模型比如Vicuna的整体的平均表现最优，但是针对每个单独的输入，其最优模型的分布实际上是非常分散的，比如最好的Vicuna也只在20%的任务里比其他模型有优势。 有没有可能通过集成学习来综合诸 ......
刷新20项代码任务SOTA，Salesforce提出新型基础LLM系列编码器-解码器Code T5+
前言 大型语言模型 (LLMs) 最近在代码层面的一系列下游任务中表现十分出彩。通过对大量基于代码的数据 (如 GitHub 公共数据) 进行预训练，LLM 可以学习丰富的上下文表征，这些表征可以迁移到各种与代码相关的下游任务。但是，许多现有的模型只能在一部分任务中表现良好，这可能是架构和预训练任务 ......
LLM开发的5个要点为你节省50%时间
推特博主 @agishaun 基于上方内容，分享了他自己的在千余小开发实践中的经验和收获，帮助你少走弯路： 1. 每个人都可以学会提示词 学习使用 LLM 进行开发，可以节约节省大量时间。因此，尽可能将LLM整合到你的开发流程中，建议从 Microsoft Copilot 开始。 2. 数据，数据， ......
如何快速高效的使用 LLM 构建应用程序
原文：https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/ 大型语言模型是一种强大的新原语，用于构建软件。但是由于它们如此新颖——并且与普通计算资源的行为方式如此不同——我们并不总是明确知道如何使用它们。 在 ......
什么时候需要微调你的大模型（LLM）？
前言 在AI盛起的当下，各类AI应用不断地出现在人们的视野中，AI正在重塑着各行各业。相信现在各大公司都在进行着不同程度的AI布局，有AI大模型自研能力的公司毕竟是少数，对于大部分公司来说，在一款开源可商用的大模型基础上进行行业数据微调也正在成为一种不错的选择。 本文主要用于向大家讲解该如何微调你的 ......
TVM－MLC LLM 调优方案
本文地址：https://www.cnblogs.com/wanger-sjtu/p/17497249.html LLM 等GPT大模型大火以后,TVM社区推出了自己的部署方案，支持Llama，Vicuna，Dolly等模型在iOS、Android、GPU、浏览器等平台上部署运行。 https:// ......
开源大型语言模型(llm)总结
大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面： 模型规模的增长：LLM的规模越来越大，参数数量显著增加。这种扩展使得模型能够处理更复杂、更长的输入序列，并生成更准确、更具连贯性的输出。同时，更大规模的模型还能够涵盖更 ......
LLM技术在自然语言处理中的实践与改进
[toc] 《LLM技术在自然语言处理中的实践与改进》 引言 自然语言处理 (NLP) 是人工智能领域的一个重要分支，它研究如何将计算机程序与人类语言进行交互，从而理解、分析、生成和翻译文本。近年来，随着深度学习算法的不断优化，NLP 技术在语音识别、文本分类、情感分析、机器翻译等方面取得了重大突破 ......
LLM技术在自然语言处理中的实践与改进
[toc] 《LLM技术在自然语言处理中的实践与改进》 引言 自然语言处理 (NLP) 是人工智能领域的一个重要分支，它研究如何将计算机程序与人类语言进行交互，从而理解、分析、生成和翻译文本。近年来，随着深度学习算法的不断优化，NLP 技术在语音识别、文本分类、情感分析、机器翻译等方面取得了重大突破 ......
大语言模型(LLM)在文本分类、语言生成和文本摘要中的应用
[toc] 大语言模型(LLM)在文本分类、语言生成和文本摘要中的应用 引言 文本分类、语言生成和文本摘要是人工智能领域中的重要任务，涉及到自然语言处理、机器学习和深度学习等领域。本文将介绍大语言模型(LLM)在这三个任务中的应用，并探讨其优势和挑战。 背景介绍 大语言模型(LLM)是一种深度学习模 ......
LLM全栈开发指南补遗
在上一篇 LLM 应用开发全栈指南[1] 中，我们介绍了 FSDL 的新课程 LLM Bootcamp 中的内容。本周他们又把几个 guest talk 的录像放了出来，看了下也挺有收获，在这里做个补遗。 How to train your own LLM 首先是来自 Replit 的 Shaban ......
硬件设计LLM：AI辅助创建微处理芯片
编辑 | 绿萝 通常，开发任何类型的硬件（包括芯片，作为电子设备大脑的微小电子元件），都是从用正常语言描述硬件应该做什么开始的。然后，经过专门训练的工程师将该描述翻译成硬件描述语言（HDL），例如 Verilog，以创建允许硬件执行其任务的实际电路元件。 自动化此翻译可以减少工程过程中的人为错误来源 ......
解密Prompt系列8. 无需训练让LLM支持超长输入:知识库 & unlimiformer & PCW & NBCE
这一章我们聊聊有哪些方案可以不用微调直接让大模型支持超长文本输入，分别介绍显式搜索，unlimiformer隐式搜索，并行输入的PCW，和并行解码的NBCE方案 ......
【了解LLM】——LoRA
本文地址:https://www.cnblogs.com/wanger-sjtu/p/17470327.html - 论文链接：[link](https://arxiv.org/abs/2106.09685) - code: [github](https://github.com/microsoft ......
Reward Modelling（RM）and Reinforcement Learning from Human Feedback（RLHF）for Large language models（LLM）技术初探
Reward Modelling（RM）and Reinforcement Learning from Human Feedback（RLHF）for Large language models（LLM）技术初探 ......
大模型与LLM语言分析
大模型与LLM语言分析 如何利用LLM做多模态任务？ 大型语言模型LLM（Large Language Model）具有很强的通用知识理解以及较强的逻辑推理能力，但其只能处理文本数据。虽然已经发布的GPT4具备图片理解能力，但目前还未开放多模态输入接口并且不会透露任何模型上技术细节。因此，现阶段，如 ......
LLM Sentence Embedding向量化相似性搜索技术初探
一、向量表示对ML/AI的意义 0x1：向量是AI理解世界的通用数据形式 1、向量是多模态高维数据的压缩 当我们见到一个熟悉的人或物的时候，大脑是这样思考的：首先，眼睛中的视杆细胞和视锥细胞记录下光的强度。这些信号传递到位于你大脑后方的视觉皮层，在皮层中数以百万计的神经元以不同的强度被激活。激活信号 ......
LLMs As Tool Makers：LLM制造工具
最近，来自Google DeepMind，普林斯顿和斯坦福的顶尖华人团队提出了一种全新的框架。现在，LLM可以像人类一样制作自己的工具了！ ChatGPT等大语言模型诞生以来，凭着强大的语言理解能力、生成能力、逻辑推理能力等，已经被人类玩出了花。 而OpenAI公开GPT-4后，最大的惊喜之一，莫过 ......
开源AI聊天机器人MLC LLM发布 可用于多个平台
导读 目前大多数 AI 聊天机器人都需要连接到云端进行处理，即使可以本地运行的也配置要求极高。那么是否有轻量化的、无需联网的聊天机器人呢？ 一个名为 MLC LLM的全新开源项目已在 GitHub 上线，完全本地运行无需联网，甚至集显老电脑、苹果 iPhone 手机都能运行。 MLC LLM 项目介 ......
Scikit-LLM：将大语言模型整合进Sklearn的工作流
我们以前介绍过Pandas和ChaGPT整合，这样可以不了解Pandas的情况下对DataFrame进行操作。现在又有人开源了Scikit-LLM，它结合了强大的语言模型，如ChatGPT和scikit-learn。但这个并不是让我们自动化scikit-learn，而是将scikit-learn和语 ......
C#使用词嵌入向量与向量数据库为大语言模型(LLM)赋能长期记忆实现私域问答机器人落地之openai接口平替
恢复内容开始 在上一篇文章中我们大致讲述了一下如何通过词嵌入向量的方式为大语言模型增加长期记忆，用于落地在私域场景的问题。其中涉及到使用openai的接口进行词嵌入向量的生成以及chat模型的调用 由于众所周知的原因，国内调用openai接口并不友好，所以今天介绍两款开源平替实现分别替代词嵌入向量和 ......
LLM探索：GPT概念与几个常用参数 Top-k, Top-p, Temperature
## 前言 上一篇文章介绍了几个开源LLM的环境搭建和本地部署，在使用ChatGPT接口或者自己本地部署的LLM大模型的时候，经常会遇到这几个参数，本文简单介绍一下~ - temperature - top_p - top_k ### 关于LLM 上一篇也有介绍过，这次看到一个不错的图 >A rec ......
LLM 应用于编程辅助调研
[toc] # 前言 AI辅助编程出现之前需要简单重复技艺的修炼，也就是拔刀速度影响了发挥，今后拔刀速度可以忽略了。 往后的开发可以思考道为主，反正简单重复技艺的部分都可以交给AI，甚至一部分求道的过程是跟AI共同完成。 # 一、能做什么 - 解析代码：陈年代码一时难以理解，快速解析用途、优缺点等； ......
LLM探索：环境搭建与模型本地部署
## 前言 最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了… 上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地部署还是没问题的。 本文将介绍这以下两个国产开源LLM的本地部署 - ChatGLM-6B - ......
开源AI聊天机器人MLC LLM发布 可用于多个平台
目前大多数 AI 聊天机器人都需要连接到云端进行处理，即使可以本地运行的也配置要求极高。那么是否有轻量化的、无需联网的聊天机器人呢？ 一个名为 MLC LLM的全新开源项目已在 GitHub 上线，完全本地运行无需联网，甚至集显老电脑、苹果 iPhone 手机都能运行。 MLC LLM 项目介绍称： ......
开源AI聊天机器人MLC LLM发布 可用于多个平台
目前大多数 AI 聊天机器人都需要连接到云端进行处理，即使可以本地运行的也配置要求极高。那么是否有轻量化的、无需联网的聊天机器人呢？ 一个名为 MLC LLM的全新开源项目已在 GitHub 上线，完全本地运行无需联网，甚至集显老电脑、苹果 iPhone 手机都能运行。 MLC LLM 项目介绍称： ......
开源AI聊天机器人MLC LLM发布 可用于多个平台
目前大多数 AI 聊天机器人都需要连接到云端进行处理，即使可以本地运行的也配置要求极高。那么是否有轻量化的、无需联网的聊天机器人呢？ 一个名为 MLC LLM的全新开源项目已在 GitHub 上线，完全本地运行无需联网，甚至集显老电脑、苹果 iPhone 手机都能运行。 MLC LLM 项目介绍称： ......
【AIGC】Embedding与LLM的结合：长文本搜索与问答功能
什么是Embedding？ Embedding是一种多维向量数组，由一系列数字组成，可以代表任何事物，如文本、音乐、视频等。在这里我们将重点关注文本部分。Embedding之所以重要，是因为它让我们可以进行语义搜索，也就是通过文本的含义进行相似性检索。 为什么Embedding在AI中如此重要？ E ......
C#使用词嵌入向量与向量数据库为大语言模型(LLM)赋能长期记忆实现私域问答机器人落地
本文将探讨如何使用c#开发基于大语言模型的私域聊天机器人落地。大语言模型（Large Language Model，LLM 这里主要以chatgpt为代表的的文本生成式人工智能）是一种利用深度学习方法训练的能够生成人类语言的模型。这种模型可以处理大量的文本数据，并学习从中获得的模式，以预测在给定的文 ......
LLM as Controller：AI操作系统之源
受到HuggingGPT、Visual ChatGPT、AutoGPT等项目的启发，本文试图从LLM as Controller的统一视角来看LLM的能力边界。 LLM as Controller 我认为ChatGPT、GPT-4等LLM模型最强的能力其实是语言理解力，咱不需要让一个LLM做任何事情 ......