Tagged

LLM

A collection of 79 posts

LLM

低端PC运行LLM的5个方法

本文介绍在低配置设备上运行大模型的技术方案，包括量化、半精度、SafeTensors、GGUF 文件格式、设备映射、注意力切片、CPU 卸载等。

TOOL

LitGPT 微调简明教程

LitGPT 是一个简化高性能 LLM 预训练、微调和可扩展部署的平台， 提供 20 多种高性能 LLM，并提供预训练、微调和大规模部署的方案。

LIBRARY

AutoGen多代理AI编程框架

AutoGen 是 Microsoft 的一个开创性项目，它使用户能够根据需要创建任意数量的自主 ChatGPT 类代理。

LIBRARY

用MLX微调医学诊断大模型

本文探讨微调LLM用于医疗诊断预测，硬件为配备 M2 芯片的 Apple Silicon Mac ，使用 LoRA 和 Apple MLX 框架微调，Ollama 运行推理服务。

LIBRARY

vLLM 大模型本地推理库

vLLM 是一个开源项目，允许你进行 LLM 推理和服务。本文介绍如何配置和运行 vLLM 以在生产中提供开源大模型的推理服务。

APPLICATION

基于LLM的文档提取和分析

在本文中，我将通过一个实际示例来解释如何使用 LLM 自动从半结构化和非结构化文档中提取所需信息，然后分析这些信息。

LIBRARY

Unsloth：大模型微调利器

训练时间一直是微调的最大障碍之一。这就是 Unsloth 的用武之地，声称可以使 LLM 训练速度提高 30 倍。

LIBRARY

Crawl4AI数据集制作必备爬虫库

Crawl4AI 是一个创新的开源 Python 库，旨在简化网络爬虫和数据提取，使其成为开发人员和人工智能爱好者的必备工具。

TOOL

用LM Studio本地运行大模型

LM Studio 是一款流行的 GUI 应用程序，它允许具有基本计算机知识的用户在其 Linux 机器上轻松下载、安装和运行大型语言模型 (LLM)。

APPLICATION

Oasis：AI生成游戏的新范式

大约 2 个月前，我们见证了 GameNGen 的发布，它能够在收到用户输入时逐帧生成 DOOM（1993）。现在，就在 2 天前，Decart 和 Etched 刚刚发布了一个名为“Oasis”的新开源模型，该模型以每秒 20 帧的速度生成 Minecraft。不仅如此，他们还提供了一个网站，人们可以使用他们的模型玩 Minecraft，每次运行近 3 分钟。 Oasis 生成的游戏快照在这篇短文中，我们将讨论有关 Oasis 的详细信息，包括它的功能、工作原理、局限性、公司的未来计划以及它对 AI 生成的游戏和游戏开发的影响。所以，事不宜迟，让我们开始吧。 1、什么是 Oasis？Oasis 是第一个可玩的实时开放世界 AI

LIBRARY

使用DSPy改进 AI 代理

DSPy 是一个 LLM 框架，专门设计用于以编程方式改进你的 LLM 的提示和签名。本文将探讨如何使用 DSPy 提高一个AI代理的性能。

TOOL

PymuPDF4llm：PDF提取利器

PymuPDF4llm可以被视为终极 PDF 提取忍者，专为大型语言模型 (LLM) 设计。

MOEE

MoEE 混合专家嵌入模型

混合专家 (MoE) LLM 可以作为嵌入模型，应用多种以嵌入为重点的任务，而无需进一步微调。

LIBRARY

LlamaParse文档解析平台

LlamaParse 是由 LlamaIndex 开发的 GenAI 原生文档解析平台，旨在提高 LLM 驱动应用程序的数据质量

RAC

RAC：检索增强分类

为了解决 LLM 训练分布之外的性能问题，我们可以通过增强检索提示来改进分类。

APPLICATION

用STORM研究本地文档

在本文中，我们将探讨斯坦福大学开发的一种新的有前途的技术，称为通过检索和多视角提问来综合主题大纲 (STORM)。

APPLICATION

用AI Agent捕捉软件漏洞

我们很高兴与大家分享使用Big Sleep 代理发现的第一个真实漏洞：SQLite中可利用的堆栈缓冲区下溢。

APPLICATION

arXiv 论文聊天机器人

本教程将介绍如何使用 RAG、LangChain、Chainlit copilot应用和 Literal AI 可观察性构建语义纸质引擎。

APPLICATION

用LLM提取文档中的数据

近十年前，我在 LinkedIn 著名的数据标准化团队担任机器学习工程师。从我加入到离开，我们仍然无法自动读取一个人的个人资料，也无法在所有语言和地区可靠地了解某人的资历和职位。 乍一看，这很简单。“软件工程师”已经足够清楚了，对吧？如果一个人只写“助理”，那他可能是一个资历较低的零售员工（如果他们在沃尔玛工作）或者一个高级律师（如果他们在律师事务所工作）。但你可能知道这一点——你知道什么是 Java 新手吗？什么是 Freiwilliges Soziales Jahr？这不仅仅是了解德语——它翻译为“自愿社会年”。但什么是代表这个角色的良好标准头衔？如果你有一个已知的职位列表，你会把它映射到哪里？ 我加入了 LinkedIn，我离开了 LinkedIn。我们取得了进展，但即使是最简单的常规文本——一个人的简历，也难以理解。 1、曾经困难的事情变得微不足道你可能不会惊讶地发现，对于像 GPT-4 这样的大模型来说，这个问题很简单： 对于 GPT 来说很容易但是等等，我们是一家公司，

LLM

LLM数据投毒与IP保护

本文介绍数据投毒的一般概念，以及如何利用这种技术保护你的知识产权不受大型语言学习的影响。

APPLICATION

药物副作用问答系统

虽然大多数人关注的是检索增强生成 (RAG) 对非结构化文本（例如公司文档或文件）的检索，但我对检索系统对结构化信息（尤其是知识图谱）的检索非常看好。GraphRAG 引起了很多关注，尤其是微软的实现。然而，在他们的实现中，输入数据是文档形式的非结构化文本，使用大型语言模型 (LLM) 将其转换为知识图谱。 在这篇博文中，我们将展示如何在包含来自 FDA 不良事件报告系统 (FAERS) 的结构化信息的知识图谱上实现检索器，该系统提供有关药物不良事件的信息。如果你曾经摆弄过知识图谱和检索，你的第一个想法可能是使用 LLM 生成数据库查询，以从知识图谱中检索相关信息来回答给定的问题。然而，使用 LLM 生成数据库查询仍在发展中，可能还不能提供最一致或最强大的解决方案。那么，目前有哪些可行的替代方案呢？ 我认为，目前最好的解决方案是动态查询生成。这种方法不是完全依赖 LLM 来生成完整的查询，而是采用逻辑层，从预定义的输入参数确定性地生成数据库查询。可以使用具有函数调用支持的 LLM 来实现此解决方案。使用函数调用功能的优势在于能够向 LLM 定义它应该如何准备函数的结构化输入。这种方法确保查询生成过程是可控且一致的，

APPLICATION

创业点子发生器

创作者通常首先要努力的事情就是为他们的服务找到合适的利基创意。最好的方法始终是先找到一个微型 SaaS，它是 SaaS 的一个子集，专注于解决特定问题的小规模、高度专业化的应用程序。 但是你如何发现这些利基创意呢？为什么不让AI为你做这件事呢。在这个实验中，我整理了一个实用的应用程序，它可以帮助挖掘 Reddit、搜索引擎以找到利基创意。 在这篇博文中，我将分享如何构建这个 CrewAI 应用程序，该应用程序利用它来为微型 SaaS 生成利基创意。我们将深入研究应用程序结构、技术堆栈，并提供构建应用程序的分步指南。到最后，你将全面了解如何启动自己的 CrewAI 代理。 1、应用程序结构首先，让我们看一下应用程序结构。下面是概述我们应用程序关键组件的图表： 技术堆栈概述为了构建此应用程序，我们将使用各种工具和技术： Groq：用于服务大型语言模型 (LLM)。8B Llama3 模型：用于生成想法的核心模型。CrewAI：与 LangChain 工具一起使用，用于管理多个代理。Praw：用于从 Reddit

RAG

6个常见的RAG故障点

构建强大的 RAG 系统需要仔细关注文档检索、上下文处理、响应生成和质量保证，本文介绍阻碍RAG实施的故障点及解决方案。

LLM

10个加速学术阅读的提示语

ChatGPT和Claude等AI工具可以帮助研究人员提取关键信息、总结复杂论文并更快地了解该领域的新文章、论文和研究。

TOOL

15个顶级LLMOps工具

我们已经不再局限于改进大型语言模型 (LLM)，而是专注于使用它们来创建有助于企业的 AI 应用程序。这就是大型语言模型操作 (LLMOps) 工具发挥作用的地方，它简化了创建完全自动化系统的过程，用于构建和部署 LLM 解决方案投入生产。 在本文中，我们将介绍不同的工具，如 LLM API、微调框架、实验跟踪工具、LLM 集成生态系统、向量搜索工具、模型服务框架、部署平台和可观察性工具。每种工具都各有特色，旨在解决与 LLM 相关的特定问题。 1、什么是 LLMOps？LLMOps 是一个新兴领域，专注于生产环境中大型语言模型的运营管理。它本质上是专门针对语言和其他多模态模型的 MLOps（机器学习操作）。 LLMOps 涵盖大型语言模型的整个生命周期，包括数据收集、模型训练或微调、测试和验证、集成、部署、优化、监控和维护以及协作。通过构建项目和自动化流程，LLMOps 可帮助你减少错误并有效扩展 AI