Tagged

RAG

A collection of 31 posts

GPT-4o mini微调医疗援助模型
MODEL-ZOO

GPT-4o mini微调医疗援助模型

在着手创建由生成式 AI 驱动的聊天解决方案时，效率应该是我们的指导方针。从利用 SaaS 解决方案到从头开始构建模型，选项多种多样。在本文中，我将介绍基于 Azure OpenAI 服务的模型微调，重点是在定制与效率之间取得平衡。 注意：本文中显示的输入数据包含与医学相关的一般问题和答案，目的是开发一个包含一些医学领域信息的模型。由于我不是医学专业人士，我仅将这些数据用于本文所讨论的数据科学工作，而不是建议或表明任何医疗状况或疾病的定义、预防、诊断或治疗。优先考虑效率意味着并不总是需要选择最大、最强大的模型。定制通常使我们能够使用更轻量的模型版本实现卓越的性能。出于这个原因，我选择了 GPT-4o mini，它是著名的 GPT-4o 模型的较小版本。 在下图中，我们可以在两个阶段使用它：提示工程和 AOAI 模型 FT。 1、为什么微调是一个明智的选择？你可能已经熟悉了少样本学习的概念，其中机器学习模型在极少量的标记示例上进行训练，从而提高效率。微调是另一种（尽管是独立的）优先考虑效率的方法，并且与少样本学习相比具有几个优势： 质量结果：微调可以在比单个提示更大的数据集上进行训练，从而产生更高质量的输出。
admin • 10 min read
GenAI高级索引管道
RAG

GenAI高级索引管道

管理复杂的 GenAI 管道（尤其是具有多个模型和数据源的管道）可能是一项艰巨的任务。本文演示了如何将 LlamaIndex 与 Qdrant 和 MLflow 集成以简化 GenAI 应用程序的管理和部署。你将探索 MLflow 的功能（例如跟踪、模型打包和评估）如何实现 LlamaIndex 引擎的无缝处理。通过逐步实施，了解如何简化检索增强生成 (RAG) 工作流程、确保性能一致性并优化索引系统以实现更好的可扩展性和效率。 1、系统架构该架构集成了多个关键组件，以构建高效且可扩展的检索增强生成 (RAG) 系统。其核心是利用 LlamaIndex 进行索引和检索、利用 Qdrant 进行矢量存储和搜索以及利用 MLflow 在整个生命周期内注册、服务和跟踪所有组件的模型。这种设计旨在管理来自各种来源的大量数据，同时确保最终用户能够快速检索和准确推理。 管道从提取来自各种来源（例如 Web 文档、内部文档和数据库记录）的文档开始。这些文档由变更数据捕获
admin • 9 min read