APPLICATION

RAG代码块分割技术

RAG系统面临的其中一个关键挑战是在庞大的代码库中高效地处理和检索相关的代码文件或片段。虽然传统的文本块分割技术对自然语言文本非常有效，但在处理代码的结构化特性时往往表现不佳。

admin

Apr 26, 2025 • 9 min read

在生成式人工智能快速发展的世界中，检索增强生成（RAG）已成为一种强大的解决方案，适用于需要访问其底层语言模型训练数据之外信息的人工智能应用。RAG模型结合了传统语言模型和检索组件的优点，允许它们在文本生成过程中访问并整合来自新来源的相关信息作为上下文。

虽然LLM的上下文窗口在不断增加，但将整个代码库作为上下文提供给LLM既昂贵又可能影响响应质量，相比之下，将代码库缩减为LLM完成任务所需的特定文件集更为有效。

RAG系统面临的其中一个关键挑战是在庞大的代码库中高效地处理和检索相关的代码文件或片段。虽然传统的文本块分割技术对自然语言文本非常有效，但在处理代码的结构化特性时往往表现不佳。这就是为什么需要专门的代码块分割技术，使RAG应用程序能够智能地分割和检索各种任务所需的代码段，例如代码补丁、代码生成和代码解释。

在这篇博客文章中，我们将探讨传统文本块分割技术在代码中的局限性，深入研究代码块分割的复杂性，并介绍一款旨在革新我们如何处理和管理代码用于RAG应用程序的新型开源工具。

1、传统文本块分割技术在代码中的局限性

传统的文本块分割算法，如基于句子、段落或单词边界的算法，主要是为处理自然语言文本而设计的。虽然这些技术可以应用于代码，但它们通常无法捕捉代码的内在结构和逻辑流程，导致子优的块分割结果。

以下是传统文本块分割技术在代码方面遇到的一些主要问题：

缺乏语义理解：代码是一种具有自身语法和语义的结构化语言，而传统的文本块分割技术不具备理解这些的能力。它们将代码视为字符或标记的序列，而不理解不同代码元素之间的潜在逻辑和关系。
忽视逻辑边界：传统的块分割器在严格的标记限制下可能会在任意点分割代码，破坏逻辑边界，例如函数定义、类声明、装饰器、函数注释，甚至在一行代码中间。这可能导致不完整或无意义的代码块，阻碍其在RAG应用程序中的实用性。
无法处理嵌套结构：代码经常包含嵌套结构，如嵌套函数、类或组件。传统的块分割器可能难以保持这些结构的完整性，导致不完整的或损坏的代码块。

为了解决这些局限性，我们需要一种专门的代码块分割解决方案，能够在分割代码的同时保留其逻辑结构，并维护嵌套结构的完整性。

2、针对RAG应用程序的新型代码块分割方法

我们引入了一种新的开源工具，旨在克服传统文本块分割技术在处理代码时的挑战。它利用先进的解析技术来识别代码中的关键兴趣点，例如函数定义、类声明和注释，并将代码库组织成易于管理和理解的块。

主要功能包括：

智能块分割：代码块分割器围绕逻辑断点（如函数定义、类声明和重要注释）将代码文件分割成块。这确保每个块保持其逻辑完整性和可读性，使RAG系统更容易理解和处理。
可定制的标记限制：在分割过程中，您可以通过指定标记限制来控制每个块的大小。这种灵活性允许您在块大小和保持代码逻辑一致性之间取得平衡，确保块保持可管理且集中。
支持多种语言：最初支持Python、JavaScript和CSS，并计划在未来扩展到更多编程语言，该分割器适用于广泛的开发环境和用例。

3、它是如何工作的

我们的代码块分割器严重依赖于Tree Sitter，这是一个解析器生成工具和增量解析库。我们使用Tree Sitter以及自定义规则来分析代码文件并识别关键兴趣点，例如函数定义、类声明和注释。

一旦识别出兴趣点，代码块分割器就会接管并智能地围绕这些点分割代码，确保每个块保持其逻辑完整性和可读性。

以下是如何使用CodeChunker类分割Python代码文件的一个示例：

chunker = CodeChunker(file_extension='py', encoding_name='gpt-4')
chunks = chunker.chunk(your_code_here, token_limit=1000)
CodeChunker.print_chunks(chunks)

在这个例子中，我们创建了一个Python代码文件（'py'）的CodeChunker实例，并指定了编码名称（'gpt-4'）。然后我们调用chunk方法，传入要分割的代码并指定标记限制为1000。最后，我们使用print_chunks方法显示生成的代码块。

以下是一个简单的Flask应用程序路由文件示例：

from flask import Flask, jsonify, request, redirect, url_for  
app = Flask(__name__)  
  
@app.route('/', methods=['GET'])  
def home():  
    return '<h1>Welcome to the Home Page</h1>', 200  
  
@authenticate  # 假设的认证装饰器  
@log_access  # 假设的日志访问装饰器  
@app.route('/api/data', methods=['GET'])  
def get_data():  
    # 模拟从数据库或外部服务获取数据  
    data = {'key': 'This is some data'}  
    return jsonify(data), 200  
  
@app.route('/api/data/<int:data_id>', methods=['GET'])  
def get_data_by_id(data_id):  
    # 模拟按ID获取特定数据  
    data = {'id': data_id, 'value': 'Specific data based on ID'}  
    return jsonify(data), 200  
  
@app.route('/api/data', methods=['POST'])  
def post_data():  
    data = request.json  
    # 模拟将数据保存到数据库  
    return jsonify({'message': 'Data saved successfully', 'data': data}), 201  
  
@app.route('/api/data/<int:data_id>', methods=['PUT'])  
def update_data(data_id):  
    data = request.json  
    # 模拟更新数据库中的数据  
    return jsonify({'message': 'Data updated successfully', 'id': data_id, 'data': data}), 200  
  
@app.route('/api/data/<int:data_id>', methods=['DELETE'])  
def delete_data(data_id):  
    # 模拟按ID删除数据  
    return jsonify({'message': 'Data deleted successfully', 'id': data_id}), 200  
  
@app.route('/redirect', methods=['GET'])  
def example_redirect():  
    return redirect(url_for('home'))  
  
if __name__ == '__main__':  
    app.run(debug=True)

如果我们将分割器应用于这段代码，并设置目标块大小为25个标记，我们将得到以下结果：

# 块 1  
from flask import Flask, jsonify, request, redirect, url_for  
app = Flask(__name__)  
  
# 块 2  
@app.route('/', methods=['GET'])  
def home():  
    return '<h1>Welcome to the Home Page</h1>', 200  
  
# 块 3  
@authenticate  # 假设的认证装饰器  
@log_access  # 假设的日志访问装饰器  
@app.route('/api/data', methods=['GET'])  
def get_data():  
    # 模拟从数据库或外部服务获取数据  
    data = {'key': 'This is some data'}  
    return jsonify(data), 200  
  
# 块 4  
@app.route('/api/data/<int:data_id>', methods=['GET'])  
def get_data_by_id(data_id):  
    # 模拟按ID获取特定数据  
    data = {'id': data_id, 'value': 'Specific data based on ID'}  
    return jsonify(data), 200  
  
# 块 5  
@app.route('/api/data', methods=['POST'])  
def post_data():  
    data = request.json  
    # 模拟将数据保存到数据库  
    return jsonify({'message': 'Data saved successfully', 'data': data}), 201  
  
# 块 6  
@app.route('/api/data/<int:data_id>', methods=['DELETE'])  
def delete_data(data_id):  
    # 模拟按ID删除数据  
    return jsonify({'message': 'Data deleted successfully', 'id': data_id}), 200  
  
# 块 7  
@app.route('/redirect', methods=['GET'])  
def example_redirect():  
    return redirect(url_for('home'))  
  
if __name__ == '__main__':  
    app.run(debug=True)

4、理解标记限制在分块中的应用

在 Chunker 类的 chunk 方法中，token_limit 参数用于控制每个代码块的大小。一个“标记”可以看作是处理的最小单元。在文本处理的背景下，一个标记可以是一个单词、一个句子或类似的单元。

token_limit 参数限制了每个块中的这些标记数量。例如，如果限制为 100 个标记，这意味着由 chunk 方法生成的每个内容块应该尽量包含不超过 100 个标记。

chunk 方法中的 token_limit 参数作为一个指南来优化生成的代码块的大小。它不是一个硬性限制，而是一个理想目标，试图在块大小和保持代码逻辑连贯性之间取得平衡。

8、利用代码分块器进行 RAG 应用

这个代码分块器是 RAG 应用程序的一个宝贵工具，它需要高效地从庞大的代码库中处理和检索相关的代码片段或块。通过智能地分块代码并保留其逻辑结构以及捕获注释，RAG 系统可以更有效地理解和整合相关代码段，用于任务如代码修补、代码生成和代码解释。

例如，在代码修补场景中，RAG 系统可以使用代码分块器将代码库分解为可管理的块，根据给定的任务或输入检索相关的块，并在这些块的上下文中使用 LLM 生成或建议代码修补或修改。

此外，这个代码分块器在代码解释任务中也非常有价值，其中 RAG 系统需要为现有代码提供人类可读的解释或文档。通过围绕关键兴趣点对代码进行分块并保留注释，RAG 系统可以更好地理解每个代码段的上下文和意图，从而实现更准确和有见地的解释。

9、结束语

这是一个不断发展的开源项目。我们欢迎贡献者帮助改进核心分块算法，识别边缘情况以处理，并支持更多编程语言。

要参与，请查看 Hugging Face Spaces 上的应用程序沙盒版本，或者成为 GitHub 的贡献者。

原文链接：Mastering Code Chunking for Retrieval Augmented Generation

汇智网翻译整理，转载请标明出处