Skip to main content
LLM节点是工作流中最核心的智能处理单元，集成了大语言模型的调用能力和流式输出功能，提供直观的AI对话体验。

​
节点概述

LLM节点是LangChat Pro工作流中的智能输出节点，专门用于调用大语言模型并处理AI生成内容。

​
核心特性

流式输出能力： LLM节点的最大特色是支持实时流式输出，能够将AI生成的内容逐字逐句地推送给用户，无需等待完整响应生成完毕。 直接输出机制： 与普通处理节点不同，LLM节点集成了输出功能，可以直接将消息发送给前端用户，无需额外配置回复节点。 image-20250928232759728

​
执行模式对比

​
配置参数详解

LLM节点提供了丰富的配置选项，支持灵活的AI模型调用和输出控制。

​
基础配置

AI模型选择：
  • 选择用于推理的CHAT模型
  • 支持多种模型提供商（OpenAI、Claude、本地模型等）
  • 根据业务需求选择不同的模型能力级别
输入内容配置：
  • 支持变量引用和静态文本混合输入
  • 提供智能变量选择器
  • 支持复杂的动态内容构建
提示词设置：
  • 配置SystemPrompt系统提示词
  • 支持变量化的动态提示词
  • 提供提示词模板管理功能

​
输出控制

输出格式选择：
  • TEXT格式：标准的文本输出，支持流式传输
  • JSON格式：结构化数据输出，需关闭流式输出
选择JSON输出格式时必须关闭流式输出，以确保数据结构的完整性。
上下文管理：
  • 配置每次加载的历史会话条数
  • 支持上下文窗口大小调整
  • 提供上下文优化策略
流式输出控制：
  • 启用/禁用Streaming模式
  • 平衡用户体验与数据处理需求

​
流式输出机制

流式输出（Streaming Output）是LLM节点的核心特性，通过**Server-Sent Events (SSE)**技术实现实时数据传输。

​
SSE技术原理

SSE格式示例： 
data: {"type": "content", "content": "Hello"}

data: {"type": "content", "content": " World"}

data: {"type": "done", "content": ""}
核心优势：
  • 实时性：文本逐字逐句推送，无需等待完整响应
  • 非阻塞：用户可立即看到生成内容，提升交互体验
  • 低延迟：减少用户感知的响应时间
  • 资源效率：避免长时间占用连接资源

​
流式 vs 传统请求对比

​
使用场景分析

适合流式输出的场景： 场景一：直接对话 
开始节点 -> LLM节点 -> 结束节点
  • 用户直接与AI对话
  • 无需后续节点处理
  • 追求最佳用户体验
不适合流式输出的场景： 场景二：复杂处理链 
开始节点 -> LLM节点 -> 图表节点 -> 结束节点
  • 下游节点需要完整响应内容
  • 需要进行数据分析和处理
  • 要求阻塞等待完整结果
流式输出适用于终端用户交互场景，而阻塞输出适用于需要后续处理的复杂工作流场景。

​
AI节点类型体系

LangChat Pro工作流中的AI节点根据执行模式和输出特性分为两大类型：

​
流式输出节点（非阻塞）

LLM节点：
  • 执行模式：非阻塞流式执行
  • 输出方式：直接流式输出给用户
  • 适用场景：直接对话、实时交互
  • 技术特点：采用SSE技术实现实时数据传输

​
工具型节点（阻塞）

意图识别节点等工具型AI节点：
  • 执行模式：阻塞等待完整响应
  • 输出方式：将结果传递给下游节点
  • 适用场景：复杂处理链、数据分析
  • 技术特点：等待完整响应后继续执行流程

​
节点选择指南

选择LLM节点的场景：
  • 需要直接与用户对话
  • 追求最佳的用户体验
  • 无需后续节点处理AI响应
  • 简单的问答或聊天场景
选择工具型AI节点的场景：
  • 需要AI处理结果进行后续操作
  • 复杂的数据处理和分析流程
  • 需要将AI输出作为变量传递给其他节点
  • 批量处理或自动化场景
正确选择AI节点类型是优化工作流性能和用户体验的关键，流式节点注重交互体验，工具型节点注重处理能力。