Firecrawl节点是LangChat Pro工作流中的工具型节点,提供网页爬取和数据抓取能力,支持多种输出格式,将网页内容作为变量传递给下游节点。
节点特性
Firecrawl节点属于工具型处理节点,其核心特性是执行网页爬取操作并将结果封装为上下文变量,而非直接输出给用户。工具节点 vs 输出节点
在LangChat Pro工作流中,节点按照输出特性分为两类: 输出节点(直接响应用户):- LLM大模型节点:支持流式输出
- 直接回复节点:输出变量内容
- Firecrawl节点
- 百度搜索节点
- 知识库检索节点
- 其他功能节点
执行场景对比
Firecrawl节点
Firecrawl节点基于Firecrawl API,提供强大的网页爬取和数据抓取能力,支持多种输出格式。配置参数
输入参数
网页URL:- 支持动态引用流程上下文变量
- 支持静态URL输入
- 支持变量和URL的混合输入
- 通过智能变量选择器配置
- Firecrawl服务的请求地址
- 默认值:http://127.0.0.1:3002
- 支持本地部署和云端服务
- 影响爬取服务的连接
- Firecrawl服务请求密钥
- 本地服务可以不填写
- 云端服务需要配置
- 用于身份验证和访问控制
- Markdown:结构化文档格式
- HTML:原始HTML格式
- JSON:结构化数据格式
- 支持多格式同时输出
- 影响爬取结果的格式
输出变量
Firecrawl爬取结果:- 数据类型:TEXT文本格式
- 内容:根据选择格式的网页内容
- 用途:供下游节点引用和处理
典型使用场景
场景一:简单网页爬取
适用场景:- 爬取网页内容
- 获取文档信息
- 简单的内容提取
场景二:爬取+AI处理
适用场景:- 需要AI分析网页内容
- 结合爬取数据和AI推理
- 智能化的内容处理
场景三:多格式输出
适用场景:- 需要结构化数据提取
- 多格式内容处理
- 复杂的数据解析
场景四:批量网页处理
适用场景:- 批量网页内容爬取
- 多源信息整合
- 大规模内容处理
场景五:动态URL爬取
适用场景:- 基于搜索结果的动态爬取
- 智能化的内容发现
- 自动化的信息收集
Firecrawl节点是工作流中网页内容获取的重要工具,支持多种输出格式和灵活的配置选项。通过合理配置URL、服务地址和输出格式,可以实现高效的网页内容爬取和处理。

