Skip to main content
Firecrawl节点是LangChat Pro工作流中的工具型节点,提供网页爬取和数据抓取能力,支持多种输出格式,将网页内容作为变量传递给下游节点。

节点特性

Firecrawl节点属于工具型处理节点,其核心特性是执行网页爬取操作并将结果封装为上下文变量,而非直接输出给用户。

工具节点 vs 输出节点

在LangChat Pro工作流中,节点按照输出特性分为两类: 输出节点(直接响应用户):
  • LLM大模型节点:支持流式输出
  • 直接回复节点:输出变量内容
工具节点(上下文变量传递):
  • Firecrawl节点
  • 百度搜索节点
  • 知识库检索节点
  • 其他功能节点
工具型节点不会直接将内容输出给用户,必须通过直接回复节点引用其输出变量才能向用户展示结果。

执行场景对比

Firecrawl节点

Firecrawl节点基于Firecrawl API,提供强大的网页爬取和数据抓取能力,支持多种输出格式。

配置参数

输入参数

网页URL
  • 支持动态引用流程上下文变量
  • 支持静态URL输入
  • 支持变量和URL的混合输入
  • 通过智能变量选择器配置
Server Url
  • Firecrawl服务的请求地址
  • 默认值:http://127.0.0.1:3002
  • 支持本地部署和云端服务
  • 影响爬取服务的连接
Api Key
  • Firecrawl服务请求密钥
  • 本地服务可以不填写
  • 云端服务需要配置
  • 用于身份验证和访问控制
输出格式
  • Markdown:结构化文档格式
  • HTML:原始HTML格式
  • JSON:结构化数据格式
  • 支持多格式同时输出
  • 影响爬取结果的格式

输出变量

Firecrawl爬取结果
  • 数据类型:TEXT文本格式
  • 内容:根据选择格式的网页内容
  • 用途:供下游节点引用和处理

典型使用场景

场景一:简单网页爬取

适用场景
  • 爬取网页内容
  • 获取文档信息
  • 简单的内容提取

场景二:爬取+AI处理

适用场景
  • 需要AI分析网页内容
  • 结合爬取数据和AI推理
  • 智能化的内容处理

场景三:多格式输出

适用场景
  • 需要结构化数据提取
  • 多格式内容处理
  • 复杂的数据解析

场景四:批量网页处理

适用场景
  • 批量网页内容爬取
  • 多源信息整合
  • 大规模内容处理

场景五:动态URL爬取

适用场景
  • 基于搜索结果的动态爬取
  • 智能化的内容发现
  • 自动化的信息收集
Firecrawl节点是工作流中网页内容获取的重要工具,支持多种输出格式和灵活的配置选项。通过合理配置URL、服务地址和输出格式,可以实现高效的网页内容爬取和处理。