前言

• 将网页信息输入到大语言模型（LLM）是一个技术挑战。虽然最简单的方法是直接抓取原始 HTML 内容，但这种方式往往不适合直接输入到 LLM 中；
• 在实际抓取时，可能会遇到多种复杂情况，包括网页抓取被反制、HTML 页面中混杂着无关的标记、脚本及样式等，这些都会影响信息提取的质量；
• Jina AI 是一家专注于搜索与人工智能的创新公司，致力于提供先进的搜索解决方案。其技术帮助开发者和企业构建高效且智能的搜索系统，能够处理多种数据类型并满足复杂查询的需求；
• Jina AI 提供的 Reader API 可以自动从 URL 中提取网页的核心内容，并将其转换为干净、结构化、适合 LLM 处理的文本格式。这解决了抓取过程中的数据复杂性问题，确保了高质量的输入，特别适用于 Agent 和 RAG 系统。

一、Reader API ：使用 r.jina.ai 读取 URL

转换 URL 为LLM-友好文本输入，只需在前面添加 r.jina.ai 即可。