文章探讨了如何有效地将网页内容提供给 AI，特别是针对那些使用服务端渲染技术的网站。由于 AI 无法直接访问外部链接，且对网页内容解读存在偏差，作者尝试了多种方案，包括截屏、PDF 转换、Markdown 转换等，并分析了它们的优缺点。最终，作者关注于如何完整保留网页内容，以更好地服务于 AI 分析。

🤔 AI 无法直接访问外部链接，且对网页内容的解读与实际网页内容不一致，例如，对于使用服务端渲染技术的网页，AI 难以获取完整内容，导致信息丢失。

🖼️ 方案一：截屏或 PDF 转换。这两种方法均需 OCR，但会导致 URL 链接丢失，无法保留网页中的链接信息，存在明显缺陷。

📝 方案二：使用简悦或 Obsidian 的 web 剪切插件。简悦插件效果不佳，Obsidian 的插件在尝试使用中。

🌐 方案三：在线 URL 转 Markdown。尝试后发现效果不理想，原因在于服务端渲染和流式传输，导致仅获取到部分网页内容。

背景

有写 AI 不支持访问外部链接,有些 AI 访问 url 解读的内容和实际网页的内容根本不一致.

比如 对于这个 urlhttps://github.com/prisma/docs/issues/6284geimin 连 网页的标题 都没有解读 正确.

有且网站使用了 服务端渲染技术, 所以如果你只是访问 URL, 就会得到一个 很简短的 HTML, 实际整个网页的内容是需要等待流式渲染结束之后 才能看到整个网页的实际内容, 甚至有些内容是懒加载, 需要滚动到这个位置才会渲染具体的内容. 所以像 飞书/语雀这样的网页剪切插件 试了一下无法剪贴到整个网页的内容, 只剪切到了一小部分内容.

方案一 截屏整个网页或者 将网页保存为 pdf

这两种方式 对于 AI 解析 PDF 或者图片都是需要使用 ocr, 他们无法读取到文字的 url 链接,网页中的文字的链接 丢失了.存在缺点.

方案二 保存为 markdown.

简悦这个插件 不好用, 很多网站只能保存到 非常小的一部分内容. 丢三落四.obsidian 的 web 剪切插件, 目前在用这个插件来将网页保存为 markdown.

方案三

有一些在线将 url 转为 markdown 的网站, 试了几个效果都不理想, 他们的问题都是只获取到了部分网页内容. 大概率是因为上文提到的服务端渲染 流式传输的原因.

问题:

有什么好的方案将 整个网页的内容喂给 ai有什么更为好用方案将 网页转为 markdown. 对于输出的格式不关注, 关注点是网页内容不要丢失.