john
39 lines
1.9 KiB
Markdown
39 lines
1.9 KiB
Markdown
---
|
||
name: web
|
||
description: 网页抓取与搜索技能：访问网页、查阅文档、搜索互联网
|
||
---
|
||
|
||
# 网页访问
|
||
|
||
使用 `tkmind-search` 专用搜索与内置 `web` 平台扩展联合获取网页内容和搜索信息。
|
||
|
||
## 何时使用
|
||
|
||
- 用户要查某个 API 文档、库的用法
|
||
- 用户要搜索最新新闻、技术资料
|
||
- 需要验证某个 URL 的内容
|
||
|
||
## 工具
|
||
|
||
| 工具 | 用途 |
|
||
|------|------|
|
||
| `fetch_url` | 抓取指定 URL 的内容，可提取纯文本 |
|
||
| `web_search` | 通过 DuckDuckGo 搜索，返回标题/摘要/链接列表 |
|
||
| `tkmind_search` | 通过 103 专用 SearXNG 搜索，返回标题/摘要/链接列表 |
|
||
| `tkmind_read` | 读取专用搜索返回的公开 URL 正文 |
|
||
|
||
## 规则
|
||
|
||
1. 搜索实时资料时，同一轮同时调用 `tkmind_search`（type=`web` 或 `news`）和 `web_search`，合并两边结果并按 URL 去重；不要只调用其中一个
|
||
2. 从合并结果中选择可靠来源，再按需同时用 `tkmind_read` / `fetch_url` 读取正文
|
||
3. `extract_text: true`（默认）获取可读文本，`false` 获取原始 HTML
|
||
4. 不要访问不明来源的链接，向用户确认后再访问
|
||
5. 官方文档优先于第三方博客
|
||
|
||
## 国内网络环境（建议）
|
||
|
||
- 生产环境访问不了 `google.com`；实时搜索必须同时尝试 103 专用 `tkmind_search`（SearXNG）和 `web_search`（DuckDuckGo），避免直接拿 `computercontroller__web_scrape` 抓 Google 页面来回重试
|
||
- 每个搜索 provider 最多 **2 次**（可换关键词）；若一侧失败，保留另一侧结果，并再试 1 次 `fetch_url` 访问 `https://cn.bing.com/search?q=...` 或 `https://www.so.com/s?q=...`
|
||
- **3 轮搜索后仍无结果**：停止搜索，用内置知识直接生成页面/回答，并说明未获取实时搜索结果
|
||
- 百度/知乎/大众点评等站点有反爬拦截，遇到跳转或空结果就换个搜索源，不必在同一个来源上反复硬抓
|