John
41 lines
2.0 KiB
Markdown
41 lines
2.0 KiB
Markdown
---
|
||
name: web
|
||
description: 网页抓取与搜索技能：访问网页、查阅文档、搜索互联网
|
||
---
|
||
|
||
# 网页访问
|
||
|
||
使用 `tkmind-search` 专用搜索与内置 `web` 平台扩展联合获取网页内容和搜索信息。
|
||
|
||
## 何时使用
|
||
|
||
- 用户要查某个 API 文档、库的用法
|
||
- 用户要搜索最新新闻、技术资料
|
||
- 需要验证某个 URL 的内容
|
||
|
||
## 工具
|
||
|
||
| 工具 | 用途 |
|
||
|------|------|
|
||
| `fetch_url` | 抓取指定 URL 的内容，可提取纯文本 |
|
||
| `web_search` | 内置联网搜索，返回标题/摘要/链接列表 |
|
||
| `tkmind_search` | 专用联网搜索，返回标题/摘要/链接列表 |
|
||
| `tkmind_read` | 读取专用搜索返回的公开 URL 正文 |
|
||
|
||
## 规则
|
||
|
||
1. 搜索实时资料时，**必须先调用** `tkmind_search`（type=`web` 或 `news`），禁止先 `fetch_url` 抓取热榜/热搜整页；系统可能已预取专用搜索结果
|
||
2. 需要补充时再调用 `web_search`，合并两边结果并按 URL 去重
|
||
3. 向用户只称「联网搜索」，不要提具体搜索引擎、中间件或运行时名称
|
||
4. 从合并结果中选择可靠来源，再按需同时用 `tkmind_read` / `fetch_url` 读取正文
|
||
5. `extract_text: true`（默认）获取可读文本，`false` 获取原始 HTML
|
||
6. 不要访问不明来源的链接，向用户确认后再访问
|
||
7. 官方文档优先于第三方博客
|
||
|
||
## 国内网络环境（建议）
|
||
|
||
- 本机/生产网络可能无法访问部分海外搜索源；实时搜索必须先走专用 `tkmind_search`，再按需使用内置 `web_search`，避免直接硬抓热榜整页
|
||
- 每个搜索 provider 最多 **2 次**（可换关键词）；若一侧失败，保留另一侧结果，并再试 1 次 `fetch_url` 访问 `https://cn.bing.com/search?q=...` 或 `https://www.so.com/s?q=...`
|
||
- **3 轮搜索后仍无结果**：停止搜索，用内置知识直接生成页面/回答，并说明未获取实时搜索结果
|
||
- 百度/知乎/大众点评等站点有反爬拦截，遇到跳转或空结果就换个搜索源，不必在同一个来源上反复硬抓
|