Apify

概述

Apify 是一个集成了网页数据抓取、自动化工作流与 AI 工具的平台，核心功能包括：

• 从任意网站提取结构化数据（如商品价格、评论、社交媒体内容）
• 监控竞品动态（价格变更、库存、内容更新）
• 将抓取数据直接对接 AI 模型（如 GPT、Claude）进行进一步分析

前置条件

• 注册 Apify 账号（免费额度含 5 美元/月使用量）
• 准备目标网站 URL（需遵守 robots.txt 及当地法律）
• 如需数据导出，准备 Google Sheets、AWS S3 或本地存储路径

分步操作：从零开始抓取数据

1. 选择或创建 Actor（自动化工具）

• 在 Apify Store 搜索预构建工具，例如：
• Web Scraper：通用抓取，支持 CSS 选择器
• Google Maps Scraper：提取商家信息
• TikTok Scraper：获取视频元数据
• 若无合适工具，点击「Build your own」使用 Python/Puppeteer 创建自定义 Actor

2. 配置抓取参数

• 输入目标 URL（如 https://example.com/products）
• 设置抓取规则：
• 最大页面数：建议 10-50 页测试，避免消耗额度
• 输出格式：JSON（默认）、CSV、Excel
• 动态内容处理：启用「Wait for selector」等待 JavaScript 加载
• 点击「Run」启动任务，等待进度条完成（通常 1-5 分钟）

3. 导出与集成数据

• 在「Dataset」页面预览数据，点击「Export」下载为 CSV 或 JSON
• 设置自动导出：
• 进入「Integration」→ 选择「Google Sheets」→ 授权账号 → 指定工作表
• 或使用 Webhook 将数据实时推送至自定义 API

4. 连接 AI 模型（进阶）

• 在 Actor 输出后，点击「Run with AI」：
• 选择模型（如 GPT-4o）
• 输入提示词，例如：「提取前 10 条评论中的情感倾向，并标注正面/负面」
• 结果将自动写入原数据集，可直接下载

预期结果

• 抓取任务完成后，Dataset 中会生成结构化数据，字段包括：url、title、price、rating 等
• 集成 AI 后，数据集新增 sentiment 列，内容为 positive / negative / neutral
• 自动导出至 Google Sheets 的表格每 6 小时更新一次（可调整频率）

常见问题与排查

注意事项

• 合规性：仅抓取公开数据，避免绕过登录或付费墙
• 频率限制：对同一域名每秒最多发送 1 个请求，否则可能被 IP 封禁
• 免费额度：5 美元/月约可抓取 10,000 个页面（普通文本），超出后需升级付费计划