《采集侠 2.7》完整使用教程

前言：什么是采集侠？

采集侠是一款功能强大的网页数据采集软件,它通过模拟人的操作行为（如打开网页、点击、输入、滚动等）来提取网页上的信息，并将其整理成结构化的数据（如Excel、CSV、数据库等），相比于编写代码（如Python爬虫），采集侠具有图形化、可视化、无需编程的特点，非常适合需要快速采集数据但又不熟悉编程的用户。

采集侠2.7使用教程
（图片来源网络，侵删）

软件安装与准备

  1. 下载安装包：从官方渠道或可信的下载站获取“采集侠 2.7”的安装程序。
  2. 安装软件：双击安装包，按照提示完成安装，过程非常简单，通常只需“下一步”即可。
  3. 启动软件：安装完成后，打开采集侠软件，您会看到一个简洁的操作界面。

核心概念解析

在开始采集之前,必须理解采集侠的几个核心概念，这会让您的操作事半功倍。

  1. 任务：一个完整的采集流程就是一个“任务”。“采集京东所有手机商品信息”就是一个任务，一个任务包含了所有采集规则。
  2. 页面：指您要访问的网址，商品列表页、商品详情页。
  3. 元素：指网页上的具体内容，如标题、价格、图片、作者名等，采集侠通过选择元素来定位要抓取的数据。
  4. 字段：您最终想要的数据列。“商品名称”、“价格”、“品牌”等都是字段，字段会对应到页面上的“元素”。
  5. 循环：用于批量处理多个页面，循环遍历商品列表页的每一页，或者循环遍历列表页中的每一个商品链接。
  6. 规则集：一组规则的集合，通常用于处理复杂的页面结构，一个规则集专门处理商品列表，另一个规则集专门处理商品详情。

详细操作步骤：以“采集某博客文章标题和链接”为例

假设我们要采集一个博客网站（example-blog.com）首页上所有文章的标题和链接。

第一步：创建新任务

  1. 打开采集侠,点击主界面的“新建任务”按钮。
  2. 给任务起一个名字,博客文章采集”。
  3. 点击“确定”。

第二步：添加并设置页面

  1. 在任务编辑界面,点击“添加页面”。
  2. 在弹出的窗口中,输入我们要采集的起始网址：https://example-blog.com。
  3. 选择页面类型,对于这种列表页，通常选择“列表页”。
  4. 点击“确定”。

第三步：定义字段（我们要抓什么？）

  1. 在页面设置区域,找到“字段管理”或类似的选项。
  2. 点击“添加字段”。
  3. 添加第一个字段：
    • 字段名：
    • 字段类型：文本
  4. 添加第二个字段：
    • 字段名：文章链接
    • 字段类型：链接
  5. 字段列表中应该有“文章标题”和“文章链接”两个字段。

第四步：提取元素（数据在网页的哪里？）

这是最关键的一步,我们需要告诉采集侠，文章标题和链接分别对应网页上的哪个部分。

  1. 提取文章标题：

    • 在字段列表中,选中“文章标题”字段。
    • 切换到网页预览窗口（采集侠通常内置了一个浏览器）。
    • 将鼠标移动到第一篇文章的标题上,右键点击，在弹出的菜单中选择“使用选择器提取”或类似功能。
    • 软件会自动分析并生成一个CSS选择器（如 h2.post-title a）。
    • 检查这个选择器是否正确,它能高亮显示所有文章的标题，如果不准确，可以手动修改。

  2. 提取文章链接：

    • 同样,选中“文章链接”字段。
    • 在预览窗口中,右键点击第一篇文章标题（通常链接就在标题标签里），选择“使用选择器提取”。
    • 软件可能会自动复用刚才的选择器,因为链接通常就在标题的 <a> 标签里，如果需要，可以手动调整选择器，确保它只提取 href 属性的值。

提示：如果文章结构复杂，可以使用“浏览器开发者工具”（F12）来更精确地找到元素的CSS选择器或XPath。

第五步：设置循环（如何翻页？）

如果博客有多页文章,我们需要设置循环，让采集侠自动翻页并继续采集。

  1. 在页面设置区域,找到“循环”或“翻页”设置。
  2. 选择“自动翻页”。
  3. 选择下一页元素：
    • 在预览窗口中,找到“下一页”的按钮。
    • 右键点击该按钮,选择“使用选择器提取”，获取它的CSS选择器（如 .next-page a）。
  4. 设置循环终止条件：
    • 这很重要,可以防止无限循环。
      • 当选择器找不到“下一页”按钮时停止。
      • 当采集到第10页时停止。
      • 当页面URL包含“/page/10”时停止。
    • 根据实际情况选择一个合适的终止条件。

第六步：配置采集与输出

  1. 设置采集速度：为了避免对目标网站造成太大压力或被封IP，可以设置一个“采集间隔”（每采集2个页面暂停1-3秒）。
  2. 选择输出格式：
    • 在任务设置中,找到“输出设置”。
    • 选择您想要的格式,最常用的是 Excel (.xlsx) 和 CSV (.csv)。
    • 点击“选择保存位置”，指定一个文件夹来存放最终的数据文件。

第七步：开始采集

  1. 检查所有设置是否正确（页面、字段、循环、输出）。
  2. 点击任务编辑界面的“开始采集”或“运行”按钮。
  3. 采集侠会自动打开浏览器,按照您设定的规则开始工作，您可以在软件界面看到实时的采集进度（如“正在采集第1页”、“已提取20条数据”）。
  4. 等待采集任务完成,软件会自动停止。

第八步：查看结果

采集完成后,导航到您之前设置的保存文件夹，打开生成的Excel或CSV文件，您会看到所有采集到的文章标题和链接，整齐地排列在表格中。

进阶技巧与注意事项

  1. 处理动态加载（AJAX）：

    • 很多网站的数据是通过滚动页面或点击“加载更多”按钮动态加载的。
    • 解决方案：在采集前，先手动在预览窗口中滚动页面或点击按钮，让数据完全显示出来，然后在设置元素选择器时，确保它能捕捉到这些动态加载的内容，有时需要设置“等待时间”，让页面加载完成后再进行提取。

  2. 处理登录和验证码：

    • 登录：采集侠通常支持Cookie导入或在任务中模拟登录操作，您可以在任务中添加一个“登录”步骤，填写用户名、密码，并设置登录成功后的判断条件（如检测到“退出登录”按钮）。
    • 验证码：这是采集的难点，采集侠本身无法识别复杂的图形验证码，对于简单的验证码，可能需要手动输入，对于复杂的，可能需要借助第三方打码平台（这通常需要额外付费和配置）。

  3. 使用规则集：

    • 对于复杂的网站（如先从列表页获取商品链接，再进入每个商品详情页抓取更多信息），可以使用“规则集”功能。
    • 步骤：
      1. 创建一个“列表页规则集”，负责提取所有商品的链接。
      2. 再创建一个“详情页规则集”，负责进入每个商品链接后，抓取标题、价格、描述等。
      3. 在主任务中,先运行列表页规则集获取链接，然后对每个链接循环执行详情页规则集。

  4. 数据清洗：

    • 采集到的数据可能包含多余的空格、换行符或无关字符。
    • 采集侠的字段设置中通常有“数据清洗”选项，您可以使用正则表达式或简单的替换功能来清理数据，使其更规范。

  5. 遵守网站规则与法律：

    • 重要：采集数据前，请务必查看目标网站的 robots.txt 文件和《服务条款》，确认是否允许进行数据采集，频繁、大量的采集请求可能会对网站服务器造成负担，甚至可能违反相关法律法规，请务必尊重版权，合理使用。

常见问题

  • Q：为什么我提取的数据是空的？

    • A：最常见的原因是元素选择器不正确，请仔细检查选择器是否能准确定位到网页元素，可以尝试在浏览器开发者工具中手动测试该选择器。

  • Q：采集过程中网页卡住不动了怎么办？

    • A：可能是页面加载了复杂的JavaScript或弹出了对话框，可以尝试在采集侠的设置中增加“页面加载超时时间”，或者在采集前手动关闭弹窗。

  • Q：采集速度很慢怎么办？

    • A：可以尝试增加“采集间隔”时间，避免请求过于频繁，检查您的网络连接是否稳定。

希望这份详细的教程能帮助您顺利掌握《采集侠 2.7》的使用，祝您采集顺利！