【零基础数据采集】采集京东平台商品信息

l?采集网站

【场景描述】采集京东平台所有分类中的所有商品信息。

【使用工具】点击下方即可免费测试

【入口网址】【接口测试】

【采集内容】采集多个电商平台，京东，淘宝，拼多多，LAZADA，亚马逊搜索所有商品关键词搜索出来的商品信息，包括商品名称、价格、店铺和商品链接。

【采集效果】如下图所示：

l?思路分析

配置思路概览：

l?配置步骤

一.?新建采集任务

选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。

选择普通翻页，点击完成按钮，即创建任务完成。

二.?商品翻页链接获取

1.在浏览器中点击第二页，第三页和第四页的翻页，将翻页链接复制出来，观察链接规律。

发现翻页链接规律为：

https://list.jd.com/list.html?cat=737%2C794%2C798&ev=4155_97865%5E&pvid=ebb0e3c519de4f649049b645a6598eed&page=+2*页码-1+&s=+5+(页码-2)*6+7&click=0

2.打开刚才新建的模板任务，选中翻页链接，打开脚本窗口，新建一个脚本。

3.根据刚才发现的翻页规律，用脚本来拼翻页链接。具体如下所示：

脚本文本：

url?u;//定义一个urlfor(var?i=1;i<=10;i++)//i表示页数，此时表示采集1-10页商品数据{???var?a=2*i-1;//定义a为2*页数-1???var?b=5+(i-2)*6;//定义b为5+(页数-2）*6???u.urlname?=?"https://list.jd.com/list.html?cat=737%2C794%2C798&ev=4155_97865%5E&pvid=ebb0e3c519de4f649049b645a6598eed&page="+a+"&s="+b+"7&click=0";//根据翻页规律拼出翻页请求???u.title?=?URL.title+"#"+"第"+i+"页";??//返回链接名称为第i页???u.entryid?=?CHANN.id;???u.tmplid?=?2;?//关联模板2???RESULT.AddLink(u);}

4.采集预览，复制任意一条翻页，在浏览器中打开，看是否为该页内容。

三.商品数据抽取

1.新建模板02，在模板02下建一个数据抽取，具体操作如下图所示。

2.数据建表

点击图中加号，新建一个数据表，然后添加字段，各字段属性如下图所示：

3.将新建好的数据表，关联到模板中去，如下图所示:

4.字段抽取

字段抽取使用脚本抽取的方法，在数据抽取模板中新建一个脚本窗口。

5.采集预览，复制一条翻页的链接，在浏览器中打开。

6.点击F12，点击指针(源码框左上角)，让指针指到第一个商品处，在右侧源码中找到对应位置。

经观察发现，每个商品的内容在class为【gl-warp clearfix】的节点下的每个name为【li】的节点中。

打开第一个商品的源码，发现class为【p-price】节点中有商品的价格，class为【p-name p-name-type-3】节点中有商品的名称和url，class为【p-shop】节点中有商品的店铺名。

价格位置如下图所示：

商品名称和url位置如下图所示：

?

商品店铺名位置如下图所示：

7.根据以上观察，编写数据抽取脚本，具体如下图所示：

脚本文本如下所示：

record?re;//定义一个数据返回类型var?orders?=?DOM.FindClass("gl-warp?clearfix","ul");//定义orders为class为【gl-warp?clearfix】的节点var?order=orders.child;//定义order为orders的子节点，即第一个name为【li】的节点while(order)//写一个循环，获取所有name为【li】的节点{????var?pri=DOM.FindClass("p-price","div",order).child;//定义pri为order节点下的class为【p-price】节点的子节点????var?ti=DOM.FindClass("p-name?p-name-type-3","div",order);//定义ti为order节点下的class为【p-name?p-name-type-3】节点????var?sho=DOM.FindClass("p-shop","div",order).child;//定义sho为order节点下的class为【p-shop】节点的子节点????re.tit?=?DOM.GetTextAll(ti.child.child);//返回tit值为ti节点的子节点的子节点中的所有文本内容????re.price?=?DOM.GetTextAll(pri);//返回price值为pri节点中所有文本内容????re.shop?=?DOM.GetTextAll(sho);//返回shop值为sho节点中所有文本内容????re.url_?=?ti.child.href;//返回url_值为ti节点的子节点的href值????RESULT.AddRec(re,this.schemaid);//返回以上数据????order?=?order.next;//定义order为order下一个节点，即下一个name为【li】的节点}

8.采集预览

点击右上角采集预览，双击任意一条翻页链接，看是否采集到商品信息，如下图所示：

l?采集步骤

模板配置完成，采集预览没有问题后，进行数据采集。

1.首先要建立采集数据表：

选择【数据建表】，点击【表单列表】中该模板的表单，在【关联数据表】中选择【创建】，表名称自定义，这里命名为【jingdong】（注意命名不能用数字和特殊符号），点击【确定】。

创建完成，勾选数据表。

2.选择【数据采集】，勾选任务名称，点击【开始采集】，则正式开始采集。

3.可以在【数据浏览】中，选择数据表查看采集数据，并可以导出数据。

4.导出的文件打开如下图所示：