自己使用数据源scrapy第一张表是1059196条商品数据。虽然不全面，但涉及到每个分类。第二张表是一、二、三级分类信息，共有1701个三级分类。拼多多商品数据表拼多多商品分类表

拼多多商品数据表结构如下：

Field Type Null Key Comment

first_category_id int(11) YES:一级分类ID

second_category_id int(11) YES:二级分类ID

third_category_id int(11) YES:三级分类ID

id bigint(20) NO PRI:主键ID

goods_name varchar(255) YES:商品名称

short_name varchar(255) YES:商品名称简单

price int(11) YES:商品实际价格(拼单价)

nor ** l_price int(11) YES:正常价格的商品

   ** rket_price int(11) YES:商品市场价格

link_url varchar(255) YES:商品对应url

hd_thumb_url varchar(255) YES:商品缩略图

hd_url varchar(255) YES商品高清图

cnt int(11) YES:商品销售的具体数量

sales_tip varchar(255) YES:商品销售总数

虽然字段很多，但实际上可以用于分析的主要是三级分类信息、商品名称、商品原价、商品单价和商品销售（商品市场价格与是实际购买价格，与另外两，分析价值不大）。

拼多多商品分类表结构如下:

Field Type Null Key Comment

first_category_id int(11) YES 一级分类id

first_category_name varchar(255) YES一级分类名称

first_category_img varchar(255) YES一级分类图片

second_category_id int(11) YES 二级分类id

second_category_name varchar(255) YES二级分类名称

second_category_img varchar(255) YES二级分类图片

id int(11) NO PRI 三级分类id(主键)

third_category_name varchar(255) YES三级分类名称

1 新视图将两张表合并(JOIN)在一起

2 将拼单价除以100以获得真实价格(true_price)

3 将真实价格乘以销售额(Sales)

分析处理后的视图作为数据源。