生鲜电商数据仓库搭建九步走

一、背景

2019年，我国生鲜电商行业保持稳定增长的发展趋势。1620.0预计2020年生鲜电商行业市场规模将达到1亿元。2638.41亿元。随着电子商务渗透率的加强户习惯的形成，新冠肺炎疫情期间需求的激增，中国生鲜电商平台将成为一个新兴的增长市场。

二、构建数据仓库的必要性

每日游仙于2014年进入生鲜电子商务零售业。为解决传统模式成本高、渗透性低的局限性，每日游仙首先提出并实施了前仓 城市中心模式，有效提高了生鲜电子商务产业链的管理效率。在处理多个具有强大集团背景和资本背景平台的竞争干预时，每日游仙在物流和供应链中的管理效率也将面临巨大挑战。

1.每日优鲜活跃用户规模达千万，数据极其密集。

2.每日优鲜疫情期间业务量增长300%，运营系统和供应链系统迫切需要成熟的数据仓库应用产品来提高运营效率。

3.每日优鲜成熟OLTP，建立扎实的数仓基础。

4.生鲜产业竞争压力大，增长迅速，需要数仓产品支持精细的业务分析和运营，以降低成本，提高效率。

近年来，生鲜电子商务不断发展，竞争激烈，各种模式不断创新，新玩家进入市场，更多玩家不幸退出市场。根据中国农业生鲜电商发展论坛的一组数据，中国4000多家生鲜电商企业中，只有1%盈利，4%持平，88%亏损，其余7%亏损巨大。

第三构建数据仓库的步骤(关键)

3.1 业务核心

产品功能结构图用户订单及订单管理流程

3.2 需求分析、构建维度表

您可以从用户购买产品、订单、时间维度、产品评论、产品访问、购物车、产品关注/拇指、销售利润、物流货运、库存、客户点击、配送等维度进行设计。

3.3 主题维度矩阵分析

3.4 数据源处理

结构化数据：可直接通过ETL可以直接抽取注册用户数、评论数、订单数等。SQL统计数据为结构化数据；

半结构化数据：如图片、文字内容等，在使用前需要处理；

使用视频等非结构化数据RNN LSTM算法提取文本处理后入库。

3.5 物理实现 ETL

ETL可选择Infor ** tica、Beeload、Kettle(开源，有数据安全风险)。

可采用数据仓库物理实现Linux操作系统 Apache服务 mySQL数据库 PHP语言。

3.6 表设计(具体表)

3.7 ETL处理

数据再次进行ETL，将数据落地到对应的数据表中。

3.8 加载维度表和事实表

3.9 应用层OLAP加载

通过报的形式或Dashboard以视觉形式呈现，并向不同的业务角色展示。

四、总结

数仓知识回顾：

stecua：数据仓库概念十问