本文属于李福东《大数据运营》第八章(案例分析)内容的重构升级版。欲了解更多信息，请下载知识星球APP，找“84404036”，**点我获取**数智萤火虫原创精品列表。

摘要

当移动用户在网上记录的月增数据超过PB传统的关系数据库架构受横向扩展能力的限制，不能满足用户的快速查询需求，需要使用NoSQL分布式数据库从根本上改变了底层结构。

一、问题的产生

第一代移动通信主要解决了人与人之间的电话通信问题，而第二代移动通信使人们能够用手机上网。

但由于第二代移动通信的上网速度很低，人们只能通过WAP由于网速限制，变相满足手机上网需求的方式，WAP手机上网只能满足简单的网页浏览等功能。

3提高移动用户上网速度，3GPP（the3rd Generation Partnerships Project）提出开发第三代移动通信(简称3)G）的计划。

借助3G移动通信网络，上网速度可以达到几十兆，大大提升了移动用户访问互联网的的速度和质量。

2008年12月，工业和信息化部向中国三大运营商发放了3份G许可证标志着中国开始全面进入3G时代。

3G虽然网络上网速度快，但由于无线频谱资源的有限性，需要基于流量收费，3G在网络应用的早期阶段，应用程序和用户很少，没有数据存储和流量查询问题。

后来，3G推动了移动互联网的飞速发展，移动用户上网记录规模快速增加，每月新增数据量已经达到PB传统关系数据库横向扩展能力有限，无法解决数据规模与查询效率的矛盾。

因此，当移动用户质疑互联网成本并要求验证移动互联网数据时，由于电信运营商无法提供及时准确的互联网记录清单，在许多情况下，他们不得不采取简单的退款方式，这对电信运营商开展移动互联网业务产生了许多负面影响，造成了大量的收入损失。

为了解决这个问题，电信运营商迫切需要采用先进的解决方案来满足用户快速查询移动互联网记录的需求。

二、问题分析与方案设计

通过观察发现，移动用户在线记录的主要特点是数据量过大，数据生成速度快。随着新的在线记录的不断生成，传统的关系数据库存访问性能急剧下降，甚至经常出现查询后的死亡现象，根本无法满足查询需求。

传统的关系数据库产生于事务应用盛行的时代，数据规模通常是TB采用主机 磁盘阵列的架构模式，可满足多用户高并发性能需求。

系统的响应时间通常可以在几秒钟内增加，或者可以满足需求。即使查询性能下降，也可以通过横向扩展主机或纵向提升主机配置来轻松解决。

随着移动互联网的飞速发展，移动用户上网记录数达到月新增数据量达到PB在等级上，传统关系数据库的架构方法已不能满足要求。

阿帕奇由开源组织发布Hadoop HBase是对主机要求不高的分布式列式数据库，采用普通数据库PC服务器。

由于HBase随着服务器资源的增加，数据库具有良好的横向扩展能力，系统的整体性能可以线性提高。

如果将电信运营商的移动用户在线记录存储到HBase在数据库集群中，开源数据库不仅可以节省成本，还可以满足移动用户在互联网上记录大数据的查询性能要求。

电信运营商在不影响现有生产系统(采集系统、计费系统)正常运行的情况下采用GGSN和SGSN两个 ** 之间部署探针(分光器)，收集移动用户的在线记录，然后通过每个探针收集的数据逐步收集HBase集群中。

基于HBase系统架构如图6-1-1所示：

图6-1-1 从传统架构到分布式架构的转变

HBase虽然数据库可以满足用户根据时间段和手机号码查询互联网记录细节的需要，但其多维统计分析能力非常有限。

为了实现时间段、地域、网络类型等维度的统计，需要分布式数据库HBase配合传统的关系数据库，HBase移动互联网记录明细查询功能负责提供少量关键字。

例如，您可以根据用户的手机号码和目标IP、网址URL通过汇总形成大粒度统计数据后，原始移动用户上网记录进入关系数据库。

目前，关系数据库可以通过分区、索引、中间表等方式提高统计分析的效率，Apache的Hive和Kylin基础已经实现Hadoop数据仓库的SQL查询统计和多维数据分析。

总之，通过采用Hadoop新的分布式架构解决了移动用户在互联网上记录大数据访问效率的问题，提供了移动互联网流量的真实凭证，节省了电信运营商IT投资提高了用户体验感知。

数智萤火虫

愿景目标：致力于为学生提供系统、高质量的知识服务，从技术到产品，从战略到运营，培养专家、应用和实践人才。

服务内容:将按需延伸到企业结构、产品经理、区块链、5G、AR、VR帮助您掌握最新的理念、思维、方法、技术和工具，与时俱进，创新发展。

交付理念：从技术入手，注重产品，深入运营，决胜于战略，帮助学生实现从点到线，再从面到体的转型修炼和进步。

交付形式：文章、PPT、音频、视频、微信群、直播、沙龙、答疑、评价等形式，多媒体、多触点、线上线下融合，有效解决工作学习中遇到的困难和问题，提高实战能力。

加入知识星球，你至少会得到：

1.推荐高薪职位。星球帮助学生存放简历，免费连接优选职位。

2、职业规划指导。帮助学员少走弯路，快速平滑晋级、晋升。

3.品尝精品内容。每周至少分享一篇原创精编长文。

4、PPT下载干货。定期推送最新的培训、项目和公开课资料。

5.礼物精美。小礼物、红包、作者签名书等。

6.回答在线问题。72小时内回答个性化问题。

这个星球属于你我共同成长的家园。希望我们有缘相聚，拥抱数字时代的新浪潮和机遇，不辜负青春，共创共赢！

选用精品，高效进步

                               声明：本文仅代表作者本人，搜狐是信息发布平台，搜狐只提供信息存储空间服务。