电信通话语音详单存储设计与实现

本节课,我们通过一个电信通话语音详单存储设计与实现的案例,学习和掌握以下内容:

  • 项目背景
  • 业务数据存储需求分析
  • 数据模型设计,包括:
    • 表结构设计
    • rowkey设计
  • 应用接口开发和测试程序开发
  • 基于Phoenix SQL实现

项目背景

随着电信行业4G/5G 技术的普及以及移动互联网应用的不断发展,特别是手机、Pad、电脑等各种智能终端的广泛使用,每人每时每刻都在产生海量的数据。其中,数据记录了使用移动网络的时间、访问地址、位置信息和通信记录等。对于电信运营商来说,一方面,可以对这些数据进行分析,如分析网络瓶颈,开展网络优化等,为用户提供更好的服务;另一方面,可以为用户提供流量提醒、流量详单等实时查询,避免因为操作不规范、恶意软件等导致的流量过度消费,提高用户体验感知。因此,运营商需要构建一个适用于PB 级甚至EB 级大数据的查询处理平台,以提供更好的网络服务及用户体验。

通话语音详单记录的数据本身是个高价值的数据,它是目前为止可能是用户在移动互联网行为上的一个最基础、最原始的数据,这个数据如何进行高效的分析和挖掘。这么大的数据量,如何来进行低成本的存储,都是当时面临的问题。

面对PB 级、EB 级海量数据的实时查询, 现有技术方案主要采用传统关系型数据仓库。为了支撑更大的数据量、更高的查询速度,主要是通过分布式技术架构部署、增加硬件资源、采用高性能硬件设备等方式进行。其缺点如下。

  • 数据入库效率差、并发能力差。使用关系型数据仓库的集群数量有限,并不能很好地扩展,而且大部分集群使用传统SAN 存储,存储的总I/O ......

    ......

    抱歉,只有登录会员才可浏览!会员登录


《Spark原理深入与编程实战》