墨天轮访谈 | 阿里云捷熙：AnalyticDB，人人可用的数据分析服务
分享嘉宾：李婧玮（捷熙） 阿里云数据库资深产品经理
整理：墨天轮社区
导读
大家好，我是来自阿里云的捷熙。AnalyticDB是融合数据库、大数据技术于一体的云原生企业级数据仓库平台，今天我为大家带来的分享分为三个方面：AnalyticDB的诞生背景、AnalyticDB产品介绍、AnalyticDB 应用场景。
市场的挑战和趋势
1、全球市场的挑战
从全球市场上看，数据呈现出一个爆炸式的增长的趋势，更加偏向于生产处理的实时化，以及生产处理的智能化，数据库也正在朝着云原生的方向发展。
图1 全球市场挑战
2、业务趋势
数据变化的趋势也对数据处理带来了挑战。
首先要实现数据强一致，我们希望在数据的输入与处理中，保证数据不丢失。
第二点是做到分析实时性，对多元的数据源进行统一以及实时性分析。在过去更多的是做“T+1”的数据工作，即当天产生的数据需要在第二天来做处理与分析，而在当下我们希望能够演进到“T+0”的数据分析效果。
第三点的挑战来自数据系统的复杂性。在面对各种各样的数据源与数据分析系统，需要我们保留同一份数据的情况下进行多模与多元化的分析。
最后，学习与运维成本高的情况下，需要我们实现自运维。我们希望数据库从客户层面实现自运维、自恢复。
图2 数据处理面临新挑战
3、技术发展趋势
数据库的发展历经了从商业——开源——分析——异构——云原生、一体化分析式、多模、HTAP的不同阶段。基于云计算技术能够实现资源的高效池化和隔离，因此在下一个阶段我们希望在云计算技术基础之上，研发云原生和一体化分布式的数据库。
图3 数据库发展历程
下图是数据库在技术架构上的变化，从单节点逐渐演进到统一元数据。
图4 数据库架构发展演进
AnalyticDB产品介绍
1、构建新一代数据存储、处理方案
AnalyticDB是云原生数据仓库与数据构建的新一代数据存储处理方案的产品。
底层支持各式的数据源以及数据处理，数据的传输通过通过ETL的方式传输到数据湖中间。目前提供两种不同的生态，AnalyticDB MySQL版以及AnalyticDB PostgreSQL版。同时，我们也会支持一体化数据管理同步加工的工具帮助数据实现一站式的服务。
图5 云原生产品架构
2、人人可用的数据分析
作为融合数据库、大数据技术于一体的云原生企业级数据仓库服务，AnalyticDB具有以下六点优势：
- 标准SQL，简单易用：会SQL就会数据分析，就会用大数据；
- 云原生：存算分离，秒级弹性扩缩容
- 低成本：按需存储，冷热数据分层，存储成本下降3-10倍
- 性能强劲：在2020年TPC权威测评中位列全球第一
- 数据共享：真正跨实例的“一写多读”，避免数据孤岛
- 湖仓一体：原生湖仓一体的数据分析平台
除此之外，AnalyticDB基于行列存储、混合负载管理、智能索引、融合计算引擎这几项技术的提供，从而在使用中能够满足以下三种应用场景，多维分析、明细查询、实时高吞吐查询和写入。
图6 AnalyticDB设计愿景
作为拥有完全自主知识产权的数据仓库产品，AnalyticDB获得了专业领域的认可并通过多项测评。在2020年5月全球权威数仓性能评测 TPC-H中，AnalyticDB PostgreSQL版荣获第一；在2020年6月全球权威数仓性能评测 TPC-DS中，AnalyticDB MySQL版荣获第一。
图7 AnalyticDB获得专业领域认可
3、云原生产品架构
下面展示AnalyticDB的产品架构，MPP数据库架构+在离线一体化+Serverless。
第一层是接入层，中间为计算层，第三层是存储层。其中计算层提供了不同的计算引擎，可以配置不同的资源组，来实现不同的计算和查询的融合分析的服务。
图8 AnalyticDB产品架构
同时AnalyticDB 提供了冷热数据分层的技术，帮助实现冷热分层、冷热策略轻松定义、冷热分区自动迁移、外部接口统一、内部闭环实现。
图9 AnalyticDB提供冷热数据分层技术
不仅如此，我们可以通过资源组来支持不同的计算引擎的混合负载。
客户通过接入层进入到数据库之后，可以分一个资源组作为默认资源组用于在线分析，也可以用一个新的资源组用于落盘的分析，在另外一个新的资源组上面去做算法分析。
所有的分析服务都可以通过不同的资源组的维度来提供，在同一个实例上面可以支持多种的数据场景，从而大大减少了数据迁移中带来的这个时间成本和运维成本。
图10 AnalyticDB实现一份数据多场景
应用场景
1、游戏运营分析
游戏领域的竞争非常激烈，在互联网高速增长的同时，流量成本不断升高，市场营销开始往精细化发展。在这样的背景下，需要游戏运营平台实现精细化运营、效果实时反馈，而传统的Hadoop大数据平台存在扩展性繁琐、难用、实时性差、性价比低等问题。
“POLARDB + DTS + ADB大存储+ ADB高性能”产品组合打造出新一代游戏买量市场实时数据运营分析平台，极大的提升了业务体验，促进投放效率转化，同时达到了降低总成本高达300%的理想效果。
充分挖掘数据价值，帮助分析性能产生了5-10倍的提升，极大的提升了业务体验，促进了买量市场的投放效率转化。基于玩家行为日志表日益增长，日增长过亿数据量，通过ADB存储密集型实例进行存储和分析，有效地降低的客户的总体使用成本，总成本下降高达300%
图11 应用场景一：游戏运营分析
2、制造营销
在制造营销的场景中，存在着不同业务数据分析能力低效、多渠道数据汇聚多、运维数据难度高的痛点。
BI+AnalyticDB打造了在离线一体化数据平台，实现了加速销售端数字化转型，解决大量线下成本的效果。
图12 应用场景二：制造营销
3、多模分析、全文检索
原有的数据治理架构存在着数据一致性无法保障、数据冗余存放、性价比低等痛点。通过替换AnalyticDB，达到了大大简化了业务系统架构、大幅降低存储成本、降低计算成本的效果。
图13 应用场景三：多模分析、全文检索
4、企业级数仓
AnalyticDB在企业级数仓中也能发挥极大的作用，以其强大的批处理和多维度复杂分析能力支撑用户包括ETL、CRM和在线分析报表等多种功能，为商家订单管理、仓储管理、分销管理和协同供应链等功能提供有力分析支持，并且基于财务和经营数据，为商家提供快速经营报表、分析、测算工具系统。
图14 应用场景四：企业级数仓
以上就是我今天分享的全部内容，谢谢大家！
更多精彩内容，欢迎大家观看现场视频回放与会议资料
视频回放：https://www.modb.pro/video/6389
会议资料：https://www.modb.pro/doc/61411
- 查看原文：https://www.modb.pro/db/407974
- 查看【国产数据库沙龙】实时数仓专场文章、视频回放资源：https://www.modb.pro/topic/405214
欲了解更多可以进入??墨天轮，围绕数据人的学习成长提供一站式的全面服务，打造集新闻资讯、在线问答、活动直播、在线课程、文档阅览、资源下载、知识分享及在线运维为一体的统一平台，持续促进数据领域的知识传播和技术创新。
关注官方公众号： 墨天轮、 墨天轮平台、墨天轮成长营、数据库国产化 、数据库资讯