手机版 欢迎访问华清诚信添加剂资讯网(www.hqcx.com)网站

当前位置:主页 > 行业数据 >

在国内替代背景下,数据库和数据分析行业的发展与投资机会

时间:2021-05-27 16:42:27|浏览:

国内独立性和可控性是最近非常热门的话题。从2018年初到2019年,许多制造商加入了实现国内独立和可控的行列,随着疫情的发展和中美贸易战的摩擦,国产自主可控一直是一个核心话题。钛金投资研究院邀请投资者党成磊分享在国内替代背景下数据库和数据分析行业的发展和投资机会。

党成磊毕业于上海财经大学,拥有电子信息工程学士学位和经济学硕士学位。他曾在海航,复星集团和德邦证券的直接投资子公司工作。他拥有多年的行业经验数据分析行业,主要从事大数据,云计算,人工智能,安全性,物联网,芯片等技术领域,以及金融,零售和工业互联网领域中技术驱动的研究和投资。

01数据库市场分析

操作系统,中间件和数据库是基础架构软件开发领域中最困难的三个部分。替换周期很长,因此国内数据库将有很大的机会来替换它们。

数据库以OLTP和OLAP开头。如下图所示,OLTP在线交易数据库仍由Oracle,IBM DB 2、 MySQL,SQL Server等主导,而Ali的OceanBase,腾讯的TBase,Dameng数据库和PingCAP才刚刚开始。

2018年,商业数据库市场规模为147亿美元。甲骨文在中国联通,金融,能源和电力领域占据领先地位。 MySQL在Internet行业中被广泛使用。同时,这个行业有一个主要的劣势,那就是价格相对较高,而且都是基于传统的集中式架构。

根据第三方统计,以​​传统的集中式数据库市场为例,Oracle占4 0. 9%,IBM DB2占1 1. 9%,SQL Server占6. 7% ,而SAP占5.的9%,其余制造商则分散。该市场由跨国掠食者所主导,而国产数据库未来将具有很大的市场空间,以取代安全,自主和可控制的国产数据库。

接下来,转到数据库以联机分析OLAP。 OLAP从最早的集成数据库机逐渐演变为MPP数据库和Hadoop数据库。多合一数据库机的价格非常高。国产替代品包括南大通用,仁达金仓,天极,Cloud和Enmo等。 MPP数据库具有特别强的实时性能,主要是Vertica和Greenplum;最后是Hadoop数据库,由中兴和华为等传统硬件供应商共同打造Hadoop数据库室。根据第三方统计,2018年OLAP的市场规模约为70亿。

大数据行业深度分析及十二五发展规划指导报告_大数据行业_数据分析行业

数据库在整个IT基础架构软件中占有很高的市场份额。根据Gartner统计,2017年全球数据库管理软件的规模达到388亿美元,其中数据库软件占整个IT基础架构软件的20%。数据库主要分为两个维度:第一个维度是关系的和非关系的。例如,Oracle,MySQL,DB 2、 SQL Server等都是关系数据库,而MongoDB,Tigergraph,neo4j,TITAN等都是时间序列数据库。非关系数据库;第二个维度是OLTP和OLAP,这是在线事务处理和在线分析。未来的趋势是更加关注OLAP和非关系数据库。

02数据库简介

在谈论数据库开发的历史时,我们不得不提到数据库领域的三个先驱,即Frank,Michael和JimGray。他们为数据库理论奠定了坚实的基础,并且都获得了图灵奖。早在1972年,Micheal首次提出了Ingres数据库,并于2014年获得了图灵奖。Ingres数据库最终分为两部分:Sybase和Postgres。其中,Postgres数据库具有大量分析功能,适用于分析事务,尤其是OLAP。 1972年,埃里森(Ellison)在硅谷开发了Oracle数据库,然后在1983年,IBM开发了DB2数据库。同年,Tdata诞生,直到MySQL数据库于1995年诞生。当前的Oracle在2009年竞标MySQL,因此它同时拥有Oracle和开源MySQL数据库。 MySQL的创始人在离开后开发了数据库MariaDB。现在国外有许多建设银行,例如Yealink Bank等新建设银行正在使用MariaDB。

让我们回顾一下OLTP数据库开发的历史。从2003年到2006年,Google在分布式关系数据库上发表了几篇论文。基于此,Microsoft F1在2012年被开发为内部数据库,供内部使用。 CockroachDB于2014年开发了一个分布式关系数据库,2017年在国外的刘奇团队也成功开发了PingCAP数据库。经过多年的内部抛光,2015年,阿里巴巴的OceanaBase终于对外推出。

然后是OLAP数据库的开发历史。 OLAP是第一台多功能数据库机,IBM Netezza,Oracle Exadata和Teradata将该技术应用于高端存储,并且对硬件的要求很高。 2000年以后,MPP数据库的大规模应用成功实现了软件和硬件的分离,不再需要将数据存储在专用服务器上。从2006年到2008年,随着Hadoop的大规模普及,出现了第三代分析数据库。数据存储和HDFS可以将存储和计算分开,并实现节点之间的访问,扩展性能太强。后来,在Handoop的基础上,我们进一步建立并优化了数据库性能,称为以HAWQ,Hive,Impala等为代表的最新一代数据库机房。

03与数据库有关的概念

关于最早的集成数据库计算机,Oracle在竞标SUN之后开始推广集成软件和硬件计算机,并开发了一种名为Oracle Exadata的产品,该产品由数据库服务器Database Machine和存储服务器Storage Server组成。核心技术是Exadata Cell,该技术用于数据存储和调度。现在,国外的Dimensity Cloud和Enmo也正在使用Inspur,Sugon,Lenovo和Huawei进行软件和硬件改编的多合一数据库计算机上的工作。

数据库室的概念。如今,许多大中型企业正在建立数据库室。数据库室是一个面向主题的,集成的,相对稳定的数据集合,可反映历史变化。它用于决策管理和全球信息共享。主要功能是在线连接OLTP。事务处理形成的大量数据通过数据挖掘,在线分析和OLAP用于决策者的统计分析。

大数据行业深度分析及十二五发展规划指导报告_大数据行业_数据分析行业

数据湖的概念。数据湖是一个数据库室,用于存储整个企业的各种原始数据。可以提取,处理,分析和传输数据。数据湖可以包括来自关系数据库的结构化数据,半结构化数据(CSV,日志,XML,JSON),非结构化数据(电子邮件,文档,PDF)和二进制数据(音频和视频资料)。

数据中的台湾概念。数据中心是异构,内部和外部多源数据的收集,管理,建模,分析和应用,以便数据可以改善内部优化管理。数据中心是企业数字化转型的第一步。由于烟囱式系统构造,大量的国内企业已导致每个系统中都存在数据岛。后端的精英决策层无法实时掌握后端业务的变化。因此,需要一个统一的数据中心来集成数据和集成产品。形成数据共享是为了为敏捷企业提供快速的决策支持。尽管这种方法是阿里巴巴从美国首先引入并应用于整个系统,但后来在国外推广。

下图显示了典型数据中心的体系结构,该体系结构从本地硬件存储和云服务的存储层逐层提升->计算层->数据补救层->数据应用层->业务应用层。模式是结构化的。

详细说明Hadoop和MPP的概念。 Hadoop最初是由Apache Foundation开发的一种分布式系统架构。它实现了称为HDFS的分布式文件系统。最大的特点是使用计算机集群进行高速估计和存储。它的核心是HDFS和MapReduce。 HDFS是海量数据存储,而MapReduce是海量数据的估计。

Hadoop技术的开发最初是由Yahoo和Google等互联网公司设计的,用于海量Internet数据处理。它于2005年开源,许多公司,例如MapR,Cloudera和Transwarp,都使用Hadoop技术制作商业应用程序。

接下来是MPP数据库。 MPP字面上意味着大规模并行处理,并且主要用于实时估计方案。 Hadoop与Hadoop之间的最大区别在于,存储和估计都是完全分布式的,而MPP是估计分布和存储集中度。 。 MPP数据库分为两种类型:一种是具有主节点且基于Greenplum的类型;另一种是基于Greenplum的类型。第二种类型没有主节点,并且基于Vertica。

MPP与Hadoop的简单比较:MPP将任务并行分配给多个服务器和节点,每个节点分别进行估算,然后汇总结果; Hadoop用于海量数据的非实时估计,并且支持结构标准化和非结构化数据(例如Internet公司和拥有大量数据的跨国集团)都非常适合。与两者相比,MPP越来越多地指向实时估计。这似乎是一个小规模的数据操作,主要支持结构化数据,尤其是中国建设银行,证券,保险和基金等金融机构,它们强调数据估计的实时性。将使用Vertica和Greenplum。

04数据库发展趋势

大数据行业深度分析及十二五发展规划指导报告_大数据行业_数据分析行业

首先,由于MPP和Hadoop具有各自的优缺点,因此一些初创公司尝试将MPP和Hadoop一起使用。例如,Prime Number Technology充分利用了Hadoop的大量结构化和非结构化功能,以及MPP的实时优势。

第二个趋势是数据库正逐渐从集中式迁移到分布式。 Gartner报告强调了以下三个原因:首先,随着数据量的减少,硬件性能的困境,尤其是摩尔定律的局限性,传统的集中式体系结构完全无法满足客户的需求,无论是数据库还是数据库。整个应用软件,有从集中到分布式的趋势;其次,由于数据库设计理论具有CAP理论,即数据库的一致性,可用性和容错性无法同时实现,因此未来的数据库必须处于分散市场中,每个数据库都必须拥有自己的数据库。的优点和缺点;第三,随着业务的发展和变化,未来的交易数据库和分析数据库将逐渐合并,AP和TP逐渐融合,因此HTAP必须成为数据库的未来发展方向。

第三个发展趋势是从SQL到NoSQL。 Oracle,MySQL和SQL Server大多是两位数的表结构,并使用SQL语言。但是,随着视听,文档和流媒体等数据量的爆炸性下降,Gartner认为,数据的未来必须是从SQL到NoSQL。发展方向包括:文献数据库,健康价值数据库,图数据库和时间序列数据库。

第四点是NoSQL的发展趋势。根据数据库引擎的第三方统计,图数据库是增长最快的数据库,其次是搜索数据库,第三是文档数据库,第四是健康价值数据库。图形数据库领域中有两家星级公司-硅谷的Tigergraph和Neo4j。 Tigergraph的最后一轮市值为3亿美元,由百度华创投资。另一个是文档数据库。代表公司MongD长期以来一直是市值921亿美元,收入2. 6亿美元的上市公司,我们可以看到,只有在这一领域,我们才能实现国内替代的机会。

总结和回顾数据库的发展:首先,从事数据库行业需要很长时间。例如,甲骨文公司从1978年开始发展至今,已经有40多年的历史了。有生态。自从X86取代小型机以来,DB2的市场份额逐渐增加,并且软件和硬件分离的趋势已导致Intel和Microsoft操作系统的广泛应用。只有在这种生态环境下,Oracle和MySQL才能发展壮大。第三;该数据库需要长期持续的投资,这需要花费数十天的时间。例如,蚂蚁金服的Oceanbase,华为的高斯和腾讯的TBASE都做出了巨大的投资。

关于数据库行业的解释:首先,在数据库领域,国内数据库的发展相对缓慢,在党,政府和军事领域的应用更多,而在金融机构领域的应用则更少。甲骨文,IBM和MySQL等产品全年都压缩了国内数据库。随着中美贸易战的升级以及国家对软件本地化的鼓励,国产软件将越来越受到关注。这将是一个重大的变化起点;其次,在国内数据库的OLTP领域,华为,阿里,腾讯等厂商具有技术优势,财务优势,生态优势和渠道优势。第三,初创企业进入OLTP领域的门槛很高,在OLAP领域,建立起来。在新一代数字数据仓库和NoSQL数据库方面,未来将会出现更多的初创企业。这可能是许多投资机构下一步将重点关注的方向。

05数据库和数据分析领域的优秀目标

在数据库和数据分析行业中有几家优秀的目标公司。

第一个是Odd Technology。 Lei Chang博士是第一个在EMC和Pivotal中开发MPP数据库的人。后来,他在Apache Foundation进行了HAWQ开源项目,该项目成功地结合了MPP实时并行估计技术和Hadoop的优势。可扩展性,最后将其商业化,并建立了Prime Technology。全世界许多传统的小型金融行业都在使用其技术,甚至一些技术也成功地获得了红杉红点的A轮融资,并且已经集成到B轮融资中。

Kylingence是韩青的创业项目。他最初是eBay中国的雇员,后来在Apache基金会从事开源Kylin项目。他具有相当成熟的项目经验。该公司已经被纳入C轮融资。

巨山数据库成立于2011年,总部位于上海。 Wang Tao来自IBM DB2核心团队。他主要从事金融级分布式数据库。它已经进入500多家企业,其中包括50家小型金融机构,恒丰。GF,GF和民生等许多金融机构正在使用巨型红杉数据库。

通过公开信息,我们可以了解到目前国外优秀的数据库公司包括:实时数据和流数据处理效果更好的公司,例如巨山,柏瑞,人大金仓,南大通用,大盟和热普数据库; OLAP的分析类型包括“星号”,“偶数”,“ Kyligence”和“邻居技术”。数据中间站包括舒兰,吉贝克,玉树坊,知陵云和聚云未至。数据库服务领域包括Cloud和Enmo,Tianji和Ai Canborn。

大数据公司列表(公共信息汇总)

下图显示了已经上市的目标大数据公司的估值和融资。这些都是未来国内数据库的例子:例如,MongoDB是由一家商业公司领导的项目,它是开源的,并且同时进行了商业化; Mongo成立于2007年,目前市值超过77亿美元,收入2. 67亿美元;甲骨文是一家长期股票,市值超过1000亿,并且仍在快速发展。从事基础架构软件的国内公司正在分析和学习Oracle。 最后,是图分析领域。上面提到的两家星级公司Tigergraph和neo4j现在被中国银联,VISA和Mastcard的许多金融机构用来分析风险控制和反欺诈。这个领域在未来有很大的机会。为了实现国内替代。

目标大数据公司的估值(公共信息的汇总)

问与答

问:中国许多国内数据库都是从开源数据库开始的。中文数据库可以开发相对较大的开源生态系统吗?

党成磊:首先,中国拥有全球最大的消费市场,拥有PC互联网和移动互联网用户。无论是2B还是2C,我认为未来的数据库都必须具备发展的泥泞和前提条件;其次,从目前的情况看,许多新兴公司(例如PingCap),小公司(例如华为,阿里巴巴,腾讯)以及越来越多的金融机构都在使用数据库。第三,诸如IBM,Oracle,MySQL和SQL Server之类的大型国内公司培养了大批中国公司。数据库开发人员,再加上在国家一级支持国内数据库的新政策,相信中国的数据库可以建立一个相对较大的开源生态系统,并且该生态系统将变得越来越成熟。

大数据行业深度分析及十二五发展规划指导报告_数据分析行业_大数据行业

问:现阶段,这类创业公司是否有机会挑战大公司并突破原始国内数据库供应商的上限?

党成磊:首先,让我们回到商业场景。让我们谈谈数据密集型行业,例如金融机构,电信,电力,能源,交通和铁路。 ,小型计算机已迁移到X86。在这个过程中,无论是Oracle还是IBM的DB2,分布式都是必然趋势。例如,巨型红杉,PingCap和其他公司正在做分布式关系数据库。这是必然的技术发展。趋势。

此外,随着数据量的减少,特别是中国农业银行数据分析行业,原始银行业务主要是存款和取款。现在,建行还提供了诸如财富管理,购买资金,购买电影票,支付水电费,信用卡分期付款等服务。传统的Oracle集中式关系数据库并不是非常令人满意的业务场景。初创公司从分析数据库开始,这是一种逐渐蚕食Oracle的技术。在这场中美贸易战中,自从甲骨文今年关闭了日本敌对国家的许多数据库服务以来,这已经向外国数据库供应商发出了警告。从长远来看,中国必须拥有自己的数据库。

问:替换Oracle和DB2之后,国内自主开发的OceanBase,Gauss,TIDB和MySQL生态系统之间的竞争将会如何?在自主开发的生态系统中,大型工厂与初创企业之间的竞争是什么?

党成磊:这是两个应用场景。如今,Ocean Base的所有客户都是金融客户,这是一个财务关系分布式数据库。高斯似乎是从开源构建的,并用于中国联通和金融业。更多的; TIDB当前在Internet行业中使用更多。第二个方向当然是MySQL生态。互联网公司更倾向于使用MySQL,而国内制造商则在实​​施,集成,应用程序和服务。

从竞争的角度看,自主开发的生态系统具有更高的技术壁垒和更强的商业化性以及用户的支付意愿。因此,华为,阿里和腾讯等自主开发生态系统的大型制造商具有自然优势。初创公司需要生产足够好的产品,并且存在很多数据方案限制。大型公司具有较强的综合实力,并具有渠道销售优势。初创公司必须拥有自己的产品。例如,PingCap或Zeju已经解决了客户。公司的痛点,当大工厂的综合实力不那么强时,初创公司就可以取胜。因此,在这个领域,我认为确实是那些为综合实力而战的大公司和为技术而战的初创公司。

问:CAP理论可能会受到影响吗?您如何看待云数据库的未来发展?

党成磊:以阿里为例,有足够的技术积累和足够的资金支持。当达到一致性和容错能力时,它不会牺牲高可用性,而是使用其他软件和硬件解决方案来填补它。 CAP理论是整个数据库设计的基础。至少在过去的几年中,数据库设计原则上没有很大的突破。

云化会对传统数据库的理论和体系结构产生影响吗?在这方面有一些。首先,我们看到AWS Cloud和Microsoft Cloud上有许多数据库。云化是未来。云化还将侵蚀传统数据库的很大一部分市场份额。但是,它是否可以在技术上被破坏仍有待进一步观察和研究。

钛合金研究所的观察

数据库的开发与应用程序场景紧密相关。今天,中国的数字经济规模已经达到32万亿元,相当于GDP的1/3,并且出现了新零售,新金融和新制造业等大量数字业务场景。这种情况因创新程度,创新规模和用户数量而异。从它的角度来看,它们是世界上最好的。

随着消费互联网向工业互联网的提升,消费互联网的数据库技术也在向工业和企业互联网场景发展,尤其是工业互联网,车辆互联网,物联网等大型互联网。大规模的工业和企业Internet,全部用于数据库创新提供了前所未有的机会。

最近恰逢《中共中央和国务院关于建立逐步建立的要素市场分配制度和机制的意见》发布,其第六部分是“加快培育”。数据的新的历史定位不再将其视为信息化的产物,而是已经上升到生产要素的重要位置。

数据元素的新定位将为中国数据库技术的发展释放新政红利,而数据库和数据分析将是全年充满希望的风险投资领域。

[由Titanium Media的作者介绍:Titanium Capital是专注于企业级技术的投资,建设银行和管理咨询服务平台。微信公众号:tmtcapital]

本站声明:本网站尊重并保护知识产权,根据《信息网络传播权保护条例》,如果我们转载的作品侵犯了您的权利,请在一个月内通知我们,我们会及时删除。

Copyright 华清诚信添加剂资讯网 All Rights Reserved. 版权所有

网站地图 |站点地图