DaoCloud Enterprise DataLake：利用数据能力帮助企业进行数字化转型

DaoCloud 受邀出席 SplunkLive，就 DaoCloud Enterprise 联合 Splunk 深度融合的新版本 DaoCloud Enterprise DataLake 进行了详解，并就相关客户案例进行了探讨。

从强大的 IT 运营和动态安全形势到复杂的业务分析和物联网生态系统，日益增加的企业机器数据量中蕴藏着推动业务发展的新见解和答案。2017年9月5日，SplunkLive 登陆上海，引发了一场对于数据洞察的全面探索，共同寻求新的业务见解，在降低网络安全风险，防止诈骗的同时提升服务业绩，降低成本。

DaoCloud 受邀出席了本次的 SplunkLive。大会上，DaoCloud CEO 陈齐彦就 DaoCloud Enterprise 联合 Splunk 深度融合的新版本 DaoCloud Enterprise DataLake 进行了详解，并就相关客户案例进行了探讨。以下是 DaoCloud CEO 陈齐彦在大会现场的演讲实录：

帮助企业实现数字化转型

DaoCloud 成立于 2014 年底，是中国最早做容器计算的公司，主要是为企业提供运行其 IT 基础架构的云平台。经过两年多的发展，DaoCloud目前已经成为云计算行业的转型先行者,产品线涵盖云原生应用的开发、交付、运维和运营全生命周期，并提供公有云、私有云和混合云等多种交付方式。

其中 DaoCloud Enterprise 是 DaoCloud 推出的领先的云原生应用管理平台，基于容器的速度及敏捷性，在已有 IT 基础架构之上实现容器集群，轻松弹性扩展应用，有效处理不断增加的业务需求，降低企业多租户 PaaS门槛。DaoCloud Enterprise 能助力企业进行新一代互联网技术驱动下的数字化转型，实现全面软件定义数据中心，加速业务应用交付，满足企业快速变化的业务需求。

时间序列大数据的挑战

DaoCloud 的最重要用户群体是制造业，我们帮助他们进行数字化转型，其中最典型的客户便是汽车公司。在为制造业提供解决方案的时候，我们发现其配备的大量的传感器会产生海量的数据，而对这些数据的操作尤为重要。

举一个东风汽车集团的例子，新能源汽车每辆实时产生的数据量为 14个大 MB，而一个车场的单一品牌的车辆在我们的平台上就有两万辆，这意味着每天会产生 300-400 亿 GB 的时间序列数据，这是我们遇到的最大的挑战。

为了应对这样的应用场景，DaoCloud 尝试了很多开源方案来进行解决，但往往在消耗大量资源的同时，产品走向市场的流程和时间会非常的漫长，并且不具备企业化特性。为了应对这样的挑战，我们选择使用 Splunk 这一成熟技术解决方案来进行实现。

为什么选择 Splunk

我们认为这是一个通用的技术场景，Splunk 不只是机器数据的收集者而是时间序列数据的收集者。为了确认我们与 Splunk 拥有相同的愿景，DaoCloud 远渡重洋去往美国寻求答案。我们很高兴地看到，Splunk 在美国已经开始发展其生态系统，并大规模地开始开拓 IOT 领域，这与我们的想法协同一致。

根据 DaoCloud 长时间的调研，相较于一些大数据平台和传统数据库方案，用 Splunk 来实现时间序列数据场景是最优的手段。时间序列数据是对数据进行全生命周期管理，不只是数据的存与查，而是包括收集、存储、检索、分析和展现。基于此的融合大数据平台最终是面向应用的，新能源汽车监控的业务挑战是需要对数据进行分析而进行相应的预警，这些数据的源头便是时间序列数据。

Splunk 还具备有一下吸引我们的特性：

1.检索能力强大。

在创造一个基于 Splunk 的上层应用时能极大简化开发的工作，不用花费巨额的时间去管理大数据平台，应用开发人员易于使用这样的接口去开发大数据应用，

2.生态十分完整。

丰富的第三方插件能让我们免于重复地制造轮子，提高了生产效率。

3.管控任意时间序列。

不仅仅是收集和保护等在运维层面上管理数据的举措，而是承载企业关键的数据化形态，体现数据的价值，其中最为关键的一点是数据的实时性。能实现在对应用监控和日志管理的同时，掌握产生的大量应用逻辑数据。

4.精益开发模式。

传统大数据应用开发模式堆栈太过复杂，无法达到快速地走入市场，而 Splunk 能做到一站式开发。

5.安装配置简单。

在部署我们的产品时，可以很快捷、方便地将 Splunk 引擎伴随我们的分布式系统一同装入云。

6.高效索引和存储。

在投资回报率上，使用商业软件的总成本远远低于开源软件。

Splunk 是世界上最好的时间序列数据产品之一，这得益于其优秀的 API 管理和对接之上。Splunk 不仅是商业软件，更是一个优秀的开放平台，所以今天的 DaoCloud Enterprise DataLake 能实现将 DaoCloud Enterprise与 Splunk 两个平台融为一体，而不是相互割裂的两个系统。

DaoCloud Enterprise DataLake

DaoCloud Enterprise DataLake 是 DaoCloud 联手 Splunk 推出的云端机器数据引擎解决方案，旨在帮助 DCE 的平台用户获取新层次的运营可见性及IT和业务智能。DaoCloud Enterprise与 Splunk 平台的两相融合实现了：

➤  应用感知，自动完成日志数据收集，存储，索引和展现

其中内置了一个Splunk 引擎，而我们的平台更像是一个分布式操作系统，在这套系统上运行的任何应用的监控和日志数据会默认地推到Splunk 之上，并且这不需要开发人员任何的设置。

➤  灵活的扩展机制，满足企业多样化大数据分析和展现需求

我们最大的运行环境中有近 10 万的租户，我们的 Splunk 应用支持的是一个多租户应用场景，在Splunk 上能很好地试错，进行数据隔离。

➤ 应用产生数据，数据优化应用的正向反馈迭代机制，提升企业研发迭代效率和质量整体架构。

相比于垂直烟囱式的传统的应用架构，在DaoCloud 体系中，我们提供的是一个面向平台的应用系统，即所谓的插头插座模式。DaoCloud Enterprise DataLake 是一个分布式操作系统，之上能承载应用，之下连接的是数据收集器。它是一个企业 IT 系统的插座，是面向品牌的全新应用模式。企业的应用插在插座上，把数据推送到之下的数据收集器 Splunk 中，实现对应用数据的实时管控。

解决方案

去年十月起，按国家规定，开始了对新能源汽车领域的监管。我们从新能源汽车上收集的数据同时需要发给车场和新能源汽车的监管部门，形成了一套完整的车联网系统运行生态。

DaoCloud 搭建了一套完整的基于 Splunk 应用的新能源车监控平台。在整个实施架构中，最关键的部分是内置的 Splunk 引擎，它实现的弹性负载保证百万计的汽车容量。同时，海量的时间序列数据接入到 Splunk 之上，存在着非常巨大的数据挖掘价值，在商业层面潜力无限：不仅能解决新能源汽车的安全风险，提高城市交通运载的运行效率，对于车主反馈数据的分析和探索，能为企业发掘未来所需要提供的服务和进行的优化。

以汽车行业为代表的物联网运用场景，具有巨大的跨时代意义，它即将在中国所有汽车公司中成为标配。同时也影响了制造业的转变，这一主流的趋势使得大家都往同一方向靠拢：希望设备承载广量数据，而数据会上传到云端，我们能够运用数据挖掘其深层的价值。而 DaoCloud 实现的，便是在跨时代的意义上，帮助企业利用数据能力进行数字化转型。

未经允许不得转载：DaoCloud道客博客 » DaoCloud Enterprise DataLake：利用数据能力帮助企业进行数字化转型