行业资讯

当前位置:网站首页 >行业资讯

行业资讯

大数据 要的不是大而是快!

发布时间:2018-05-31 11:18:15来源: 快咨讯

天下武功,唯快不破

       大数据最大特征不是大,而是快。

大数据的意义到底在哪里?在于将数据中的价值发现出来。

       发现价值的过程是个分析过程。分析过程需要在数据中不断摸索,是不断重复的分析闭环:发现问题、找到答案、采取行动。如果因为数据量大,计算性能低,无法快速响应分析过程,也就无法有效发现大数据的价值了。

“快”指两方面:

       一是指产生的新数据快,譬如电信行业的数据,每秒钟的数据量都是几十MB,每天的数据都是TB级的。

       二是指已有数据处理快,TB乃至PB级别的数据,要求分析的过程在一分钟内,或者秒级响应。

如何实现快呢

       1. 列存储:对于同样类型的数据,更利于数据的压缩,减少IO的负担。

       2. 内存计算:将数据放到内存里,能极大的提高运算速度。

       3. 库内计算:将计算推送到离数据更近的地方进行计算,因为搬运数据的成本要远远高于搬运逻辑。

       4. 分布式计算:更好的拆解运算任务为可分布式执行的,将更好的利用更多硬件资源并行处理数据。

       以上是Yonghong Z-Suite所采用的技术,来通过这些大数据技术使分析过程快起来。而艾瑞咨询通过使用Yonghong Z-Suite使得一周的数据分析工作量缩短到不到半天完成,更快的把握了互联网行业的脉搏。

行业知识也很重要

       很多人寻求大数据在自身行业的应用,当询问我们如何利用他们自己大数据的时候,很多都会说他们的数据量有多大,但他们不知道如何利用。而实际上,我们并不是他们行业的专家,我们会告诉他们如何使用我们的产品将大数据很快用起来,前提是结合他们的行业经验。

大数据也许是个阳谋

       随着美国名为《大数据促发展:挑战与机遇》白皮书的公布,掀起了大数据在全世界的浪潮,带动了大数据硬件服务器,和大数据软件公司的发展,而这些公司或者核心技术基本都在美国。而客观的讲,大数据带来的价值和意义势不可挡,未来巨大的需求客观存在,这也是蓝海汇科技的挑战与机遇。

上一篇:检察大数据中心年内启动建设

下一篇:军民融合助俄罗斯军工双轨发展