网上科普有关“企业如何实现对大数据的处理与分析”话题很是火热，小编也是针对企业如何实现对大数据的处理与分析寻找了一些与之相关的一些信息进行分析，如果能碰巧解决你现在面临的问题，希望能够帮助到您。

企业如何实现对大数据的处理与分析

随着两化深度融合的持续推进，全面实现业务管理和生产过程的数字化、自动化和智能化是企业持续保持市场竞争力的关键。在这一过程中数据必将成为企业的核心资产，对数据的处理、分析和运用将极大的增强企业的核心竞争力。但长期以来，由于数据分析手段和工具的缺乏，大量的业务数据在系统中层层积压而得不到利用，不但增加了系统运行和维护的压力，而且不断的侵蚀有限的企业资金投入。如今，随着大数据技术及应用逐渐发展成熟，如何实现对大量数据的处理和分析已经成为企业关注的焦点。

对企业而言，由于长期以来已经积累的海量的数据，哪些数据有分析价值？哪些数据可以暂时不用处理？这些都是部署和实施大数据分析平台之前必须梳理的问题点。以下就企业实施和部署大数据平台，以及如何实现对大量数据的有效运用提供建议。

第一步：采集数据

对企业而言，不论是新实施的系统还是老旧系统，要实施大数据分析平台，就需要先弄明白自己到底需要采集哪些数据。因为考虑到数据的采集难度和成本，大数据分析平台并不是对企业所有的数据都进行采集，而是相关的、有直接或者间接联系的数据，企业要知道哪些数据是对于战略性的决策或者一些细节决策有帮助的，分析出来的数据结果是有价值的，这也是考验一个数据分析员的时刻。比如企业只是想了解产线设备的运行状态，这时候就只需要对影响产线设备性能的关键参数进行采集。再比如，在产品售后服务环节，企业需要了解产品使用状态、购买群体等信息，这些数据对支撑新产品的研发和市场的预测都有着非常重要的价值。因此，建议企业在进行大数据分析规划的时候针对一个项目的目标进行精确的分析，比较容易满足业务的目标。

大数据的采集过程的难点主是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片也是需要深入的思考问题。

第二步：导入及预处理

数据采集过程只是大数据平台搭建的第一个环节。当确定了哪些数据需要采集之后，下一步就需要对不同来源的数据进行统一处理。比如在智能工厂里面可能会有视频监控数据、设备运行数据、物料消耗数据等，这些数据可能是结构化或者非结构化的。这个时候企业需要利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，将这些来自前端的数据导入到一个集中的大型分布式数据库或者分布式存储集群，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。对于数据源的导入与预处理过程，最大的挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

第三步：统计与分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。数据的统计分析方法也很多，如假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。在统计与分析这部分，主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

第四步：价值挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

总结

为了得到更加精确的结果，在大数据分析的过程要求企业相关的业务规则都是已经确定好的，这些业务规则可以帮助数据分析员评估他们的工作复杂性，对了应对这些数据的复杂性，将数据进行分析得出有价值的结果，才能更好的实施。制定好了相关的业务规则之后，数据分析员需要对这些数据进行分析输出，因为很多时候，这些数据结果都是为了更好的进行查询以及用在下一步的决策当中使用，如果项目管理团队的人员和数据分析员以及相关的业务部门没有进行很好的沟通，就会导致许多项目需要不断地重复和重建。最后，由于分析平台会长期使用，但决策层的需求是变化的，随着企业的发展，会有很多的新的问题出现，数据分析员的数据分析也要及时的进行更新，现在的很多数据分析软件创新的主要方面也是关于对数据的需求变化部分，可以保持数据分析结果的持续价值。

网易云，都踩过了网易20年的哪些坑儿

国家电网大数据应用 增强企业核心竞争力

从构想到实践，从论证到试点，国家电网公司大数据应用已经驶向快车道。

在国家电网公司2014年工作会议上，公司党组明确提出，要强化数据分析，提升数据应用水平和商业价值。去年年底，国家电网公司在总结以往研究经验的基础上，正式启动了企业级大数据平台的设计研发和试点建设工作。经过近一年时间的试点实践，目前，大数据已经广泛应用于电网运行、经营管理以及优质服务三大领域，并取得显著成效。

大数据作为重要的战略资源已经在全球范围达成共识。2011年，一些国际组织便发布报告看好大数据；2012年开始，英国、法国、美国等国家相继启动了大数据发展规划。国内，以大数据为主导的信息化浪潮来势凶猛。去年3月，大数据被写入政府工作报告；今年8月，国务院印发《促进大数据发展行动纲要》，特别强调通过大数据的发展，提升创业创新活力和社会治理水平；今年10月，十八届五中全会提出，实施国家大数据战略。如今，在城市建设、金融、电子商务、公共服务等领域，大数据的应用随处可见，并正在改变着各行各业。一个大数据的时代已然来临。

机会在敲门

抓住了机遇，等于成功了一半。对于大数据而言，也是如此。

近年来，移动互联网异军突起，加快了信息化向经济社会各个领域的延伸，形成了独特的产业竞争优势。中国信息通信研究院近期发布的《2015年中国大数据发展调查报告》预测，今年中国大数据市场规模将达到115.9亿元，增速达38%；预计2016年至2018年中国大数据市场规模还将维持40%左右的高速增长。

在前不久结束的云栖大会上，阿里巴巴集团董事局主席马云说，在未来，计算能力将会成为一种生产能力，而数据将会成为最大的生产资料，会成为像水、电、石油一样的公共资源。马云认为，人类已进入DT（大数据）时代，数据取代了石油成为最核心的资源。

国家电网公司信息通信部主任王继业认为，不可否认，大数据会逐步为人类创造更多的价值，而对于电网企业来说，研究和应用大数据是提质增效和推动电网发展方式、公司发展方式转变的迫切要求。

公司“三集五大”体系和坚强智能电网建设，积累了体量大、类型多、价值高、速度快等典型大数据特征的运营数据，具备了推广大数据应用的基础条件。

来自国网智能电网研究院的数据显示，截至去年年底，公司管理结构化数据49.75TB，非结构化数据213TB，营销基础数据130TB，用电信息采集数据达43TB，且公司信息化数据平均每天以10TB的速度增长。

“公司的生产管理和营销系统已达到几百PB级数据规模，开展大数据关键技术的研究、验证和应用，构建新型电网企业运营体系，有助于增强价值创造力和核心竞争力。”国网江苏省电力公司副总工程师王海林强调说。

国网江苏电力作为公司大数据应用的试点单位之一，在今年夏天便尝到了大数据的“甜头”。

国网江苏电力以用户信息采集数据为样本，开展负荷预测工作。王海林说：“今年4月份，我们用大数据预测8月6日将迎来今年最大负荷值8440万千瓦，实际上在8月5日出现了最高负荷值8480万千瓦，预测准确率99.53%。”

作为国网公司大数据研究和实施的主要牵头部门的负责人，王继业对这样一个预测结果感到格外高兴。“预测之初我们心里也是有疑问的，毕竟没有经验可以借鉴，但最后结果这么精准，证明我们具备和掌握了大数据在负荷预测方面的理论基础以及数据分析挖掘的能力。”

同样，国网客户服务中心也感受到了大数据的威力。目前，客服中心日均处理话务请求量35万余件。为进一步提高人工服务接通率，减少客户的等待时间，客服中心依托大数据技术，建立了“实时话务展现及预测”“基于故障事件用户感知度的主动服务”等场景应用，工作效率显著提升。例如，通过应用实时话务展现及预测场景，人工服务接通率提升了8%左右，服务效率和效果进一步得到优化。

大数据的优势不仅仅体现在服务公司内部，在支持新能源接入、提高新能源发电功率和电力负荷预测的精度、提升新能源协调控制水平和综合能源服务能力等方面也大有作为。

王继业认为，大数据是智能电网的核心，而智能电网又是全球能源互联网发展的重要组成部分。随着大数据深入应用，将促使公司的决策从“业务驱动”转变为“数据驱动”，进一步提升管理的效率和效益，同时，充分利用这些基于电网的数据，深入分析后将挖掘许多高附加值的服务，有利于电网安全检测与控制，客户用电行为分析与客户细分，电力企业精细化运营管理等，提升公司管理效益、经济效益以及社会效益。

“不论从外部环境而言还是企业自身发展需要，大数据不是用不用的问题，而是顺势潮流，必须要用。”王继业感慨道。他说，自己从事电力通信行业20多年，行业变化如此之大，今天和过去已经不可同日而语。“数据表面看是信息，但提炼分析后就能找出相关联的规律，再借助各种工具分析规律就变成了决策。大数据的内容很丰富，可以利用的领域很多，它是一个巨大的市场，抓住了大数据就意味着占据了大市场。”

准备好了吗

纵观全球大势，大数据浪潮席卷而来。作为世界上最伟大的科技成果之一，大数据已经成为推进产业变革和重塑产业竞争力的重要力量。顺势而为、乘势而上，无疑是大数据时代下最核心的命题。

国网公司的大数据具有量大、分布广、类型多等特点，背后反映的是电网运行方式、电力生产方式以及客户消费习惯等信息，这些珍贵的数据如果能挖掘分析好也就释放了大数据真正的价值。例如，用大数据分析新增用电客户数量与地区经济发展之间的关系；从电力消费情况看宏观经济趋势等。

中国电力科学研究院技术战略研究中心高级工程师邓春宇认为，大数据好比是一个金矿，但是，想挖出金子也并非易事，“做大数据是非常考验智慧的”。

数据存储无疑是挖掘大数据“金矿”的一个重要内容。存储是大数据的核心，特别是大数据时代对应用需求复杂，对存储的要求也更高。事实上，随着智能电网建设深入，信息采集点越来越多，在一些配电和数据中心的采集点达到百万甚至千万级。目前这些数据大多采用关系型数据库进行存储，随着智能化的不断提升，对数据库处理能力、存储空间、查询能力等方面的要求会更高。与此同时，随着公司信息化建设不断深入，业务系统产生的数据量呈爆发式增长，部分业务系统面临存储升级成本较高、系统响应速度较慢等问题。

针对这些问题，一方面公司对业务系统数据现状进行详细分析，针对数量庞大的历史数据，基于大数据平台开展历史数据归档，不断提升系统访问效率，节约系统存储成本；另一方面，针对业务系统架构进行分析，在可能引起系统访问瓶颈的地方引入大数据技术加以解决。

安全性则是挖掘电网大数据价值的另一个不容忽视的方面。电网的大数据由于涉及众多电力用户的隐私，且地域覆盖范围极广，安全问题较为突出。王继业表示，公司的大数据将按照分级管理的原则，同步规划、同步设计、同步投入运行，并根据数据的重要性以及共享程度，确定哪些是可以开放的，哪些是需要逻辑强隔离使用，从而保证在云基础上数据系统的安全性。

此外，国网能源研究院管理咨询研究所高级研究员孙艺新认为，在安全保障的情况下，利用好大数据还要以电力能源价值链延伸为主线，实现业务价值链向电网外部延伸。一方面，在电力供给、需求、客户负荷特征等数据分析基础上，注重对用户的数据挖掘与价值发现。利用大数据技术，在需求侧管理、家庭能源管理、节能服务、智能家居、95598客户服务等业务中拉近公司与用户的距离，挖掘用户行为的特点；另一方面，由支撑内部管理转向提供外部服务，将数据资产作为一项产品或服务进行变现。

王继业认为，大数据应用有需要继续深化的方面，包括怎样实现内部与内部、内部与外部之间的数据融合，减少壁垒；如何建立一支具备信息化、电力、数据分析能力的复合型人才队伍等。作为一项新生事物，大数据处于不同的发展阶段研究思考的内容也不同。“只有发现问题才有助于解决问题，引导我们走向正确的路径。”

经过反复研究探索和试点，目前，公司大数据的价值正逐渐凸显。例如，公司采用大数据技术，对线损、电量等经营指标进行在线监测和分析。目前，已在部分省（自治区、直辖市）公司进行应用。另外，在今年春节前后30天时间，公司对部分省（自治区、直辖市）公司、333个地市公司共2.75亿用电客户、145亿条用电信息等数据，应用大数据分析方法，分别从用电类别、电网负荷、优质服务等角度，对春节用电情况进行了分析，形成11余万条分析结果。“通过大数据整合人口、经济、用电等数据，可以准确反应区域经济发展和用电客户的消费习惯，将极大地丰富电力增值服务内容。”孙艺新表示。

大幕已经开启

“目前，公司大数据研究和试点工作已经取得阶段性成果，但这并不意味着公司大数据的研究应用画上了圆满的句号，相反，大数据正处于进行时，未来我们要做的工作还有很多。”王继业强调。

9月14日，公司发布信息通信新技术推动智能电网和“一强三优”现代公司创新发展行动计划，强调要加快构建各专业共享的企业级大数据平台，积极开展大数据应用场景设计，用好大数据，充分发挥数据价值。

立足公司的发展战略，未来公司大数据的运用前景光明。“当前，中央提出实施国家大数据战略，公司又正处于构建全球能源互联网的新征程中，信息化的任务繁重。利用好大数据，挖掘大数据的价值，推进大数据在公司系统的广泛应用，是构建全球能源互联网的重要保证。”王继业说。

目前，公司已经建成了覆盖总部和省公司统一的大数据平台。随着国网山东、上海、江苏、浙江、安徽、福建、四川电力和客服中心等试点单位的企业级大数据平台上线试运行。电网业务数据在总量和种类上都已初具规模，接下来的关键就是要做好大数据的各项分析。

当前，电网业务数据大致分为三类：一是电力企业生产数据，如发电量、电压稳定性等方面的数据；二是电力企业运营数据，如交易电价、售电量、用电客户等方面的数据；三是电力企业管理数据，如ERP、一体化平台、协同办公等方面的数据。

随着信息化建设推进以及新能源发展，下阶段各专业会涌现更多大数据应用需求，包括公司大数据和其他行业数据的关联性、与经济社会发展之间的关系等。公司具备非常好的从数据运维角度实现更大程度信息、知识发现的条件和基础，从而实现立足数据提供运维服务，创造数据增值价值，进一步推动电网发展方式和公司发展方式转变，为公司构建全球能源互联网，推动实施国家大数据战略，提供更有力、更长远的支撑。

以上是小编为大家分享的关于国家电网大数据应用 增强企业核心竞争力的相关内容，更多信息可以关注环球青藤分享更多干货

云计算的核心与本质是什么？网易杭州研究院云计算平台产品部总监、网易云基础服务（网易蜂巢）容器云研发负责人陈谔讲了一个故事：网易云基础服务（网易蜂巢）最初的版本，从申请资源开始监测到虚拟机、容器全部启动，大概需要两分半钟，陈谔认为这个速度太慢，希望20秒内启动容器。

“大家觉得这个事情太困难，几乎不可能完成。于是，接下来分解阶段性目标，先优化到1分钟、再到40秒、再到20秒，让大家看自己的环节还有哪些潜力可以挖掘。最后，实现了20秒左右完成一个容器的建立（除去镜像传输的时间）。在云计算这个复杂系统里面，做到这一点其实是很不容易。”

网易云能够最终实现20秒上线一个容器的故事，道出了云计算技术的核心与本质：即不断和长期的优化。2017年7月13日，网易云即将举办首个云创大会，大会“商业匠心、技术创新”的主题点出了网易技术这20年来走过的坑儿的心得：在商业技术创新面前，只有耐得住寂寞的匠心精神，才能“磨”出精品。

云计算不是神话

十年前，在邮箱、门户、游戏等传统互联网业务之外，开始出现很多创新的互联网业务形态，包括博客、在线相册等。当时，丁磊认为网易需要在原有的业务板块之外，建立一个面向创新业务孵化、探索的独立组织，所以成立了网易杭州研究院。十年后，从网易杭州研究院孵化出了网易云。从网易技术发展历程可以看出，云计算并不是神话，而是互联网技术演变的必然结果。

现任网易杭州研究院执行院长汪源说，网易杭州研究院的第一个业务就是博客，博客代表Web 2.0时代的诞生。在新互联网业务的探索中，发现Web 2.0业务形态对技术的要求相比Web 1.0有了质的飞越，需要如海量数据管理等基础软件的支撑，而网民带来的数据量相比之前门户网站至少有两个数量级以上的提升。

陈谔刚进入网易的时候，正值Web 2.0概念爆发，他的第一个项目就是网易博客。陈谔不仅要从事技术研发，同时还做博客的技术运维，包括版本控制等等。“整个技术挑战、技术方向突然和以前完全不一样，关注点变成水平扩展、高并发、大吞吐量等。”陈谔回忆，之前整个互联网技术体系的发展都相对平缓，就那个时间点突然跳跃了一下，需要不同的运维手段。“做互联网的似乎变成了做运维的，所以我的印象是比较深刻。”

如果说Web2.0是互联网技术的一次跳跃，云计算就是互联网技术的又一次跳跃。“云计算平台对整个网易公司的互联网业务带来很明显的推动作用，因为当时我们对服务器的管理、业务的增长都已经到了一个瓶颈，必须有这样一朵云，才能实现新的突破。”作为第一批网易杭州研究院员工，陈谔回忆道。

“云计算是分布式系统，我认为最核心是要懂得取舍。因为分布式系统架构和实现的技术，近二十年没有太大的突破，该有的理论很早就存在，后面的CAP原理（一致性、可用性、分区容错性）也只是归纳性总结。所以，最重要的还是要知道取舍，比如系统复杂性与可运维性的取舍，功能很强大但是运维很麻烦也不行。”

如今的网易云，就来源于网易技术在运营网易UGC产品的云安全能力、来自网易全线互联网产品的云计算基础服务能力、来自网易电商的云客服、来自于网易多产品的大数据处理能力，以及来自于易信泡泡的通信与视频技术等等。正因为有了网易互联网产品大规模的开发与运维经验，网易云才在正式推出的短短一年时间里，获得了大量客户和开发者。

在谈到网易过去十年走过的技术路程时，汪源表示技术体系是永远需要不断完善，因为业务发展会不断提出新的需求，而且一个庞大的技术体系中也存在很多可以优化的地方。

到目前为止，网易云是一个成功的技术体系，这是因为这套技术体系成为了一个统一、标准化平台，承载了网易各个互联网产品和业务。自2012年起，网易杭州研究院支撑网易集团互联网产品全面上云之后，网易云至今已经支撑了网易内部95%以上的互联网产品。

特别是教育、音乐、易信、电商、金融、手游等网易业务，在最近三四年间呈现爆发性增长态势，但无论是互联网业务范围还是业务规模，网易云技术体系都很好地完成了使命。“在业务爆发式增长的时候，能够及时地提供有力的支撑，没有出现技术拖后腿的情况”，汪源强调。

以网络为例，从第一个版本上线开始，网易杭研院三年之内对于整个网络的架构和优化了投入大量精力与资源。网易云的网络性能从最开始只能跑千兆网络一直到接近万兆，经历了一个很长的优化过程。而只有网络问题解决之后，上面的业务才能更好的集成，因为云计算虚拟化相对比较成熟，但各家云服务商对底层网络的优化差异程度其实很大，有的云解决方案连千兆都做不到，尤其是在部署了SDN之后。

网易云从2012年的私有云到后来的公有云，中间趟过了很多杭儿，其中一个很坑儿就是自研与跟随开源技术社区的路线选择。2006年到2007年，网易开始做海量数据管理平台，包括的五个核心系统在当时国内是比较超前和领先的。但到后来，部分平台被更加成熟的开源平台代替，比如自研的并行计算系统到2010年被替换成当时已经成熟的Hadoop，当然2007年杭研开始自研时Hadoop并不成熟。

“看开源社区，如果只看到现状，就比较容易掉到坑里去。当时觉得开源项目有很多问题，自研就很容易做一个更好的项目，但是过了三五年可能就被开源社区超过了。成熟的开源项目和开源社区的研发力量确实是很大，不是一家公司的投入所能比的，除非是公司的战略性项目。”汪源回忆过去十年间网易云有很多产品都有类似的经历，最后发现随着开源技术社区的不断成熟，跟随开源社区的技术创新、做好场景化的整体技术优化是一条更好的产品路线。

如果再回到十年前重新考虑的话，“应该会有两个调整，一个是更加积极地参与到开源社区的项目，和开源社区共同成长，另一个就是更早考虑把杭研技术进行商业化，做更好的产品对外提供服务。”

为什么要更早的商业化？“如果只是支持网易的业务，在技术的投入、应用的全面性方面，或多或少会有不足的地方；如果做到全世界的人都在用，这个技术才能说是非常成熟、非常可靠的。所以，网易自身的应用只是一个起点。”

网易从2015年陆续对外推出通信与视频（网易云信和视频云）、全智能云客服（网易七鱼）、云计算基础服务（网易蜂巢）、云安全（网易易盾）等一系列场景化云服务，以及一站式大数据管理与应用开发平台（网易猛犸）和企业级大数据可视化分析平台（网易有数）等大数据平台。

网易云信是网易公司集17年IM经验打造的即时通讯云PaaS服务。除了基本功能外，网易云信还提供了高级通讯功能，包括实时音视频、互动直播、教学白板、专线电话、短信、专属云等以及更多服务。截止至2017年5月，已经有35万+开发者接入网易IM云服务，覆盖用户7亿+，在教育、医疗、O2O、游戏、社交等行业都有众多用户。

好未来双师课堂是一种全新的教学模式，从一个老师教学升级为两个老师负责学生的学习：一位是主讲老师，以直播的形式授课；一位是辅导老师，负责课堂管理和课后针对性学习辅导。好未来双师课堂就接入了网易云IM基础功能、互动白板、实时音视频和短信功能，不仅降低了技术运维成本，还让好未来双师课堂更专注自身的核心课程研发和运营业务。

网易积20年之力专注研发的全智能云客服系统（网易七鱼），可无缝融合多渠道在线客服、呼叫中心、客服机器人、工单系统，由表及里全面打造高效的客户服务体系。小牛在线是国内领先的互联网理财平台，在线累计交易额突破100亿。小牛在线接入全智能云客服（网易七鱼），实现了Web 及微信公众号的整合沟通、跨部门工单以及丰富的绩效管理等功能。

小牛在线的服务总监彭特表示:“全智能云客服（网易七鱼）提供的智能客服机器人智能化程度很高，网易多年的技术积累和经验值得信赖。接入全智能云客服（网易七鱼），使小牛的产品体验也有很大提升。另外很重要的一点是，全智能云客服（网易七鱼）在安全性方面是市场上绝对优秀的，这一点对于小牛、甚至是整个互联网金融行业来说都至关重要。”

网易云音乐是搭建在网易云基础服务之上，面对海量的数据请求，网易云基础服务提供了稳定、可伸缩的容器集群环境，敏捷的开发模式以及良好的运维支持。“作为网易多年经验自研的产品，云基础服务为我们项目整体高效运作夯实了基础，也为企业级应用提供了更加高效、可靠的解决方案。”网易云音乐CEO朱一闻表示。

自从2015年1月上线后，网易考拉的业务开始进入了高速发展期，第一版电商系统的瓶颈逐渐凸显，就是迭代速度缓慢，而仅仅提供基础的资源弹性无法解决问题。具体而言，随着用户数量的不断增加、市场需求的变化、运营体系的完善，网易考拉对功能模块变更的需求越来越频繁，不仅仅基础资源管理越来越复杂，脚本化的应用层的部署和管理也已经远远跟不上需求。

网易云基础服务（网易蜂巢）容器云平台的自动化能力就解决了网易考拉的挑战。网易云基础服务（网易蜂巢）采用了Docker容器作为整个软件部署和调度的基本单元，并结合Kubernetes作为容器管理和编排服务框架。

网易云基础服务（网易蜂巢）还在原生Kubernetes的基础上，对于调度进行了优化，并且利用多年运行IaaS层的调优经验，对于容器之间的网络互通和持久化存储做了优化。结果是，网易云基础服务（网易蜂巢）让网易考拉每天的更新频次上限由最开始的每天2次升级到每天112次再上升到每天723次，并发访问支持由网易考拉第二版的每秒2,600次提升到了每秒16,000次。

在大数据方面，数据科学随着近几年大数据和统计机器学习的进展受到了普遍的重视，网易杭州研究院也成立了数据科学中心，打造大数据、商业智能、机器学习平台产品，于今年推出了网易猛犸大数据平台和网易有数敏捷BI平台。此外，网易杭州研究院数据科学中心还在整合网易各大产品数据，梳理网易数据，使网易的数据发挥更大价值，已经成功挖掘网易用户画像，并应用在广告、金融风控等领域，取得显著效果。

除了经受到内外部用户的严格业务考验外，汪源强调网易云的一大优势在于整体架构设计的一致性，也就是上层PaaS服务可以完全基于IaaS层能力构建。“有些友商的云计算架构比较分散，上层的数据库等服务并没有架设在云主机上，而是独立的一套系统，但网易云计算所有的PaaS服务都统一由底层IaaS支撑、调度和提供高可靠的能力，相互之间的协调性比较好，这和设计得比较好的AWS（EC2+ECS）是同等水平。”当然，这样的一个架构设计，也是网易技术近十年来不断磨炼出来的精品结果。(文/宁川)

关于“企业如何实现对大数据的处理与分析”这个话题的介绍，今天小编就给大家分享完了，如果对你有所帮助请保持对本站的关注！