2018京东大数据技术白皮书

2018年12月7日京东举办了首届大数据峰会，也是首次对外全面展示京东在大数据领域多年研发的核心技术成果。在2010年京东就启动了在大数据领域的研发和应用探索，正式组建京东大数据部，并确立了数据集中式的数据服务模式，成为大数据最早的实践企业之一。在峰会上，京东对外发布了《京东大数据技术白皮书》，该白皮书全面介绍了京东大数据的建设以及技术特点。

在《京东大数据技术白皮书》中指出，大数据平台的发展是随着京东业务同步发展的，由原来的传统数据仓库模式逐步演变为基于Hadoop的分布式计算架构。技术领域覆盖Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、Hbase、Storm、Flink、Kafka等大数据全生态体系。

众所周知，大数据是企业的基本生产资料，数据信息是企业宝贵的资产。不同于其他资产，数据资产主要在企业运营过程中产生，较易获取，但要持续积累、沉淀和做好管理却并不容易，这是一项长期且系统性的工程。未经“雕琢”的数据是一组无序、混乱的数字，并不能给企业带来何种价值，从庞杂晦涩的数据中挖掘出“宝藏”充满着挑战，这需要将业务、技术与管理三者相互融合起来进行创新。

京东作为一家业内领先的互联网科技公司，完整的产业链条带来了价值可沽的海量大数据，丰富的业务场景也为技术发展提供了最佳创新土壤。从认知、探索到今天京东技术上的百花齐放，我们经历了最为艰苦的创新和付出。业务的复杂与多元化，数据的飞速增长，给我们带来了很多棘手问题，但也使得大数据平台拥有更强大的能力，形成了一套完整的技术体系和有效的数据管理方法，并在实践中得以验证和夯实。京东大数据平台作为京东集团的数据中台，支撑了京东无界零售的数据运营和创新。《京东大数据技术白皮书》总结了大数据技术在京东的落地和成长，分享了大数据技术体系和管理架构，阐述了大数据在京东的典型业务应用场景，并对大数据的技术方向进行了展望，是一次对京东大数据平台的最全面解读，希望我们的实践和思考能给同行以启发和参考，我们期待和业界一起推动国内大数据产业的进步和发展。