11月5日消息,丰田互联(北京)科技开发有限公司(丰田互联)基于亚马逊云服务(AWS)开发的数据湖——ToyotaBigDataCenterChina 正式上线。
据悉,ToyotaBigDataCenterChina 可以存储、处理上千万辆丰田汽车每天在行驶过程中产生的数十 TB 数据,推动丰田汽车的车联网解决方案在中国市场大规模落地。通过对海量数据的存储、分析,ToyotaBigDataCenterChina 可以为用户提供各种创新的服务,例如,帮助驾驶员更安全地使用汽车,依据驾驶行为数据帮助车主获得汽车保险折扣等。
时间回到 2019 年,彼时丰田汽车希望在中国市场全面推广车联网服务,为所有新上市的汽车标配了车载数据通信模块(DCM),成功实现在用户同意的情况下将车辆数据全部传输到后台的车联网系统。
而丰田汽车 2019 年在中国全年销量超过 162 万辆,中国市场保有量超过 1115 万辆。行驶的车辆每天不断地生成新数据,随着联网汽车数量不断增长,这些汽车每天将产生数十亿条消息,生成 TB 级的数据。为了给用户提供更好的车联网服务,丰田互联希望通过搭建数据湖,构建一个能够实时存储、处理、分析数据的管理平台,为稳定、可靠、高效的车联网服务系统打好基础。
AWS 在大数据方面有一套完整的解决方案,可以存储任意规模的结构化和非结构化数据,并对原始数据进行查询、处理、实时分析和机器学习等,帮助企业利用数据做出更好的决策。AmazonSimpleStorageService(AmazonS3)是 AWS 数据湖方案的核心,具有优异的可伸缩性、高可用性。AmazonS3 为实现 99.999999999%的持久性而设计,可以快速、低成本地摄取和存储各种数据。丰田互联还采用了 AmazonKinesis 实时数据流服务、AWSLambda 无服务器计算服务、AmazonElasticMapReduce 大规模并行处理服务等,安全、灵活、高效地完成从实时数据注入、解码到分析、应用的全流程。
在 AWS 技术专家团队的帮助下,丰田互联在 5 个月内完成了 ToyotaBigDataCenterChina 这一项目的开发及部署,并借助 AWS 强大的云服务和功能大大降低了云资源使用成本。
丰田互联的成本节省主要体现在两个方面:其一是云资源使用成本的节省。利用 AWS 丰富的功能建立起成本优化模型,丰田互联极大地降低了云资源的使用成本。例如,通过制定数据生命周期策略,在指定持续时间之后将数据从 AmazonS3 移动到 AmazonS3Glacier,从而将数据存储成本降低了 6 倍,更进一步地将数据从 AmazonS3Glacier 移动到 AmazonS3GlacierDeepArchive,成本又降低了 4 倍。另一方面,采用 AWS 无服务器架构等技术,实现了架构的自动灵活扩展,降低成本。其二是系统的运维成本大幅度降低,基于 AWS 构建的业务系统实现了高度自动化运维。
丰田互联副总经理光武小叶子介绍说,“数据已经成为企业的血液,善用数据,车联网将引领未来出行方式的变革。依托 AWS 丰富而强大的大数据分析服务,ToyotaBigDataCenterChina 能够简化开发,快速进入市场,实现实时接收、存储和处理 PB 级的关系及非关系型数据,助力丰田汽车为中国用户提供一流的车联网服务。我们也将借助丰田在全球与 AWS 针对未来出行技术的进一步探索,不断深化与 AWS 在中国的合作,携手加速创新,更好地服务中国用户。”