近日,汇量-based科技Mobvista全面升级SaaS产品“一站式云原生大数据AI Ping 台\" —— Engine Plus 2.0”。并正式上线亚马逊云科技的AWSMarketplace,帮助全球企业实现新一代数据的智能化发展,解放业务生产力。
随着业务的快速扩张,派生数据量正在经历爆炸式增长,对数据处理和分析的需求也越来越迫切。
在这种背景下,企业解决数据智能处理的挑战恰恰需要创新的技术和解决方案:快速打造集湖泊、仓库于一体的大规模数据分析平台台,实时高效摄取数据,通过人工智能模型实现数据价值最大化,从而全面赋能业务。
Engineplus2.0将数据湖、计算分析和人工智能集成在统一的扁平台,上,并提供了自开发的开源工具,如面向各种业务场景的实时数据湖框架StarLake,以及可与Spark计算框架深度集成的机器学习框架MindAlpha。Engineplus2.0通过开放的产品架构解决开发者云和数据智能处理的挑战,加速企业组织的数字化转型和业务创新。
Engineplus2.0三轴:大数据人工智能云本地
新一代一站式云原生大数据AI和台Engine Plus 2.0通过大数据与云计算、人工智能等信息技术的融合,实现了数据摄入、数据计算、模型训练、在线预测的一站式闭环,帮助客户有效提升数据处理的效率和准确性。在大规模业务的生产验证下,Engineplus2.0具有访问快、使用方便、性能高、稳定性高的特点。
1.开源数据湖框架StarLake
数据湖作为中,数据存储的容器,具有高效、快速的特点,但也伴随着较高的复杂性和较高的计算成本。
为了让客户更好地利用这种数据存储和分析方法,Mobvista开发并开放了数据湖框架StarLake,实现了大规模数据的实时摄取和更新。
StarLake data lake框架具有行、列升级功能、高并发入湖、元数据管理可扩展性强、对象存储IO性能深度优化等特点,能够高效构建湖库一体化分析平台台,较开源同类数据lake框架优势明显。
(图:StarLakevs。冰山对比试验)
同时,集成了台, Sparkon K8s和云,原生计算平台的Engineplus2.0可以提供快速的资源扩展,实现资源的高效利用,满足企业对超大规模数据请求和高效灵活的需求。
2.开源机器学习框架MindAlpha
除了数据湖,数据的人工智能建模是挖掘数据背后价值的重要途径。通过用算法建模数据,可以增强业务能力并产生价值。
Mobvista自研开源机器学习框架MindAlpha,轻松处理大规模离散特征,与Engineplus2.0上的Spark、StarLake无缝结合,提供从数据到智能的一体化、一站式、高效体验。
MindAlpha的开源parameterServerSDK支持1000亿规模的稀疏离散特性,并与pyTorch和SparkMLLib无缝连接。特征处理和模型推理逻辑和参数可以自动导出到在线服务。其实时性达到毫秒级延迟水平,能够真正实现实时反馈,快速捕捉用户行为。同时,其高性能的在线服务(online Serving)可以对模型进行水平分割,支持万亿级参数,具有低延迟和自动弹性扩展的特点,可以对CpU和GpU进行异构混合调度和负载均衡。
(图:MindAlpha架构)
3.基于SpotMax的云本土建筑
随着网络资源的便捷使用和管理业务的数据化转型,企业对云的需求正在爆发。云原生建筑因其高性能而备受企业青睐,
Engineplus2.0实现了基于SpotMax的云原生架构。spot max 云原生系统包含了云,集装箱服务网格集成中资源调度优化、多云统一管理、混合云,和平台无服务的特点。Engineplus2.0支持通过SpotMax构建的云原生基础设施一键快速部署,大大降低了运维成本。在计算和存储分离的情况下,Engineplus2.0可以专门针对对象存储系统进行优化。同时,它的所有组件都是灵活的,这有效地加快了企业的效率,降低了构建系统的成本。
中台战略源于莫比维斯塔技术
Engineplus2.0一站式云原生大数据AI平板台背后是整个Mobvista科技中台打破业务边界,Mobvista科技中台通过聚合和协同为外界赋能。
2017年,Mobvista在中,启动台战略,自主研发了以AI BigData为核心的技术中台架构。此时,Mobvista的移动编程广告与台m integral持平,数据分析与台游戏分析持平,集团提出国际化战略,进一步拓展全球业务。
2018年,中, 台,的一些技术产品成功开发并获得授权。包括数据中台Datatory、大数据计算平台台Engine Plus、大规模机器学习中台mind alpha以及基于云原生架构开发的灵活集群管理在台manage spot max mob vista生产并在台,发布该技术中,旨在以智能技术推动增长。
从自研到商业化,为全公司所有业务提供解决方案的团队——摩拜视达科技中台——,正在采取更多措施赋能外部世界。无论是Datatory、Engineplus、MindAlpha还是已经成为集团二等品牌的SpotMax,这些产品都来自于Mobvista的大规模商业实践。在深度整合业务需求场景、Mobvista技术的同时,台,中,从中,沉淀出台能力,并不断重复利用,使其产品化、商业化,为外界创造价值。
这与Mobvista提出的“SaaS工具生态”战略是一致的。互联网的“技术溢出效应”正在加速数字化转型,Mobvista正在从技术创新者向技术输出者转变。
市场需求正在爆发,数据技术正在发生变化。对于任何想要加速数字化转型的企业来说,Engineplus2.0都可以通过一体化的产品解决方案,帮助企业数字化进程,有效推动企业的业务发展。
从互联网广告、电商行业到金融风险管控,Engineplus2.0成功赋能多家境内外企业业务发展。
以Mobvista的编程交互广告mIntegral为例,其日均数据量已经达到pB级别,需要调度上万个CpU内核。使用Engineplus2.0后,Mintegral可以实时处理用户行为特征,并给出毫秒级反馈。每天都有数千亿的DNN模型预测请求,满足数万亿排序量的排序业务服务有效地奠定了Mintegral在全球的领先地位。此外,随着Engineplus2.0的赋能,一家互联网离岸金融公司的经营业绩指数快速增长了20%。
“Engineplus2.0集成了丰富的行业套件、开源代码和数据算法模型,可以帮助开发者在数据分析、技术开发和业务开发中提供可靠、准确的分析和应用能力。让客户站在每个人的肩膀上,快速建立从数据摄取和分析到AI模型离线训练和在线预测的集成能力。”莫比维斯塔集团副总裁朱亚东,博士说。
“当然,经过大规模的业务实践和可行性验证,我们积累了更多的经验和专业知识,为客户提供部署服务,帮助他们以最低的技术门槛、最低的成本、较小的风险实现数字化转型和智能化升级。我们希望成为中国家AI加持的Databricks,跨越数据爆炸式增长与智能处理的鸿沟,打造新一代基础设施体系。”
数字化转型发展前景广阔。结合多年的技术经验和行业积累,Mobvista正在为更多企业打造SaaS工具生态,用技术产品和实践经验赋能行业智能升级。