扬红心水论坛 · 
当前位置:主页 > 扬红心水论坛 >
挂牌解密图业务扩张几十倍运维却只有三人这家
发布时间: 2019-11-21

  “Club Factory上线至今,整体业务已经扩张了几十倍,运维人员却只有三人,没有专职的DBA。得益于AWS全球骨干网、Amazon VPC网络和CDN服务等,Club Factory将平均用户停留时间增加了20%。 ”

  Club Factory由中国公司嘉云数据于2016年创建,是一家时尚、美容和生活方式的电子商务商店,总部位于浙江杭州。其产品有三个特点:非品牌、时尚和低价。为此,Club Factory整合了上百万供应商,无需提前备货。在Club Factory诞生前,嘉云数据的主打产品为爆款易,这是一个SaaS数据智能平台,帮助供应商根据工厂和库存数据做出决策。

  Club Factory定位于创新型出口电商、轻自营跨境电商平台,上游已整合数千万个SKU,下游则覆盖27个国家和地区,其中超过10个国家APP购物榜单排名前5,14个国家排名前10。Club Factory平台目前积累了1亿多全球用户群,其中8000多万来自印度,跻身印度跨境电商平台前列。在电商领域,Club Factory是少数可以用轻自营模式运营上千万SKU的平台。

  嘉云数据于2014年12月创立的爆款易(应用于供应链管理)很快成为了面向制造商的最大的数据分析平台之一。拥有20多万家工厂的库存数据,借助大数据找出爆款货源,帮助供应商快速增加收益。2016年,嘉云数据消费端产品Club Factory海外上线,用大数据AI服务平台重构出海电商供应链。挂牌解密图

  现在,Club Factory已经完善了以零售业务为主的供应链管理系统,专注于个人和配对,基于人工智能算法向用户推荐产品。其应用程序采用人工智能技术,实时比较各个制造商的价格,为客户提供最低的产品价格。这有助于减少不必要的中间环节,降低成本。此外,Club Factory的SaaS产品可以为供应商提供生产相关建议,比如爆款商品的详细信息以及用户喜欢的设计方案等,降低滞留库存和成本。

  目前,Club Factory月活近亿,包括订单、交易、支付、大数据分析等在内的所有电商平台服务均运行在AWS云上。平台日均实时流入15亿级行为日志,支撑80位工程师数据分析和算法需求。每天支撑约180个活跃数据分析调度任务,每天同步4000+业务数据表到数据仓库,后者支撑的数据总量达到约600TB,每月新增约30TB数据。

  谈到跨境电商平台对云平台IT基础设施的关键要求,在Club Factory看来,网络、存储和大数据分析非常重要。其他云服务商无法满足跨境电商的业务需求,而AWS则能够提供一整套成熟、完善的解决方案。

  迁移至AWS之前,Club Factory在海外使用的是其他云服务商,其在海外的CDN布局有所欠缺。起先,Club Factory使用Amazon CloudFront做CDN解析,发现和业务配合得很不错,后来就将数据库等服务迁移至AWS。在此基础上,配合大数据分析业务,越来越多地使用AWS服务。图3是Club Factory基于AWS的网络架构示意图,主要使用Amazon VPC网络,大分区放在美国,前端基本在印度。通过AWS全球骨干网络,实现分区间类似本地内网的数据传输效率。由于AWS在印度区域接入了当地90%以上的运营商,所以本地用户体验非常好。

  谈到存储,马金金指出,Amazon S3跨区域的同步功能令人印象深刻,可实现图片的自动同步。目前,Club Factory的SKU已达两三千万,图片存储量近五千万。Amazon S3的存储空间是近乎无限量且用户透明的,同时具备强大的写入性能,并且完成写入后,可在全球不同区域自动完成数据同步。在所有图片发布到Amazon S3时,Club Factory通过AWS Lambda实现图片的实时自动裁剪,适应约8-9种不同终端的访问规则,每周裁剪近一百万张图片。Club Factory团队只需提供代码,完全无需考虑后台基础设施,大幅减少运维和管理工作。

  大数据分析方面,Club Factory主要基于AWS云开展三方面工作:第一,个性化推荐。基于用户在平台上的所有行为做实时自主推荐;第二,BI报表,包括转化率、DAU、用户购买单价等信息按天计算呈现,高效辅助运营决策;第三,一些按不同时间间隔划分的异步任务,比如以小时计的单量转化率变化情况、流量变化等,监控整体线上业务运行。

  目前,Club Factory借助AWS数据湖理念与解决方案,解耦数据计算与存储, 实现业务进行任意规模的扩展。Club Factory目前主要使用包括实时流数据服务Amazon Kinesis、数据同步工具DMS、ETL工具AWS Glue、Data Pipeline、数据仓库Amazon Redshift、Amazon EMR集群等在内的整体AWS大数据产品体系,用到的服务覆盖整个数据分析端到端处理流程,包括数据收集、存储、分析以及使用。

  所有原始数据都在Amazon S3中,一个单一的事实来源,不同的团队可以用不同的分析服务或者技术,对同一份数据进行处理,比如BI用到数据仓库Amazon Redshift Spectrum大规模并行对存在Amazon S3结构化和半结构化数据有效地查询和检索,而不必将数据加载到 Amazon Redshift表中,而批处理以及流处理场景会用到Amazon EMR,通过EMRFS直接对Amazon S3上的数据进行分析。

  通过Amazon Kinesis,可以获取业务日志以及用户点击流等实时数据,即刻对收到的数据进行处理和分析并做出响应,无需等到收集完全部数据后才开始进行处理。

  借助AWS Glue的无服务器架构,降低ETL和操作层面的复杂度以及额外的工作量,同时也为新的分析技术提供前瞻性的扩展能力,比如AI。

  马金金认为,AWS的优势是可以通过不同类型的产品服务排列组合充分满足业务需求,这是其独特的优势。据了解,Club Factory数据分析团队有十几人,算法团队20-30人,包括推荐算法、商品算法和供应链算法。此外,还有算法引擎这块重要内容,将数据离线同步到Amazon Redshift后做数据分析,同时还将离线数据做索引后放在Amazon ES上,都会整体使用到AWS大数据服务。

  通过大数据AI服务平台连接消费侧与供应侧,Club Factory现已实现了“人工智能+商品”、“人工智能+消费者”、“人工智能+供应链”的全方位技术创新:基于商品知识图谱的商品管理系统,有效实现机器管理千万量级的前端商品,克服传统电商平台卖家需手动上下架商品和更改商品价格的困难,实现实时的商品智能上下架和价格动态展示。海量丰富的商品数据,为用户带来了多样的购物选择的同时,提供了更多的感官体验;基于海量用户行为数据,搭建多维度立体清晰用户画像。用户浏览和购买的商品越多,系统对用户偏好就越了解。基于商品与用户画像建模,人工智能使得用户非常便捷地在平台上找到喜欢、适合自己的商品;人工智能系统有效地集成商品管理模块、仓储管理模块、供应商管理模块、用户管理模块、订单管理模块,通过匹配海外消费者需求,指导出口厂家的生产,大幅优化行业效率,降低行业市场成本30%以上。

  智能推荐是Club Factory的核心特色。当用户下单时,后台会自动匹配一个“最优供应商”,综合退货率、入仓时效、商品质量等信息。对于用户而言,一方面收货时间更短,同时也能享受到相对实惠的价格。

  第一,支持自动化扩展,运维成熟度高。Club Factory现已实现将自己创建的自动化运维平台与AWS API打通,AWS所有服务的操作都提供规范清晰的API,可以帮助我们进行自动化脚本控制,大大减轻运维压力。尤其在电商大促、闪购等活动期间,平台可以无缝地应对激增的QPS。

  第二,本地化的支持服务。虽然Club Factory一直使用的是AWS海外的资源,AWS本地团队则自始至终为Club Factory提供包含销售、业务架构师、方案架构等在内的全方位支持服务,保证用户的平台使用体验,第一时间满足业务发展需求,避免走弯路。

  第三,基于AWS云的强大资源能力和丰富产品功能,Club Factory实现了与大量业务应用相结合,有针对性的优化。比如,印度区域和俄勒冈区域通过Amazon VPC的对等连接,中间网络通过AWS骨干网连接;以及Amazon VPC网络和技术架构升级,Club Factory将整个导购链路的页面加载时间优化到一秒左右,大幅提升前端用户体验,平均用户停留时间增加了20%。

  第四,充分支持业务的全球化快速扩张。Club Factory上线至今,整体业务已经扩张了几十倍,运维人员却只有3人,没有专职的DBA。如果没有AWS提供的稳定支撑,这一切无法想象。应用层面,Club Factory认为“数据服务离消费者越近越好”。AWS全球化的资源和产品能力可以提供充分保障。比如商品图片信息的浏览,一方面通过Amazon S3自动同步到本地,同时也可通过CDN自动同步到离用户最近的边缘站点。

  未来,Club Factory将尝试通过AWS CloudFormation,实现在全球多区域、多站点复制部署,对流量进行更精细化的评估,充分适配自身全球化的业务发展战略。同时,深化大数据服务应用,进一步提高效率,优化成本。

  “AWS云服务是值得信赖的,能够提供可靠、高可用的全球化部署,包括AWS数据库与跨境电商全球库存的业务特性无缝结合等。同时,AWS整体的配套服务非常完善,用户体验令人满意。”马金金总结道。返回搜狐,查看更多