数据生意背后的云计算

  人民所需义不容辞 鸿日力量同甘相守 鸿日汽车集团首批救灾物资送至甘肃积石山县

  定了！12月31日19时30分，来华为视频看2023-2024湖南卫视芒果TV跨年晚会

  微软 Surface Laptop 6曝光：与MacBook Air的竞争再度点燃

  十年同行，携手共创影像新未来 乐其SmallRigX佳能圣诞粉丝见面会隆重举行

  迎接2024：华为FreeBuds Pro 3龙年典藏版，新年红彩启幕

  联想Yoga Book 9i（第9代）：CES大展前瞻，双屏笔记本引领未来

  “3分钟申请、1秒放款、0人工干预”，这是阿里小贷独有的一套高效工作模式。高效的背后依赖于其独特的业务模式，它将是否放贷、贷款额度和风险评估等传统银行最为看中的业务环节完全交给了大数据处理平台，而准确性、安全性和实时性等阿里小贷的核心业务特性都得到飞天平台的有力支持。小贷业务与阿里云在磨合中相互促进，从而成就了彼此业务的迅速发展，云计算也成为以数据为核心的新型互联网金融业务可以依托的天然平台，让每一个中小企业拥有和大企业同步起跑的勇气。

  作为互联网金融领域的先行者，成立于2009年底的阿里小贷发展初衷即是为淘宝和天猫上的卖家提供业务，实现“让天下没有难做的生意”的目标。伴随产品形态的丰富，服务对象的扩展，小贷业务增长迅速，平均每年增长速度在四到五倍左右。经历了近5年的发展，已有超过36万人从阿里小，最小贷款额为1元。

  与传统银行不同的是，阿里小贷重塑了一套信用评估体系和信用概念，其模式不需要抵押物，是纯信贷。信用从何而来?来源于贷款者线上经营信用数据、财务数据等等，阿里小贷对贷款者在网络上积累的海量数据来进行分析予以授信。数据成为阿里小贷业务模式的基础，也是核心所在。究其根本，这是一笔数据生意。

  “3分钟申请、1秒放款、0人工干预”，这是阿里小贷独有的一套高效工作模式，这样的高效有赖于其背后独特的业务模式，它将是否放贷、贷款额度和风险评估等传统银行最为看重的业务环节完全交给了大数据处理平台。阿里小贷数据仓库的总共数据量十多PB。每天处理上PB的数据量，包括店铺等级、收藏、评价等几百亿个信息项，运算上百个数据模型，甚至需要测评用户对假设情景的掩饰和撒谎程度。最终用户能否申请贷款、能贷到多少钱，完全依靠的是大数据平台为其计算出来的信用值。这些无疑对大数据处理平台的可靠性、安全性以及计算的准确性提出了极高要求，算错一笔可能就会造成比较大的资金损失。

  为了确保数据计算的准确性，阿里小贷要从各个层面去挖掘申请贷款的卖家或者消费者的信息，这样的一个过程几乎会用到整个阿里集团包括淘宝、天猫、B2B和1688等多个业务部门的数据，以及集团外部的社会征信数据。这也使得阿里小贷聚集了多个项目的技术骨干。其中，负责阿里小贷数据仓库的基础模型和基础平台建设的架构师陈鹏宇和负责早期运维工作的资深经理张国保就是项目中重要的技术负责人。近日，他们深入分享了阿里小贷技术演进历程。

  据他们介绍，小贷业务目前每天从外部同步过来的数据量上百TB。数据同步过来之后要经过小贷数据仓库的三层加工，加工结果以指标(输出模型要用到的离线变量)的形式传递到阿里集团的通用决策系统AGDS。通用决策系统能够支持上万种数据仓库提供的离线变量，包括买家、卖家及店铺交易等所反映出的众多数据。此外，它还会从其他系统获取一些实时信息，如卖家当前的交易情况、具体的处罚情况等，并结合这些实时数据和数据仓库的离线变量动态计算卖家的风险程度和授信模型。因此，通用决策模型是小贷真正的业务引擎，其上大约有几千条规则，能够理解成一条有几千变量的公式，能算出卖家的最终授信模型。在放贷系统申请时，这个引擎就能告知它是不是能够放贷、大约可以放多少钱等。这便是小贷依据数据计算做业务决策的整一个完整的过程，如图1所示。

  此外，阿里小贷的业务特点决定它对安全性和实时性也有很高要求。阿里小贷使用了多方数据，包括集团内部的数据及其他合作伙伴提供的数据。这一些数据都高度敏感，阿里小贷作为使用方有义务确保数据安全，因此对平台的安全性有较高要求。而且发放贷款之后，要做好贷后监控。小贷通常会根据贷款人的网上行为数据，对其信用风险做评估。这种评估做得越及时，就越有可能在出现异常时提前发出预警、挽回损失。而准确性、安全性和实时性等阿里小贷的核心业务特性都得到飞天平台的有力支持。

  由于阿里小贷的业务与数据相生相依，伴随数据来源的广泛增长，数据库会慢慢的庞大，任何传统数据平台都没有能力支撑这种业务模式，同时，前文提到的阿里小贷对准确性和安全性的严苛要求，当时业界并没有成熟的解决方案，结合云平台在存储和计算方面能提供的强扩展能力，阿里小贷成为“飞天”平台的第一批用户，并见证了飞天平台的每一步成长(如图2所示)。反过来看，也正是“飞天”这样强大的云平台，才能支持小贷平均每年四到五倍这样近乎野蛮的业务增长速度。

  2010年4月10日小贷业务第一款基于“飞天”的贷款产品――淘宝订单贷款发布，只面向杭州地区提供服务。那时的飞天集群只有30台服务器，小贷业务用了两个集群，数据处理引擎是SQL Engine 0.2。两个集群同时运行相同的业务，计算出结果后，需要人工将计算结果备份到另一个集群。同年9月，阿里小贷决定将业务开放到全国，然而在一切准备就绪时，发现当时的集群规模无法支撑那么大的计算量。这时，飞天团队做了一件当时看上去很了不起的事，将集群规模从30台扩展到100台，SQL Engine 0.2升级成0.8版本，保障了阿里小贷在2010年11月顺利将业务扩展到全国。

  2010年底，阿里小贷的贷款模型由原来的两个(授信和贷后预警)发展成十个。大家逐渐发现，要想支持这么多模型不能再采用烟囱式的方法，因为拿到数据后要走很长的加工链路，才能得出要用的指标。这时，需要有一个底层的公用数据库，于是大家开始动手建数据集市。此时，又遇到了跟当初扩展全国业务一样的问题，集群解决能力再次受到挑战。飞天平台再一次做版本升级，将数据处理引擎从SQL Engine 0.8升级成Data Engine 0.2，Data Engine 0.2有两项重大突破：1.存储压缩，压缩比可达到2~5倍;2.计算性能大幅度的提高。最终，集群规模瓶颈被成功突破，飞天为阿里小贷性能提升提供了足够的存储和计算能力。

  随着业务的发展，数据挖掘项目对阿里历史数据的需求慢慢的变大，有些项目甚至需要从2003年淘宝成立以来卖家的所有数据中去挖掘信息，这便对数据跨度和质量提出了很高的要求。于是，阿里小始构建大型数据仓库，但这无疑给飞天提出了更大挑战，尤其是在稳定性方面一定要有所保证。ODPS的研发开始，将Data Engine与运行于云梯1上能支持1500台服务器的莫邪合并，将莫邪作为ODPS的数据处理引擎。同期，飞天将集群服务器规模扩展到千级别。这时对阿里小贷来说，等于ODPS将飞天平台包在了底层，主要由ODPS来对阿里小贷的业务提供支持。

  2012年初，集团开始将数据魔方、淘宝指数、Tcif等重要业务从Hadoop集群迁移到ODPS集群上，从某些特定的程度上解决了一直困扰阿里小贷的数据共享问题。此前，阿里小贷共享集团数据时大部分要到Hadoop集群去取，数据同步、上游数据复制、下游时间衔接等都可能会出问题，很难保障数据产出的质量和稳定性。

  业务迁移完成之后，开始在ODPS集群上建一个集团的数据中心，也就是ODS层，专门汇总阿里各个业务部门的数据，然后在其上提供一个基础的统一数据服务。总的来看，对比Hadoop，ODPS优势很明显：1.ODPS有一整套的数据隔离、授权模式特性，在数据的逻辑隔离做得很好，同时提供了多种权限管理策略：ACL、POLICY、LABE等，最厉害的是，在数据严格隔离的情况下支持混合计算――Protected模式;2.ODPS在数据计算和数据管理等方面的实用性功能更为丰富，在很多方面可媲美传统的RDBMS，例如一些复杂的开窗函数查询等;3.ODPS产品易用性较好，上手容易;4.在5K之后，ODPS集群的可扩展性理论上具备无限扩展的能力;5.ODPS支持多租户模型，在数据、资源的分配和隔离等方面能较为灵活地控制;6.性能和稳定能力方面，虽然两者相差不大，不同场景下各有优劣，但ODPS显然走得更远。

  集团的ODPS数据中心和阿里小贷的业务系统放在同一个集群中，必然造成随义务增长争抢资源的现实。但如果将数据分开存储在两个集群的话，又与之前将数据从Hadoop集群拷到ODPS集群来计算并无二致。这时，扩展飞天集群规模成为必然之选。也是在这一段时间，“飞天”已经迈向5K时代，平台和技术的发展走在了业务需求的前面。

  提到飞天5K，除单集群规模由1000多台升级到5000台之外，其实还有另一个更重要层次的意义不可以忽视，这5000台并不是一个天花板，ODPS集群之间有很强的跨集群复制能力，确保了集群之间很好的连通性、数据有更好的共享性。现在，ODPS数据中心已搬到另一个飞天5K集群上，但得益于5K的跨集群复制能力，使得ODS层可以为多方提供数据而无需显式拷贝，用户感觉不到集群的变化或数据传输延迟。

  2014年7月8日，ODPS正式开放对外提供服务。此前，ODPS一直是阿里巴巴内部的秘密武器，第一个用户就是阿里小贷。传统的数据仓库一般都搭建在Oracle等关系型数据库上，而阿里小贷搭建在飞天平台上，所以必然会要求ODPS能提供很多关系型数据库的功能，例如，存储过程编程能力，以及很多数据分布的开放函数和数据分析函数等。这在技术上非常有挑战性，因为在ODPS这样的分布式框架里解决这样一些问题要比在关系型数据库中难很多。ODPS比较逼真地模拟了传统RDBMS的物理表和视图概念，包括存储分区都很像Oracle，能支持很多传统数据的功能。

  然而，在ODPS上构建一个大型数据仓库的过程中，仍然有一些地方必须要格外注意，这里分享一个最为关键的点――数据管理粒度的划分，即ODPS和Project的划分。基本上可将ODPS理解成一个数据管理的基本单元，常见划分粒度的方法有几种：按照层次分成几层，每层一个Project;或者整个数据仓库为一个Project;或者每一个主题数据为一个Project等。这个粒度划分对于后期的管理成本有非常大的影响。但针对不一样团队的不同阶段会有不同的划分方案，并没什么绝对的划分方案，一般会从几个维度来思考：数据仓库所面向的用户范围及数据业务要面向的人群，不仅是开发者，用户也会在数据仓库上直接用数据;团队内部的协同方式，如何决策和分工;数据安全方面的一些策略，例如数据仓库的基础层可能不开放，那么它是如何对其他系统做输出的，不同的输出策略也会影响数据管理粒度的划分等。一定要在构建数据仓库之初，将数据管理粒度划分好，因为除非来一次比较大的重构，基本上很难有回头路。

  从阿里小贷这门数据生意的发展历史显而易见，小贷业务与阿里云之间既有相互磨合，又有相互促进，从而成就了彼此业务的迅速发展。而云计算为小贷业务带来的则不单单是平台的支撑、成本的降低，从某一种意义上讲，云计算是这种以数据为核心的新型互联网金融业务可以依托的天然平台。

  伴随着底层技术的逐渐完备与持续发展，更多中小企业可以在云计算平台上获得数据存储、数据处理服务，并从而构建丰富的数据应用，云计算使得每一个中小企业具备和大企业同步起跑的底气，支撑更多创新服务的涌现，这是云计算承载的重要意义所在。

  本网信息来自于互联网，目的是传递更加多信息，并不代表本网赞同其观点。其内容真实性、完整性不作一切保证或承诺。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。

  【ITBEAR科技资讯】12月29日消息，近期，国外科技媒体 mspoweruser 曝光了三星 Galaxy Tab Active5 平板的最新高清渲染图，展示了这款平板的引人特色。根据渲染图显示，Galaxy Tab Active5 平板将搭载一块8英寸的WUXGA显示屏，具备高度的触摸灵敏度，而内部则搭载了一颗

  微软 Surface Laptop 6曝光：与MacBook Air的竞争再度点燃

  【ITBEAR科技资讯】12月29日消息，帕诺斯・帕奈(Panos Panay)的辞职已经引发了人们对微软Surface产品未来的担忧，让不少忠实粉丝担心Surface将会像Windows Phone一样逐渐消失。尽管微软曾公开表示，帕奈的离职不会影响Surface的未来愿景和发展，但总体而言，微软已经开

  【ITBEAR科技资讯】12月29日消息，近日韩国的信息源自yeux1122披露了一项关于苹果OLED版iPad Pro的显示屏供应情况的重要消息。据悉，在为苹果的OLED iPad Pro屏幕提供方面，LG Display似乎占据了比Samsung Display更大的市场占有率。这一消息引发了对两大科技巨头在显示屏

  【ITBEAR科技资讯】12月29日消息，近期徕卡公司活跃于摄影领域，连续发布了Q3和M11P两款引人注目的相机。最新的爆料来自知名摄影网站Leica Rumors，他们预计徕卡将在下一年度的首季推出SL3全画幅无反相机。这一举措旨在加强完善和丰富徕卡的高端产品系列。以下是关于

  日前，MOMAX摩米士最近推出了年度创新水系列配件。水系列带来“上善若水”的全新设计美学，将Charge like water融入充电产品。水系列外形清澈透明，内在包容兼具，是摩米士引领科技时尚潮流的最新成果。摩米士是一家拥有20年历史的科技品牌，为许多资深数码玩家和从

  十年同行，携手共创影像新未来 乐其SmallRigX佳能圣诞粉丝见面会隆重举行

  2023年12月23日，值乐其SmallRig旗下SmallRig斯莫格品牌成立十周年之际，乐其SmallRig携手佳能为广大新老用户和摄影爱好者带来了一场别开生面的圣诞特别活动。作为SmallRig斯莫格十周年系列活动的第三站，本次见面会选择在成都扎起豪华露营集合店举办。活动当天，SmallRig斯

  迎接2024：华为FreeBuds Pro 3龙年典藏版，新年红彩启幕

  【ITBEAR科技资讯】12月28日消息，迎接2024龙年的到来，华为推出了备受瞩目的FreeBuds Pro 3龙年典藏版。这款耳机定于今日上午10:08开始预售，并计划在新年的第一天，即1月1日10:08正式向公众开放购买，定价为1499元。华为为这款特别版产品注入了浓厚的节日氛围和传统韵

  【ITBEAR科技资讯】12月27日消息，雷神公司宣布计划在1月推出其最新的游戏笔记本——猎刃 16。这款笔记本以其全新设计和强大的散热性能为特色，预计将引起市场上的广泛关注。猎刃 16 采用了雷神独家的“飍”科技散热系统，这一系统配置了三个风扇，热管总长度达到了1.6

  联想Yoga Book 9i（第9代）：CES大展前瞻，双屏笔记本引领未来

  【ITBEAR科技资讯】12月27日消息，近日知名消息源 @Evleaks 在社会化媒体上分享了一组联想Yoga Book 9i(第9代)双屏笔记本的渲染图。这一发布引发了科技界的广泛关注。据了解，联想Yoga Book 9i(第9代)有望在明年1月的国际消费电子展(CES)上正式亮相，虽然目前尚未透露具体

  【ITBEAR科技资讯】12月27日消息，华硕最近宣布推出全新的Chromebook CM30，该款Chromebook以提升用户生产力为主要目标，而它是去年发布的Chromebook CM3的继任者。Chromebook CM30保持了CM3的多功能二合一设计，不过在内部组件方面做了主要升级。据ITBEAR科技资讯了

  三星发布新款Galaxy Book3 Go：升级充电技术，定位学生市场

  【ITBEAR科技资讯】12月27日消息，三星最近宣布了其最新笔记本电脑——Galaxy Book3 Go的海外发布。这款设备是继Galaxy Book2 Go之后的更新版，虽然在硬件配置上基本保持不变，但它在充电技术上做出了改进。目前，这款笔记本的售价定为557,700韩元，折合约3067元人民币

  【ITBEAR科技资讯】12月27日消息，最新报道显示，福建移动和华为已在福建厦门马拉松赛道沿线地区成功验证了一项引人注目的技术，这一技术是基于5.5G通感一体技术，首次实现了低空多站连续组网的通信能力验证。据ITBEAR科技资讯了解，这项技术利用4.9GHz频段，成功实现了

  【ITBEAR科技资讯】12月26日消息，目前，苹果公司正积极为其即将发布的Vision Pro做最后的准备工作，预计这款产品将在2024年初正式面市。今日，知名博主 @M1Astra 惊艳地展示了Vision Pro的眼睛和手势操控(EyesHands)的设置界面，并透露了一些令人期待的细节。这一设置

  【ITBEAR科技资讯】12月26日消息，天翼终端公司近日发布了一款全新的云计算笔记本电脑，名为天翼云 TYN14BC。这款轻便的笔记本电脑令人印象非常深刻，它的重量仅为1.45kg，而厚度则仅有16.6mm，让用户能轻松携带。更该笔记本搭载了天翼云电脑系统，为用户更好的提供了独特的云计

  【ITBEAR科技资讯】12月26日消息，随着华为星闪无线技术的发布，慢慢的变多的产品开始融合这一技术，如之前发布的雷神和达摩鲨的星闪鼠标。近期，一名数码博主名为“定焦数码”曝光了一款北通游戏手柄，手柄右侧骄傲地标有“NearLink”(星闪)标志，标志着这将是首款配备星

  人民所需义不容辞 鸿日力量同甘相守 鸿日汽车集团首批救灾物资送至甘肃积石山县

  定了！12月31日19时30分，来华为视频看2023-2024湖南卫视芒果TV跨年晚会

  ROG 2024款幻16笔记本曝光，或搭载Ultra 9 185H + RTX 4090

  2024年春季，苹果将推出全新MacBook Air和升级版MacBook Pro

  苹果2024年重磅更新：全新iPad Air和iPad Pro即将发布

  英特尔酷睿 Ultra 7 155H 处理器Cinebench跑分出炉

  ROG Global即将发布新一代Zephyrus G系列笔记本：新款幻系列备受期待

  英特尔Ultra 5 125H处理器性能曝光：小新Pro 2024或搭载

  华为FreeClip耳机渲染图曝光，开放式耳机新品揭秘 续航 8 小时

  创新突破：华为推出首款开放式耳机及MatePad Pro 13.2，麒麟9000S芯片强势回归

  微软 Surface Laptop 6曝光：与MacBook Air的竞争再度点燃

  十年同行，携手共创影像新未来 乐其SmallRigX佳能圣诞粉丝见面会隆重举行

  本网站LOGO小熊标志受版权保护，版权登记号：鲁作登字-2015-F-025467，未经ITBEAR官方许可，严禁使用。