华为的一场大突围

这是一个跌荡人心的真实故事。

美国断供铁拳袭来,外资合作伙伴被迫分手,华为不得不为自己无比庞大的系统和数据自建一套ERP系统。

历经3年,1700多人共同作战,他们完成了这个华为的“两弹一星”项目,这个业界几乎公认为不可能的任务。

这篇长文首度披露完整过程与诸多内幕,兼具专业性与文学性,我们将分两次刊出全文。从中,你会看到一家优秀企业的文化有多么大的魅力和感召力,也能看到困境面前,总有不屈不挠的奋斗和笑看沧桑的豪情。

作者:田涛殷志峰彭勇(执笔)

来源:中信出版集团《质量为纲》

序章

深圳的夏天来得很早,五月中旬,阳光就炙热起来了。从梅林关沿着梅观高速向北行驶5公里,有一处繁忙的出口,指示牌上标示:富士康向左,华为向右。从出口下高速,转入张衡路,是一条林荫大道,两边高大的凤凰木开着火红的花,一树树花团锦簇,在阳光的炙烤之下,似乎要燃烧起来。

一侧的路上是去往富士康的川流不息的人群,穿着深蓝色制服的年轻人,三三两两,快步赶往工厂。

另一侧的路上是通向华为坂田基地的蜿蜒车龙,汽车走走停停,驾驶员在停顿的几十秒时间里,还习惯性地刷着手机。

陶景文就被裹挟在车龙之中,脸上写满了疲惫。看到人行道上不断闪过的年轻的面庞,他不禁回想起20多年前的自己,那时他大学毕业不久,只身来到深圳,也是每天从租住的农民房走路到公司,在食堂买几个包子后,就一头扎进软件代码之中。

同事都是年轻人,充满激情地开发新产品,一起熬夜加班,晚上在大排档吃个夜宵,再打上两局台球。现在想起来,那是多么简单而幸福啊。

后来,他转向市场与销售工作,从中国到非洲,再到欧洲,十多年间跑遍了大半个地球。再次回到深圳时,他被任命为公司CIO(首席信息官),负责流程和IT(信息系统)建设。

CIO的工作不好干。日本管理学家大前研一说过:“作为企业CIO,业务部门要什么你就做什么,这不是一个好CIO,早晚得下台;但业务部门要什么,CIO不能满足这些诉求,下台会更快。”这句话,让陶景文认识到CIO工作的价值与挑战,也领悟到IT和业务之间相爱相杀的缠斗关系,深感责任重大。

尤其是在2019年5月16日,华为被美国商务部制裁,170多个关键IT系统都面临着中断风险,全球业务的正常运作受到威胁,他更是感到压力巨大。

“嘀嘀嘀……”一辆越野车从旁边插过来,想强行加塞。放在平时,他肯定会踩下刹车踏板,让它过去。但是今天,他没有给这个机会。他惦记着一个重要的会议,要见一位老朋友。

这位朋友是美国甲骨文公司(Oracle)的区域负责人,因为商业关系,陶景文与他结识多年。在华为被制裁之后,所有与华为有商业合作的美国公司都开始解读制裁令,并采取各种措施,以遵从美国政府的规定。作为华为ERP(企业资源计划)系统的供应商,甲骨文公司也在评估实体清单的影响。从前期传递过来的消息来看,双方继续合作的可能性很小。今天,这位区域负责人将会给他一个正式的答复。

“陶总,我们和华为有着20多年良好的合作,从我们的意愿来讲,是非常希望能继续为华为服务的。”

陶景文知道接下来将是不好的消息,但还是抱着一线希望问:“贵公司是否已经向美国商务部申请许可了?”

“很遗憾,总部通知我们,停止所有与华为的合作。”

“那我们之前采购的硬件服务器,能不能按时交付?”

“非常抱歉,总部已经取消了这单采购合同。”

“在华为的30多位维护专家,还能工作多久?”

“作为朋友,我非常理解你。但没有办法,他们已经接到通知,马上就离场。”

......

送走这位负责人,会议室陷入了长时间的沉默。没有备件,没有服务,没有升级补丁,ERP系统很快就会像一台年久失修的老爷车,所有人都知道这意味着什么。

ERP系统是大型企业必不可少的核心管理软件,其重要性堪比人的神经系统,如果ERP系统崩溃,华为在170多个国家和地区的业务运作就会停摆,企业管理也会倒退回手工作业时代,公司生存会受到严重威胁。

专家撤离得很快。当天下午,平时略显拥挤的办公区就变得空空荡荡,只剩下寥寥几位华为员工站在那里,不知所措。这些专家都是甲骨文公司在中国本地雇用的工程师,他们与华为IT人员一起保障着ERP软硬件系统的稳定运行,面对突如其来的变故,他们尽管内心极不情愿就此中断自己的职责,但是总部的指令必须遵从。

ERP系统的断供停服,如同奔腾汹涌的大渡河,将困难横亘在华为面前,历史上没有一家公司面对过这样的难题。

大渡河,因水流湍急,两岸陡峭,难以摆渡和架桥,自古被称为天堑。160多年前,石达开的队伍被阻拦在这里,最终全军覆没。80多年前,中央红军面对国民党军队的围追堵截,成功强渡大渡河,创造了战争史上的一个奇迹。

面对IT领域的“大渡河”,华为同样没有任何退路可走,由全球200多家子公司、20多万名员工组成的主力队伍,能不能像当年中央红军一样创造奇迹,突破生死封锁线?

华为被迫走上了突围之路,数千人的团队即将踏上一段艰苦的征程。在乌云密布的茫茫黑夜中,似乎看不到一丝光亮。

船和桥在哪里?

强渡大渡河,关键在于解决船和桥的问题。

2019年6月,陶景文团队在经过多轮讨论与分析后,向公司提出了两个并行计划:A计划,保障现有系统稳定运行,并尽可能延长其生命周期,为突破封锁赢得时间,由张国斌负责;B计划,为ERP系统寻找替代方案,找到船和桥,从根本上解除威胁,由常栋负责。

解决船和桥的问题,无非是两条路径,一是寻找国内厂家替代产品,二是自己开发。有关这两条路径的讨论与验证,前前后后持续了大半年的时间。

这两条路都很艰难,如果采用国产软件包替代,它能否平稳支持华为如此大体量且复杂的业务?如果自己研发ERP系统,那将是一个巨大的工程,从研发到替换,全世界都没有先例。

常栋派出一个团队,与国内ERP系统厂家紧锣密鼓地进行交流和测试、验证。由于华为全球业务场景过于复杂,国内厂家的软件包难以匹配,团队经初步评估和测试发现,如果采用国产软件包替代,则需要进行大量的定制化开发,其工作量和难度可能并不亚于公司自己开发。

所以说,国产替代也好,自研替代也好,实际上都需要华为来主导这个过程,都要自力更生。

但是,华为真的具备这个能力吗?

公司一位领导说:“如果有选择,我们最不愿意启动的就是ERP项目。当年仅仅是想更换ERP供应商的提议,都被我否决了,更不要说自己开发了。”

一家大型企业的领导听说华为想把ERP系统换了,一连说了三四遍“不可能”。

公司内部一位专家有着20年ERP系统使用经验,听闻消息后大吃一惊:“这是真的吗?这怎么可能?领导们是疯了吗?哪来的勇气和自信?”

还有人质疑,以前我们只是ERP系统的使用者,相当于坐在大船上的乘客,现在要自己造一艘万吨巨轮,能行吗?

陶景文自己也没有信心:“要在不影响业务的情况下替换ERP系统,就像把人的神经系统抽出来,还要在这个人活着的时候把它连接回去,同时保证任何一个器官都不出问题,这是多么难的一件事。”

1.坐船变造船

ERP是什么?为什么这么重要?替换它为什么这么难?

为了便于读者理解ERP的概念,我们先举一个例子。假如一位个体户经营一个煎饼铺子,需要管理鸡蛋、面粉、大葱等十几种食材,他通过眼看心算就能管得过来;假如他经营一家便利店,涉及几十、上百种商品的进、销、存和价格,那光靠他的脑袋就不行了,过去要用账簿和算盘,现在要用到电脑表格;假如他经营的是一家大型超市,涉及成千上万种商品的进、销、存,以及管理、会计,即便他拥有牛顿、爱因斯坦的大脑也算不过来,单纯的电脑表格也不够用了,这时就需要用到类似ERP的管理软件系统。

诺贝尔经济学奖获得者科斯提出,企业的本质就是一种资源配置的机制。ERP系统就是支撑企业资源配置的软件系统,中文全称为“企业资源计划”。

其雏形诞生于20世纪60年代至70年代,一些制造企业开始采用计算机辅助生产管理,提出了物料需求计划(MRP)系统,主要功能是管理物料需求与供应;80年代,升级为制造资源计划(MRPII)系统,这是一个将生产、财务、销售、采购等各子系统集成为一体化的系统;90年代初,高德纳咨询公司(Gartner)提出了ERP的管理思想。

ERP系统综合了企业各方面的资源,支撑着公司人、财、物的资源配置,实现全员深度参与,成为现代企业经营管理必不可少的软件系统。

而用于大型企业的高端ERP系统,更是被视为企业的神经系统,一旦中断,业务就会停摆。这些企业规模大、业务板块多、流程复杂,涉及多语言、多币种、多会计准则,ERP系统要支撑这个庞大系统的有效运作,适配不同业务场景需要,其复杂度和难度可想而知。

ERP系统的本质,是先进企业管理经验的软件化沉淀。企业引入ERP系统,不仅仅是购买一套软件,更多的是引进软件所沉淀的流程经验和管理智慧。

ERP系统还需要产业链上游的信息技术支撑,包括服务器、存储等先进硬件设备,也包括数据库、操作系统、开发工具等先进软件系统,而这些底层技术大都为美国公司主导。如果软硬件捆绑形成事实标准,替换就会更加困难。

ERP软件需要长期积累与大量投入,可以说是时间与金钱的积分结果。一直以来,高端ERP系统都由甲骨文、思爱普(SAP)等欧美厂商主导,在中国市场,这两家公司的产品覆盖了各行业的龙头企业,和华为一样,这些大型企业也对欧美厂商形成了很强的依赖。

国内厂家在20世纪90年代中期开始ERP系统开发,华为的一场大突围经过20多年的创新发展,取得了巨大的进步,但在高端ERP系统市场,仍然难以撼动欧美厂商的优势地位。

华为自1996年引入甲骨文公司的ERP系统,历经20多年的应用实施与升级优化,截至2019年,ERP系统数据积累到惊人的150T;全球500多万份合同履行、6万多个项目交付、7亿多行采购指令、24亿多行库存交易、33亿多行发货订单、17亿多行应付发票、15亿多行应收发票......

这个系统承载了华为多年管理变革所沉淀下来的经验,支撑了全球业务运作。基于精细化业务管理要求,华为对ERP系统进行了大量定制开发,代码高达490万行。在ERP系统外围还有300多个作业系统,与ERP系统拉链式集成,频繁进行数据交互,形成了一个错综复杂的庞大系统。

华为在IT建设上的策略是“用欧美砖修长城”,主要IT系统大都使用欧美厂商成熟的软件包,这对华为快速引进西方优秀管理经验、提升企业经营管理水平,起到了非常重要的支撑作用。

但在这个策略之下,流程IT部门的定位更多是一个项目实施、资源管理和系统开发部门,而不是专业的产品研发部门,尤其缺乏大型商业软件的开发经验。

这一群过去习惯了坐大船、过大江的乘客,现在被迫要自己造船了。历史上没有哪家公司这样干过,连想都没有想过。

2.背水一战

那一天,

我不得已上路,

为不安分的心,

为自尊的生存,

为自我的证明。

在陶景文的脑海中,无数次响起刘欢演唱的这首《在路上》。在他看来,ERP系统替换之路的开端,就是不得已而上路。在各种意见和畏难情绪弥漫的时候,他需要在公司内部争取到足够的支持。

公司领导特意邀请他和几位骨干一起喝咖啡交流。

交流地点在长廊咖啡厅,它也是一个开放的图书馆,有50多米长,靠墙一侧有十多个大书架,摆放了各学科图书。在长廊入口,陶景文注意到有两本摊开的书。

一本是《科学:无尽的前沿》,这是二战之后美国科学家范内瓦·布什提交给总统的一份科技政策报告,对美国日后几十年的科学研究与创新产生了极大的促进作用。

另一本是罗伯特·卡帕的摄影作品集,卡帕是知名的战地记者,书中收录了他在欧洲各国、中国、越南等地拍摄的优秀作品。

“情况很不乐观,我们必须做一个选择。”陶景文说,“我见了几位国内ERP伙伴,尽管他们从来没有遇到过华为这么复杂的场景,但我们还是要团结伙伴一起来干,要为中国软件产业生态的发展架起一座桥。”

领导说:“在当前的形势下,我们首先要丢掉幻想。这件事情很难,但我支持你们做。公司已经决策,有一笔3.28亿美元的专项基金,你们可以拿去用。”

“感谢公司的支持,一些紧急的IT系统替换工作已经启动了。”

“你们还有其他困难吗?”

“领导,现在公司冻结了社会招聘,ERP系统替换急需业界专业人才,我们能否申请100名高端人才的招聘名额?”

“那你们现在就写申请。”

陶景文从笔记本中撕下一张纸,现场写起了申请:“针对关键IT系统面临的严峻情况,特申请补充100名高端及特殊人才编制,用于打赢IT业务连续性及安全防护战役。请公司批准。”

领导当场签字:“同意引进300名业界的尖子、中子。”

公司领导给予的倾斜性支持,稳定了团队信心。

与ERP系统息息相关的业务部门也给予了坚定支持和承诺,让IT团队燃起了斗志。

供应团队是自研的坚定支持者。自2015年开始,供应链启动了数字化变革项目,对ERP部分外围系统进行了重构,取得了良好进展。他们认为,这些数字化系统就是摆脱ERP依赖的底气,现在要做的是进一步把ERP交易平台建设好。

财经团队同样坚决支持自研,因为没有其他更好的选择。过去10年,他们和多家国内厂商进行过交流,甚至试用过产品,但距离满足华为复杂的业务需求还有较大差距,他们不希望华为ERP系统退回到10年前的水平:“如果要在中国找一家满足华为业务需求的供应商,这家供应商可能只能是华为自己。”业务部门没有给自己留退路。他们急切的渴望和坚定的决心,让IT团队受到了极大的鼓舞。

“宁可向前一步死,绝不退后半步生。”面对前所未有的制裁与打击,华为上上下下已经形成共识,坚定信心要继续前进,求生存、谋发展。

对陶景文来讲,也到了下定决心、背水一战的时候。

但是,有一个担忧一直萦绕在他的脑海中:“现有ERP系统快到生命周期末期,没有保修、没有备件,这台‘老爷车’到底还能跑多久?”

他心里完全没底。如果现有系统用不了两个月就崩溃了,那任何未来的计划都没有意义。他凭直觉判断,要找到船和桥,至少要3年时间。他对A计划负责人张国斌说:“你们要和时间赛跑,尽可能延长老系统的生命周期。”

与时间赛跑

张国斌是一位资深的IT专家,2005年加入华为,之前曾在新加坡负责某国际物流公司的IT建设。他的团队要保障3000多个IT系统的稳定和安全,而ERP系统是排在第一位的。他非常了解原厂ERP系统的情况,华为将其用到了极致,无论是功能、性能还是容量,系统基本处于满负荷状态,极易触发故障。

“我们是带着荣誉感和使命感来维护这套系统的,把它当作大熊猫一样悉心看护。”维护团队对原厂ERP系统有着一种又爱又恨的复杂情感,每一次升级、每一次优化、每一次账务月结,都如履薄冰。

ERP系统被断供停服之后,大家都很着急,怕系统突然崩溃。公司的要求是:哪怕是挖沟、建土围墙,也要把ERP系统先保护起来,不能让20多万名员工回到用算盘算账、用鸡毛信传递信息的时代。

除了系统本身可能出现故障,张国斌还有一个担心,就是来自外部的蓄意破坏。系统会不会被人为切断?或被黑客恶意攻破?他知道,从技术角度看,凡事皆有可能,不能有任何侥幸心理,IT系统维护也遵循墨菲定律:如果事情有变坏的可能,不管这种可能性有多小,它都会发生。

为了防止人为破坏,技术团队第一时间采取了应急措施:断网。即通过软件防护,关闭外网接口;在内网构建页面保护罩,缩小暴露面,保护系统免受攻击。

要让这台没有维修保养的“老爷车”继续跑下去,面临着三大挑战。第一是硬件服务器即将到生命周期末期,无维保、无备件,硬件极易损坏;第二是软件补丁不可获得,也没有专家支持,出现问题难以修复;第三是安全漏洞与黑客攻击风险。

张国斌优先要解决的问题,是组建系统维护团队。原厂专家撤离后,华为除了集中自有维护人员,也紧急在社会上招聘业界专家,第一批就招到多位熟悉原厂ERP系统的专家,解了燃眉之急。这个团队全天候监控,主动运维,保障了系统暂时平稳运行。

技术团队联合公司网络安全部门,在很短的时间内构建了一套有五层围栏的保护罩,包括防止用户账号被盗用的“身份围栏”,防止网络渗透的“网络围栏”,防止主机软件漏洞入侵的“主机围栏”,防止ERP系统原生漏洞入侵的“应用围栏”,防止数据删除或篡改的“数据围栏”。

他们还建立了同城双活、异地容灾、三重备份等机制,保障了老ERP系统的极限生存,即在发生数据删掉、软件包甚至备份库被破坏的情况下,业务数据仍然能够恢复。

由于系统存储容量达到极限,为了给“老爷车”减负,团队将一些历史文档和旧数据进行归档,给生产环境留下了更多空间。同时向公司建议,进行合同关闭清理、清除历史数据,力求把系统总容量使用占比控制在65%的安全线以下。

经过张国斌团队的努力,A计划取得了良好的进展。2019年11月的一个夜晚,他向陶景文报告:“现有系统的稳定性和安全性都得到了有效防护,我们判断,这台‘老爷车’至少可以再跑两年。”

大家都松了一口气。

夜晚的园区灯火通明,后勤部门在办公楼旁边的草坪上搭起了“星光夜市”,他们支起帐篷,摆上户外桌椅,为大家提供免费的夜宵。忙碌了一天的员工三两成群,聚在一起喝咖啡,享用点心和水果。

一旁的步道上,喜欢夜跑的人开始行动了,张国斌也在其中。从他办公的C区跑到A区,一个来回是两公里,晚上只要有空,他都会坚持跑两个来回。跑步的同事不少,在一些有车辆出入的路口,公司贴上了温馨提示:“星光不问赶路人,夜跑同学请留心。”张国斌留意到路边新建了一排充电桩,好多员工的新能源车正在这里充电,听说还是免费的。他戴着蓝牙耳机,听着音乐,穿过园区小树林,心想,可真是一条“充电”的好路线。

张国斌并不是一个特别爱运动的人,他跑得很慢,或者说只是比走路要稍快一点,30分钟跑完两个来回,已是大汗淋漓。和其他夜跑同事不同的是,他不仅是为了健身而跑,更是为了生存而跑。

因为他患有心血管疾病,那段时期越发严重,医生嘱咐他一定要减肥,否则可能会有更坏的情况发生。于是,在给老ERP系统减负载的同时,他也给自己制订了目标:每个月必须减重一公斤。最终,他成功减重十多公斤。

他说,那段时期,他和公司的目标是完全一致的,就是要活下来。好消息是,两者都达成了目标。

1.大机切换

为了进一步延长现有系统的生命周期,A计划中还有一个举措:把原厂的硬件服务器换掉。

替换硬件服务器的任务由周启涛主导。他是资深ERP专家,在读研究生期间就学习ERP相关理论,毕业后在业界做了4年ERP系统实施与维护,之后在华为又做了10年维护工作,对原厂ERP系统有着深刻的理解。

华为ERP系统数据量大,对硬件性能要求非常高,只有原厂的软硬件一体的机器才能运转起来。一体机有着炫酷的设计,外表是银灰色的工业化风格,镂空的前柜门上写着一个大大的“X”,机器有2米多高,重量接近3吨,因为体型庞大,所以俗称“大机”。

大机安装在华为的数据中心内,这是一座有着严密防护措施的现代化建筑,确保机器稳定运行和数据安全。包括周启涛在内的所有工作人员或其他来访者要进入机房,都要经过数道门禁认证,签署承诺书。

在经过堪比机场安检的程序后,再换上专用反光背心,还要把手机所有摄像头用贴纸封上。踏入机房,首先会踩到一块黏糊糊的胶垫,以粘走鞋底的灰尘。接下来便会看到一排排比普通人高出一头的服务器,64台一组,排列得整整齐齐,随着指示灯的闪烁和散热风扇的嗡鸣声,这些机器为华为全球的IT系统提供着算力与存储空间。

每次进入机房,周启涛都有一种强烈的秩序感,空间的规划、机器的摆放、线束的布置以及温度的控制,一切都井井有条。但这种秩序只是一种肉眼可见的表象,在纳米尺度的器件之中,在由代码构成的虚拟空间里,隐藏着各种看不见的危机,随时都有可能爆发。

当时正在使用的这组性能强悍的原厂大机,在ERP系统庞大的数据负载之下,也显得非常脆弱。自2017年春节投入使用以来,它连续跑了1000多天,从未休息过。这些年来,它支撑着ERP系统运行,经历过无数次数据洪峰,周启涛团队小心翼翼地照看着它。

由于被制裁,华为无法购买新的大机,现有大机也得不到原厂维保,出现重大故障的概率越来越高。周启涛一直有个大胆的想法,就是用华为自研的服务器替换掉原厂大机。但自研服务器一直是作为备用机运行的,从未正式启用。如果直接替换,服务器CPU(中央处理器)使用率将达到100%,系统可能会立刻崩溃。

面对这个瓶颈,从业界招聘来的技术专家李凌云通过性能优化攻关,将原厂大机的数据库负载量降低了40%,这使得大机切换的设想成为可能。

自研服务器即将“转正”,这是一次前所未有的尝试。

2020年8月8日,夜暗如水,办公楼灯火通明,现场近50人,远程200多人,等待大机切换时刻的到来。

深夜1点,作为现场总指挥,周启涛一声令下:“启动大机切换!”

会议室里异常安静,只听见敲击键盘的声音,大家的关注点都集中到了切换大屏。

一切都在有序地进行:停应用,停服务,停大机数据库,启动自研服务器。

“服务器启动成功!”

“外围应用连接成功!”

“并发管理启动正常!”

工作组成员逐个检查验证任务,外围系统验证也同步启动。

深夜2点,正当大家准备松一口气时,不料各个验证组陆续爆发问题,

让技术保障团队应接不暇,问题迟迟无法解决,现场气氛顿时紧张起来。

数据库管理员贝承发紧急进行检查,发现有部分服务注册不上,技术人员尝试各种方法后都不奏效。

深夜2点30分,到了决策点,运维经理请示周启涛:“并发管理器和服务不可用,存在高风险,如果分析和恢复时间过长,将会造成大范围的周边系统不可用,导致业务停顿。原因还需定位,但是时间太紧,请决策是否回退。”

维护团队近一年的努力,一幕幕在周启涛眼前闪过,他实在不想就此放弃,还想给技术团队争取一点时间。他看了看表说:“还有时间,大家放松些,继续定位问题。”

周启涛的镇定给团队带来了信心。

切换团队开始快速排查各种可能。难道域名解析异常了?但域名、网络都是正常的,该重启的都重启过了。

贝承发突然想到,5年前他遇到过的一个类似问题:数据库配置与ERP应用配置冲突。这是一个很隐蔽的软件缺陷。

随着一串串指令的输入,系统成功接通,办公室里一片欢腾。接下来,团队齐心协力,完成ERP系统及所有外部应用的验证,系统运行平稳,无任何异常。

大机切换成功完成!

周启涛看着这个相识多年的伙伴被替代,心中竟然有些不舍。不过,这台机器还不会下岗,它将承担新的使命—作为自研服务器的备用机。而周启涛也有了新的使命:从老ERP系统的维护者,变成新ERP系统的建设者。在这一刻,人和机器都在重新定义自身的价值。

周启涛抚摸着银灰色的金属机框,自言自语道:“这真是一台好机器。”大机的一排指示灯在闪烁,仿佛在回应他说:“你也是一个好人。”

“如果机器拥有意识,你会甘愿做一个‘备胎’吗?”

“我的价值,是使用我的人来评价的。”

“那么,老伙计,再见了。”

“再见了,我会站好最后一班岗的。”

经过一年多的努力,“老爷车”换了新底盘,焕发出勃勃生机,还可以持续跑下去。张国斌团队赢得了这场生命与时间的赛跑,为接下来“渡河”行动暂时解除了后顾之忧,提供了5年左右的时间窗口。

陶景文心里有底了,终于可以撸起袖子,放手一搏了。

大胆的计划

2019年12月20日,深圳,多云转晴。

B计划负责人常栋在公司食堂吃完早餐,正绕着园区中的天鹅湖散步。

所谓天鹅湖,其实就是一个浅浅的人工湖,因多年前引进了两只黑天鹅而得名,现在它们已经繁衍好几代了。看着红喙黑羽、优雅美丽的黑天鹅一家在温暖的阳光中悠闲地划着水,常栋很是感慨。

黑天鹅是原产于澳大利亚的珍贵品种,17世纪以后才被世人知晓,人们常用“黑天鹅”事件来形容那些不可预测、小概率而又影响巨大的事情。

过去半年多来,常栋所负责的IT应用领域发生了太多的“黑天鹅”事件,多家西方公司中断升级、停止设备供应、撤走维护专家,在他20年的工作经历中,从未遇到也没有想到会发生这样的极端情况,这些难以预测、不同寻常的事件,完全打乱了原有的IT工作规划,给公司业务运作带来了致命的威胁。

在他负责的B计划中,面临着多座难以逾越的大山:ERP、PDM(产品数据管理)、服务器、存储、数据库、操作系统等。每一座大山的背后,都站着一个或几个美国IT巨头。华为曾经站在这些IT巨人的肩膀上,快速提升了全球化经营与管理能力。现在,被迫走下巨人的肩膀,如何替换掉这些产品,还充满了迷雾。

今天,会有一个重要的决策会议,他将向华为变革指导委员会汇报ERP替换的立项申请,如果获得通过,一场持续几年的大战即将拉开帷幕。

“概率,概率,ERP替换成功的概率能有多少?”他在内心问自己。

“或许能有50%的成功率,值得一搏。”一个声音说。

“这件事情从来没有人干过,成功的概率不会超过10%。”另一个声音反对道。

理智告诉他,ERP替换这条路,不管朝哪个方向走,成功都将是一个小概率事件。但凡事皆有可能,现在已经没有退路了,只要有1%的可能,就要做100%的努力。这时,湖中的黑天鹅发出嘎嘎嘎的叫声,似乎在对他说:“事在人为,只要下定决心,为什么就不能逆向创造一个‘黑天鹅’事件呢?”

决策会议在培训中心召开,这是一处被葱郁的树木和竹林环绕的区域,显得典雅而幽静。与会人员都在认真聆听常栋的每一句话,并不时打断提问。这个决策很重要,它关系到未来几年数亿美元和数千人力的投入,更关系到公司全球业务的连续性。

常栋是一位专家型主管,任何时候都充满干劲。他在华为流程IT部门工作了20年,负责过架构规划、应用开发与实施等各环节工作,对ERP系统有着深入的理解。

他提交的立项申请,实际上也就是“强渡大渡河”的实施计划。在这个计划里,他提出了两个关键步骤:第一步“解耦”,把原厂ERP系统从几百个业务系统中剥离出来,理顺各种接口关系;第二步“换芯”,开发新的ERP系统核心模块,并在全球200多家子公司里替换掉原系统。

这两步看起来简单,实施起来却异常复杂。其中最核心的约束条件是:在ERP系统的替换过程中,要保证全球业务运作不受影响,保证数以亿计的数据不能出错。这相当于在飞行中换发动机,在业界完全没有先例。计划中需要用到的许多关键技术和能力,现在还很不成熟,甚至还没有被开发出来。

这真是一个大胆的计划!尽管大家还有很多的顾虑,但委员会经过集体表决,最终同意ERP替换立项,并明确了总体目标:面向未来打造云化、服务化的泛ERP架构,用3年时间完成新ERP主体建设,5年完成覆盖。

1.解开一团乱麻

从规划到实施是一个艰难的过程,第一步“解耦”工作就面临极大挑战。

经过前期摸底,ERP系统和业务系统有着极其复杂的关联,共计有3950个业务连接点,2.7万多个数据进出口,关系盘根错节,犹如一团乱麻,老系统不解开,新系统就无法启动重构。这个难题,让总架构师卢强夜不能寐。

卢强有着20年数字化转型经验,经历了多个变革项目的洗礼,他经验丰富、视野宽广,懂业务、懂技术,是一位儒雅的学术型主管。他一直在思考,如何从一团乱麻中理清ERP系统的边界,能否找到一个简单易懂的模型,让所有人都能够理解、达成共识,并以这个模型为基础进行顶层设计。

一天晚上,在项目例会结束之后,他独自坐在会议室,又陷入了沉思。

这是一间典型的华为会议室,前方是一块大型液晶屏,两侧各有两块智慧屏,各种音频、多媒体、网络和智能化设备一应俱全,能够支持全球上百人开视频会议和进行研讨。在几盏明亮的水晶吊灯下,是一张十多米的长条实木会议桌,正对桌子的墙壁上,挂着一个大石英钟。

“嘀嗒、嘀嗒、嘀嗒”,时间一秒一秒流逝,夜深人静,石英钟的嘀嗒声格外清晰。卢强盯着表盘上的罗马数字和交错的指针,想起了当年在大学物理课堂上,老师讲相对论,说时间本质上是不存在的,时间只是人类的幻觉。是啊,时、分、秒,乃至日、月、年,都是基于地球、月球和太阳之间空间运动关系的转换,是人类定义出来的概念。

因为有了精确的钟表,无形的时间才得以直观地呈现给每个人,大规模的社会分工与协作也才成为可能。但与此同时,人们的各种活动也被时间所驱动、所约束,被分割成一个个的碎片。

比如说,接到一个电话,你必须在几秒之内进行思考并给予回应;回一个信息,你有几分钟的时间来考虑措辞;开一次会,差不多一两个小时,你可以接收和处理较多的信息;而对于一些重要且复杂的事情,你必须以日、月甚至年为单位来应对。

时间,时间,时间,普通而又神秘的时间,这个由人类创造出来又束缚住人的概念,对人也好,对万事万物也好,都是一个天然的分割模型。

与ERP相关的数以百计的系统,是不是同样也可以从时间维度进行分割?有一些系统像秒针一样,实时刷新数据;有一些系统像时针一样,可以较长时间不动;还有一些系统介于二者之间,就像分针一样。

过一次思想实验,卢强提出了“秒针、分针、时针”的模型,以此来界定ERP系统的边界,开展顶层设计工作。

“秒针”指实时交互数据的业务作业系统,包括供应、采购、销售、财经等200多个自研IT应用,它们与ERP系统相互连接,每一单采购合同的履行、每一个产品的完工下线、每一次库存的进出货,都要在ERP系统中进行交易结果的记录;“时针”指定期披露的报告系统,这部分数据应对的是月报、季报、年报等财务报告系统,并不需要实时变动,只有在特定时间点需要提取;而介于二者之间的“分针”,就是ERP核心系统,负责从交易到核算的处理,存放的是企业经营管理最核心的主干数据,要准确地和“秒针”“时针”进行数据交互,以确保业务信息与财务信息的一致。

在老ERP系统中,“秒针”“分针”“时针”是纠缠在一起的,华为要构建新的ERP系统,首先要顺着这个线头,把业务系统剥离开,即解耦。解耦过程就像庖丁解牛,庄子笔下的庖丁从刚刚入行时“所见无非牛者”,到游刃有余时“未尝见全牛也”,

是因为他已完全洞悉了牛的身体结构。在卢强的脑海中,他已经洞穿了ERP系统这条“整牛”内部的经络,接下来的解耦工作也就游刃有余了。

经过项目组几个月的努力,“秒针”系统中,3950个集成点减少了70%。以上,同时490万行定制代码精简了一半;“时针”系统中,7组报告用表(每组共1198张表)合并为了1组。被解耦的部分回归各业务领域,由业务各自管理,ERP系统成功实现了瘦身。

而ERP统核心部分的“分针”,由于各模块间耦合性很强,专家组在进一步的“换芯”方式上发生了激烈的争论,最终达成一致,决定以法人子公司维度进行“换芯”,并以此为基础设计出新系统上线的切换方案。

一团乱麻终于解开了!20多年来,华为第一次厘清了ERP系统的边界,第一次把这块“欧美砖”抽了出来,这让大家看到了前方的曙光。

2.“换芯”之路

但是,针对第二步“换芯”的设计,比想象的还要困难。现有项目成员去都是ERP系统的使用者,熟悉原厂ERP架构,最容易想到的方案就是参照原厂系统“照葫芦画瓢”。

但原厂ERP系统使用的是软硬件一体机的设计,其数据库是全球排名第一的产品,性能强悍,单一数据库可支撑170T数据量,而华为受到制裁限制,能够获得的开源数据库只能支撑4T数据量,与原厂有几十倍的差距,无法按软硬件一体式的方式来进行设计。

也就是说,“原样照搬”这条路走不通。“换芯”方向陷入迷茫。

2020年除夕前一天,陶景文召集了一次茶话会,专门讨论ERP系统“换芯”的方向。

一位资深专家谈起公司过去进行IT建设时,过于强调“用欧美砖修长城”,导致对国外产品的严重依赖,而且使流程IT部门在软件开发能力上的储备严重不足。

“我们不能用今天的变量来谈论过去的事情,那个时代华为采用软件包驱动是最佳选择,软件包承载了业界最佳实践,即使到今天,如果有合适的可用软件包,公司仍然坚持与伙伴开放合作的态度。”陶景文说,“公司是希望IT人员聚焦‘修好长城’,而不是聚焦‘造砖’。我们需要思考的是,为什么这些砖一块块堆叠混乱,别人拿走一块砖头,整个长城就要倒了?这对未来我们在架构上、技术上有什么启发?”

会议达成了第一个共识:不要抱怨过去,要面向未来。

接下来又有人提议,以当前团队的能力,在ERP替换上,应该以“逃生”为主,采取“保守治疗”,慎用新技术和新方案。

陶景文不同意这种看法,他说:“ERP系统不是一个新鲜事物,本质是工业化时代的一种计划管理系统,其精神内核是工业文明。最近10年,智能化、数字化转型在全世界已呈燎原之势,但传统的ERP系统还没有进行革命性的演进。华为要替换掉工业时代的成熟软件产品,是因为时代环境把我们逼上了梁山,但是站在另外一个角度上看,时代也赋予我们创新和超越的机遇。”

他提议,项目组要在未来3年内,站在数字化、智能化时代的前沿,重新定义ERP,而非照搬西方国家厂家的产品。ERP项目的愿景,是要面向未来打造一个真正云化、服务化、自主可控的核心商业系统!

原样照搬只能永远落后,有样学样的结果很可能是像邯郸学步一样,最后连自己怎么走路都不会了。重新定义ERP,是一条激荡人心的路,也可能唯一可行的路。

“万物皆有裂缝,那是光照进来的地方!”(Thereisacrackineverything,that’showthelightgetsin.)莱昂纳德·科恩的这句歌词,就是这一刻的真实写照。常栋看到了B计划的曙光。

项目组决定,在基于华为能够获得的软硬件产品基础之上,打破原厂ERP架构的思维惯性,大胆应用云原生、元数据多租、实时智能等新技术,通过系统工程创新,用“三流器件”打造一流产品,不仅实现“逃生”的目标,还要在产品性能上超越原厂ERP系统。

这是一个宏伟的愿景。项目组给华为未来的ERP系统取了一个响亮的名字:MetaERP。

这个ERP将采用元数据(MetaData)驱动的技术架构,大幅提高用户需求定义和灵活编排的响应效率;同时,“meta”直译为“元”,是初始的、为首的、基础性的意思,也包含超越的含义,这也意味着,MetaERP将是对传统ERP的一次超越。

卢强带领架构师团队开启了顶层设计的探索,比如,采取微服务和分布式云化的整体架构,借鉴“书同文,车同轨”的思想统一数据标准,采取“总体控制”和“业务流”的设计,保障业务与财务数据的一致。

顶层设计的每一项策略和原则,很多时候都是在各种困难和限制条件约束之下的无奈选择,也是前人没有做过的选择,但专家团队通过系统性思考,大胆采用新的设计思想,这些被逼无奈的选择往往又被变成最佳选择。

为了验证这些设想的可行性,项目组决定,先以一家规模中等的子公司作为标靶,开发出一个轻量级的ERP系统,率先进行“换芯”验证,“强渡”成功后,再逐步扩展到全球其他区域。

强渡

华为马来西亚代表处位于马来西亚首都吉隆坡的市中心,这里有高耸入云的地标双子塔,有绿草如茵的独立广场,也有充满烟火气的美食街。这里业务发展迅速,差旅便利,也是华为亚太区总部、账务共享中心的所在地。按照ERP项目计划,ERP替换的首场“强渡”战役将在这里打响。

在马来西亚的首场“强渡”是一项协同作战任务,主要工作大都在网络空间完成,吉隆坡、深圳、成都、西安等地的项目成员将用一年的时间来验证和试点MetaERP。切换时间定2021年中。

号角吹响,倒计时开始,项目组开始紧急动员,从全球各地调集人手,组建起一支支攻坚队伍。

1.紧急动员

侯军是成都账务共享中心的一名会计,他在华为财务的不同岗位已经工作了十多年,先后在深圳、阿根廷工作,如今回到成都,这里的生活节奏让他很是惬意。他以为自己会继续这样下去,在天府之国过着波澜不惊的生活。

深秋的一个午后,主管飞哥和他的一次谈话,打破了这份安逸和宁静。

“机关有个项目需要你出差支持一下。”

“具体做什么呢?多长时间?”

“我也不是很清楚,你去了就知道了。”

“‘猴’哥,你这是要去做秘密工作了。”旁边的同事笑嘻嘻地对他说。

从成都飞往深圳的途中天气很好,他透过舷窗看到蜿蜒的河流、连绵的群山以及一条条高速公路交织而成的优美线条,猜想着此行的种种可能,但一直没有头绪。

刚到深圳,侯军就被叫到一个封闭会议室。满满一屋子人,他只和其中一位同事打过照面。双方眼神一交会,立即明白,两人都不知道接下来要干什么。会议一开始,领导就强调保密原则,并给每人发了一份文件,要求大家现场签订保密协议,侯军脑海中立即浮现出电视剧中研发“两弹一星”的场景。

就这样,他开始了神秘的3年ERP之旅。

像侯军一样,数以万计的华为员工为保障业务连续,已经习惯了被拉进各种紧急项目,一种在无形中弥漫的危机感促使大家不问缘由、不讲条件地努力工作。那段时间,华为内部到处都贴着一张“烂飞机”照片,这是二战中苏军的一架伊尔-2飞机,被打得像筛子一样仍在安全飞行。这张照片激励着大家努力“补洞”,ERP系统就是这架“烂飞机”上的一个“大洞”。

陈薇林是一个不甘于现状、喜欢挑战的人。制造项目接口人找他沟通,问他是否愿意加入ERP项目,至于参加项目做什么,暂时不能透露。联想到当时的外部环境,他大概猜到了要做什么,义无反顾地加入了团队。

一天下午,终端的王如刚突然接到主管的电话:“如刚,有个重要的保密项目需要人牵头,这个项目要求很高,我们评估你最适合,你有没有兴趣?”王如刚二话没说,直接应允下来。到了项目组,他才知道自己要负责所有终端相关的ERP系统测试。

姚娇龙加入项目组的第一感受是“华为太疯狂了,太敢了”,她突然觉得自己站在了时代的风口浪尖,内心非常激动。但她很自信:“我们这段工作的小浪花,注定要被写入华为公司甚至中国软件产业的发展史之中。”

唐志高是一个在技术上很有追求的IT男,他认为,经过多年积累,华为已经具备了足够的能力。他在心里暗暗憋了一股劲儿:我们不比任何人差,要做就做一个超越原有系统的软件。他在办公室里大喊:“程序员的春天来了!”

……

一场大规模的集结和动员,就这样悄悄地展开了。

财经、供应链、采购等业务部门都在尽最大努力调配资源,将资源优先投入ERP项目,大量经验丰富的业务专家加入了进来。

多家与华为长期合作的咨询公司,在短时间内提供了上千份简历,协助筛选了近20名来自世界各地的顶级顾问加入项目组。

在软件上和我们长期合作的伙伴公司,也通过各种渠道挖掘资源,召回有ERP项目经验的老员工,将优质资源向ERP项目倾斜。

“若有战,召必回。”退休员工闻讯,也纷纷表示愿意贡献力量,十多位退休员工返回公司,以独立顾问身份加入了项目组。

各团队加大了专业人员招聘。流程IT人力资源部组建了一支特别招聘队伍,通过各种渠道,累计浏览了5万多份简历,联系了1万多人,经过面谈交流,前前后后共吸引了300多名优秀人才入职。短短几个月时间,一支上千人的团队集结到位。

这是一次紧急动员,也是一次自发的动员。华为过去很多重要的变革项目,大都需要在公司层面大张旗鼓地宣传动员,项目经理还得拿着“令箭”,请求业务部门投入资源,而ERP项目可能是唯一一个不需要动员的变革项目。

危机下的恐惧感和紧迫感,是变革项目最主要的驱动因素。ERP项目是一个自带危机感的项目,就像华为其他很多业务连续性项目一样,在美国制裁令被签署的那一刻,主要的动员工作其实就已经完成了。尤其当项目目标与个人价值能够无缝匹配时,这种危机感就自动转换为使命感,即使是一群平凡的人,也能迸发出巨大的热情与创造力。

2.大兵团作战

ERP项目共设立12个子项目组,投入1800人,高峰期有3000多人,管理体系庞大、运作复杂。由于项目工作具有临时性、跨领域等特点,如何让这个超大团队有序运作、不打乱仗,朝着共同的目标前进呢?

常栋有丰富的变革项目管理经验,作为ERP项目一线作战“司令员”,他知道,变革项目是一把手工程,领导力是变革的第一生产力,当务之急是把项指挥系统建立起来。在华为,一般变革项目组都会单独成立一个领导组,负责重大事项决策。常栋一盘点,发现ERP牵涉面太广,基本涵盖了公司各大领域,这个领导组不好组建。

“那你干脆不要搞领导组了,就把ESC(变革指导委员会)作为项目领导组,我们来给你站台。”ESC主任对他说,“这是ESC管IFS(集成财经服务)最重要的项目,如果说未来几年我们只做一个变革项目,那就是ERP替换。”

有了领导层的坚定支持,常栋和ERP项目经理张晓燕设计了大兵团作战的三层指挥系统:第一层是ESC会议层,负责项目方向和重大事项决策,并构建ERP项目领导力,凝聚共识;第二层是项目经理会议层,负责方案、范围及资源投入决策,推动项目关键问题解决及风险决策;第三层是项目交付例会层,负责管理项目落地执行,通过纵向产品管理和横向业务流管理,做好“整车”拼装。

这是一个高效的扁平化指挥系统,实现了项目从战略到战术的执行贯通,保障了项目团队令行禁止、使命必达。

随着深入项目,遭遇各种难题,项目组成员最初的热情开始消退,信心不足的问题开始浮现。上千人的组织运作,如何让上下形成共识,统一思想,凝聚团队力量?常栋认识到,各模块产品经理是团队执行力的关键,把这一层骨干的思想做通,消除他们的畏难情绪,相应队伍的执行力就会大幅提升。他决定要不断地给这一层主管强化项目愿景。项目组开展了20多场次的研讨会、动员会,不断凝聚共识,强化信心。

2020年年底,首场“强渡”的各项准备工作正在紧锣密鼓地推进,一场大规模的“ERP项目启航大会”召开了。会场设在培训中心主楼,在能容纳200多人的阶梯教室里,红底白字的大幅标语格外醒目—“不相信有完成不了的任务,不相信有克服不了的困难”。

这次动员会有一个宣誓环节,因此,这些平日里不修边幅的IT人都穿上了西装,打上了领带,显得格外精神。有人在座位上不停地转动脖颈,拉扯衬衣,显然,他们还没有习惯穿正装。

“ERP替换项目的来源是为了活下去,但我们绝不仅仅是为了活下去,而是要面向未来,打造全球最具竞争力的云原生企业管理平台。”常栋的讲话很有鼓动性,“最理解华为ERP20年建设历程与发展脉络的就是我们这群人,ERP项目相当于华为的‘两弹一星’项目,我们不能把这个大难题留给下一个IT人,而是要让他们从一开始就能够甩开桎梏,昂首阔步向前走。”

“ERP替换不是逃生,而是新生!”这句掷地有声的话,获得了全场与会者的热烈掌声。大家起立宣誓:“作为ERP变革项目组的成员,我们深刻理解项目的愿景和使命,我们承诺,保证在2021年完成马来西亚子公司的切换验证。除了胜利,我们无路可走,请项目组全体人员监督。”

最后是全体大合唱:“团结就是力量,团结就是力量,这力量是铁,这力量是钢……”

每一次会议都像是一次“充电”,鼓舞人心的演讲、热烈的讨论,激情与热忱在会场中弥漫,团队成员的畏难情绪逐渐消散。

在大兵团的集结中,每个人都是变革的践行者,都在积蓄变革的力量。

他们争执着不完美的方案,精细打磨着每一段代码;他们参加一个个深夜项目紧急会议,讨论着项目关键节点;他们分工不同,却从不计较是台前还是幕后。会议室的灯光深夜熄灭后,空气中还留存着刚刚激烈讨论的余温。

3.不完美的方案

马来西亚子公司MetaERP涉及数十个产品模块的开发,各团队通过对老ERP系统的解耦,吃透原理,开始构建新产品。承担产品开发任务的是一支支年轻的初创队伍,他们没有丰富的开发经验,却无所畏惧。他们通过开发产品和各种测试,在极短的时间内构建出了新系统的雏形。

就在各产品模块开发同步推进时,2021年1月,财经应付模块却传来了坏消息—上线测试遭遇失败,有可能拖延整体进度。产品团队迎来了至暗时刻。

造成测试失败的原因是方案设计存在缺陷,要修复这个缺陷,项目周期可能需要额外增加3个月甚至更长的时间。

压力很快传递到了两位女将身上。一位是ERP财经领域负责人刘润玲,另一位是ERP项目经理张晓燕。

刘润玲曾做过多个IT产品的架构师,拥有丰富的理论与实践经验,也是一位追求完美的方案设计师。她之所以加入华为,就是因为心中有一个铸造殿堂级产品的架构之梦。在她的领导下,财经IT团队总是能够从用户角度出发,用相对完美的方案,实现业务与IT的共赢。

但是,这一次她遇到了挑战。

应付模块涉及资金安全,本着谨慎为上的原则,过去10年都没有做架构调整,很多新需求是通过不断打补丁来解决的,因此财经领域希望借此次机会,进行一次大的架构调整,一次性解决历史问题。刘润玲也支持这个完美架构,但由于时间紧迫,方案设计存在严重缺陷,无法通过测试。

现在,有两种选择:一是继续修改完美方案,代价是延长MetaERP整体上线时间;二是采取基于原有架构的妥协方案,先保障MetaERP在马来西亚子公司上线,以后再解决历史问题。

刘润玲站在业务角度,坚持完美方案。她初步判断,妥协方案不足以支持系统上线。

张晓燕是一位理性主义者,作为ERP项目经理,她的压力来自项目整体进度和风险管控。她认为,保障切换时间是第一要务,有多种方法可以使IT系统跑起来,哪怕这是一个不完美的方案。

两位女将各执一词,谁也说服不了谁。于是,她们决定各自寻求同盟军。刘润玲找到总体组专家沟通,他们也认同新的架构方案,站在了她的一边。张晓燕去找财经领域主管沟通,优先保障项目按时上线,也得到了对方的理解。

最后的决策时刻到了。

刘润玲再次提出她的完美方案,张晓燕再次反对:“大家不要把产品架构和功能实现的权重看得过高,ERP是一个系统工程,产品建设只占三分之一,数据割接和验证同样重要。我们要综合考虑项目进度。”

决策会开了将近三个小时,刘润玲三次哭着走出会议室,哭完了再回来争论。最终,她妥协了:“为了项目的整体进展,我服从集体决策,但是我保留自己的专业判断。”

刘润玲哭红的眼睛里带着委屈,但语气坚定。在集体利益和个人判断之间,她画了一条线,接受妥协方案的同时,保留了内心的完美追求。

刘润玲是一位职业经理人,知道自己必须尽快转换角色,保证项目成功。应付模块的七八十名开发人员在武汉办公,有些还是合作伙伴员工,上线测失败后,大家都觉得拖了项目后腿,无形的压力笼罩着团队。刘润玲变成了妥协方案的布道者,不仅给开发团队宣讲方案,还要做大家的思想工作。

为了给团队打气,刘润玲和常栋一起到武汉和大家沟通。晚上聚餐,到了19点半,饭桌上的大部分人都戴上耳机,开始开例会,盘点当天的测试问题单。常栋站起来说:“弟兄们,大家能不能先停一分钟,先一起敬杯酒。实在脱不开身的,就赶紧吃饱回去加班吧。”

回到深圳,刘润玲就大病一场。

应付模块的测试投入了160多人,使用了5万多个测试用例,大家都在争分夺秒,要把耽误的时间赶回来。

4月14日,第一封用户验收测试日报显示,测试通过率仅19%。

5月23日,用户验收测试待IT解决问题数超过300个。

团队承受着巨大的压力和矛盾的心理。一方面为了质量达标,希望做更多更细致的测试,另一方面是每天都在增长的遗留问题数。

“大家跟我走,一起去武汉现场,将问题攻关清零。绝不能拖项目后腿!”刚接管应付模块开发的产品经理梁立平带队前往中国光谷支援,每天奋战到凌晨两三点。光谷位置比较偏,有人家养鸡,大家常常是在鸡鸣声中进入梦乡。

刘润玲每天都在关注高水位的问题数量,她把自己的办公位搬到了应付项目组,与团队一起熬夜测试。她没有责怪团队,反而组织部门活动,强制大家休息调整,让大家紧绷的神经得到放松,舒缓了长久以来的疲惫。

张晓燕也搬过来帮忙,她专门组建了一个测试团队,与刘润玲并肩作战,帮她协调周边资源,缓解应付团队的压力。

大家拼尽全力,6月底,待解决的问题数终于降到了20个以内。8月20日,问题清零!

应付产品终于度过了至暗时刻,在最后关头追赶上了大部队。这个不完美的方案,经过失败与重生的重重磨砺,终于站了起来。

没有完美的方案,也没有完美的英雄。

后来,在MetaERP于马来西亚成功上线后的第二天,刘润玲找到常栋沟,还没开口,她的眼泪就掉了下来。这时常栋才知道,在项目攻关的关键阶段,刘润玲的母亲身患重病,她挤不出时间照顾母亲,觉得很愧疚。现在,项目有了阶段性进展,她申请退休,回家照顾母亲。

在大家眼中,刘润玲是一位广受尊敬和喜爱的同事。员工们都亲切地称呼她为润玲姐,认为她是最好、最美的领导。即便在团队有200多人的时候,她仍然记得住每位员工的名字;即使常常忙碌到深夜,她也要挤出就餐时间与团队成员交流。她的退休决定让所有人都觉得惋惜……

4.人拉肩扛

而对张晓燕来说,她即将迎来一次大考——MetaERP在马来西亚子公司上线。几千人没日没夜的努力,几千项任务的协同管理,无数缺陷、问题与风险处置,都要在这一刻得到验证。而马来西亚子公司的这场首战,也和真实战场上的遭遇战一样,是在没有准备好的情况下就打响了。张晓燕心里清楚,在华为,任何困难都不是借口,目标是不能动摇的,人拉肩扛,也要把这个山头拿下来。

上线前的几个月是关键的测试联调期。各产品模块基本就绪,就像是一个个零部件已经运到了总装厂,要拼装成一台可以交付给客户的整车。作为“装配厂厂长”,张晓燕清楚地知道,现在的“总装线”还处于手工作业阶段,只能靠人海战术进行测试,拼出MetaERP的第一个版本。

何能志是从采购到付款业务流的运营经理,经过亲身实践,他设计出了一个测试程序:在一楼看完采购测试人员完成下单及验收,立即跑到三楼,跟进财经测试人员完成发票匹配及付款,如果出现故障,就地赶紧解决。

另外,他每天早上9点召开晨会,讨论每个场景的测试进展;17点开晚会,讨论产品遗留问题,雷打不动。何能志苦中作乐,把这套运作方式命名为“人肉测试线”。像何能志这样的“人肉测试线”还有几十条,供应、采购、工程、行政……涉及公司各部门,还有跨区域的线上接力,每个环节都要跑通。

2021年7月至8月,项目组完成了三轮上线演练。每次演练的夜晚都是一个不眠之夜,近500人投入业务验证中,全要素反复验证和演练,确保所场景都准确无误。

9月10日14点,MetaERP在马来西亚子公司上线。张晓燕发布动员令:“从MetaERP项目立项至今,我们一共走过了630天,一共有1700人参与,这次上线一共有4000个任务项。MetaERP项目是一场大会战,我们每个人都为之骄傲与自豪,希望大家共同努力,为首战画上圆满的句号!”

接下来,项目组成员在“夺取首战胜利,决胜马来疆场”的标语上签名,现场团队合影、齐声宣誓。

当天18点,指挥中心宣布切换正式启动。

半小时后,完成作业系统冻结。

23点,老ERP系统成功关账。

次日16点,完成34亿行数据的数据迁移及验证,启动业务小批量验证。马来西亚账务中心的张磊特意留了自己出差的报销单,作为在新系统中的首单作业:填单、审批、发票审核、支付。“成功了,这是MetaERP付款中心的第一单!”大家欢呼雀跃。张磊说:“这单报销是我一辈子的记忆和骄傲。”

“首渡”能否成功,最后一锤要看数据湖的切换是否顺利。数据湖是业务分析、财务报告的数据源,数据切换如果出错,业务分析就会中断,财务报告也将无法出具,这将直接导致ERP切换失败。

9月11日至12日,数据湖要完成300亿行数据的初始化,这是一场耗时30个小时的持久战。

11日15点,收到总体组通告,交易侧已完成初始化,数据湖的切换正式开始。但是,在初始化环节,一个个小问题就不停地出现,一次次敲打着每个人的心弦:

“源系统切换数据库,数据湖初始化程序报错。”

“源系统的账号改了密码,数据湖初始化程序报错。”

“源系统有表需要重新初始化,数据湖也需要重新初始化。”

张晓燕来到数据湖切换的作战室,与大家一起审视问题,协同专家解决。好在之前经过多轮演练,大部分问题都有成熟预案,得以逐一解决。

“数据抽取又出状况了。”12日凌晨4点,在数据整合层的初始化启动后,换遇到了大表性能问题。

上午10点,张晓燕打电话给项目负责人,询问数据抽取的预计完成时间,得到的答复是14点。14点再次询问,却说要到16点,实际上18点都没完成。延迟时间在不断拉长,2小时、4小时、6小时……张晓燕着急了,把专家们一个个“吼”到了数据湖项目组。

30多人的团队集中在一起,沿着数据链路逐项排查。深夜,万籁俱寂,ERP作战室依旧灯火通明,人声鼎沸,问题排查工作依旧胶着。随着上亿行数据的反复验证和执行策略的艰难决策,数据一个一个出来,最后一个数据验证终于在22点完成,财经月报比对正式启动。

深夜2点,张晓燕已经连续奋战了36个小时,安排好后续工作后,她才拖着疲惫的身体来到了公司附近的酒店。

5.惊险两小时

才睡了不到3个小时,张晓燕就被一通电话吵醒,迷迷糊糊抓起手机。

“你说什么?我听不清,能大点儿声吗?出了什么问题?哪里错了?”

好一阵子,她都没听清来电在说什么,只是觉得声音好小。后来才发现,自己把手机听筒拿反了。

这次终于听清楚了—“情况是这样的,从新系统抓取数据出错,新老订单系统的数据无法整合,虽然只涉及38行订单,但是财务报告容不得半点差异,系统可能面临回退!”

她当时有点蒙,心里快速盘算着,系统是不可能回退的,交易已经放开了,回退就意味着上线失败。她脸都没顾得上洗一把,就一路小跑回到了切换现场。她环顾了一下四周,看着一张张疲惫的面庞,坚定地对大家说:“没有退路,只能向前,相信我们一定还有办法挽救。”

在她的快速统筹下,供应、财经、数据湖领域的专家们迅速集结到位。

大家都是头一回遇到这个问题,多少有些不知所措。张晓燕结合自己丰富的项目经验提出:数据问题本质上是数据溯源的问题,只要我们能够追溯到源头,就能找到线头,逻辑自然就能理顺了。

在她的启发下,供应订单专家快速理清思路,用数据推导的方式快速还原了数据血缘关系,希望瞬间燃起。早上7点,项目组关键领导全部到达切换现场,成立了临时“指挥所”。在华为,“指挥所”永远设置在最前线。

问题处置方案迅速形成了两派。项目组领导建议保险起见,先临时解决问题,上线成功后再择机彻底解决;财经领导认为,此举可能会留下更大的隐患,还是要一次性解决问题。

双方一度僵持不下。张晓燕见状立即提议,成立两个攻坚队,给大家两个小时的时间。其中一队主导方案优化,一次性把钉子拔掉,彻底解决;另一队分析临时方案的可行性,在不影响切换的情况下绕过这个障碍。

作战室顿时忙碌和热闹起来,喊话声、电话铃声、键盘敲击声,此起彼伏。随着时间一分一秒过去,方案逐步清晰,攻坚队员也从最初的焦虑、紧张,逐步恢复了自信。领导们的心情也伴随着现场气氛起起伏伏,他们抑制住想要了解方案详情的急迫心情,没有去打扰攻坚队队员,生怕会打断队员们的思路。

两小时很快就要结束了。张晓燕恨不得这两个小时有两天那么长,这样就可以给兄弟们更多的时间去思考,让方案更加稳妥;她又恨不得这两个小时像两分钟那么短,这样切换就可以更快一些。

30多位专家聚集,让这个大作战室变得非常拥挤,临时攻坚队队长灌了一口功能饮料,开始了推演汇报。张晓燕认真聆听了两个团队的方案推演,并参考现场专家的建议,决定选用临时方案,该方案充分推演了8种典型场景,最终警报得以解除。

经过一天的平稳运行,15日16点,项目组审视业务验证情况,一切正常,于是宣布:马来西亚MetaERP上线成功!

经过无数的不眠之夜,历经孕育期的惶恐、不适和分娩前的阵痛,在所有人的期待和手忙脚乱中,MetaERP这个新生命终于诞生了。

在后来的表彰会上,张晓燕带领大家朗诵了一首集体创作的诗歌,一年多来所有的压力、焦虑与委屈,在这一刻都得到了完全的释放。

从没想过

像我这样平凡的人

也能书写一段酣畅淋漓的故事

2019年5月16日阴

合作多年的驻场顾问全部离开

我们面面相觑

2019年12月20日阴

ERP项目立项沉甸甸的责任

2020年8月1日凌晨3点大雨

完成一体机切换

保障了又一次财务月结

喝下又一杯咖啡

2020年9月16日多云

产品迭代开发的第一个版本顺利上线

今天也是我的生日

我们聊着聊着,哭了又笑了

2021年8月13日晴

终于将手上最后一个测试案例测试完毕

3万多个测试用例,100多个核心用户

合上电脑的那一刻,犹如宝剑入鞘

2021年9月11日晴

经历了上线切换的头一个24小时

十二点半项目组班车上

身旁的大哥在鼾声中张大了嘴

2021年10月2日晴

马来西亚顺利出账

下班回到家已然熟睡的孩子

电话那头没时间联系的父母

偶尔抱怨却默默支持的爱人

感谢你们的理解与包容

我们是父母、子女、妻子、丈夫

我们更是华为ERP人

我们扛住了狂风骤雨

雄心在路上!

排版

|沈望望

编辑

|允允

主编

|孙允广

免责声明:本网站部分内容由用户自行上传,若侵犯了您的权益,请联系我们处理,谢谢!联系QQ:2760375052

分享:

扫一扫在手机阅读、分享本文

只洋

这家伙太懒。。。

  • 暂无未发布任何投稿。