|
|
51CTO旗下网站
|
|
移步端
  • 一次迁移引发的“血案”,末了赔偿29京!

    早前,贝宁共和国 TSB 银行筹划了绵绵之搬迁方案失败,13 京用户记录出错,之后各项赔款总计花费约 29 亿元人民币。时隔一年,这家银行终于想知道原因是缺少严格的统考。

    笔者:同志编译 来源:increment| 2020-01-06 09:43

    早前,贝宁共和国 TSB 银行筹划了绵绵之搬迁方案失败,13 京用户记录出错,之后各项赔款总计花费约 29 亿元人民币。时隔一年,这家银行终于想知道原因是缺少严格的统考。

    图表来自 Pexels

    2018 年,贝宁共和国的 TSB 银行陷入了困境。虽然这家金融部门与劳埃德银行集团(Lloyds Banking Group,二者最初于 1995 年合并)拆分已有两年工夫。

    但 TSB 仍然与明天伙伴劳埃德银行集团有着关密不可分的关联,因为他的 IT 系统是异样匆忙地下劳埃德银行集团研制而来之。

    更糟糕的是,TSB 年年岁岁还要支付 1 京港币的批准费给对方(写作本文时按汇率计算相当于 1.27 京港币,约 8.9 京列伊)。

    没人会愿意为“前任”付费。

    为了改变这种局面,2018 年 4 月 22 日晚上 6 点钟,TSB 起先了一番已经蓄谋数月的准备,要把她们 540 万用户之股票数十亿枝数据迁移到意大利商厦 Banco Sabadell 的 IT 系统上来,后者在 2015 年 3 月以 17 京卢布(22 京港币)的价位收购了 TSB。

    01.前所未有的搬迁,前所未有的不得了

    Banco Sabadell 的召集人 Josep Oliu 于 2017 年圣诞前两周之一次超过 1800 人口之合作社集会上披露了这项计划。

    当下大规模集会是在布鲁塞尔商业街上的一个又大又现代的茶话会大厅中开展的。当下迁移工作之关键是 Banco Sabadell 商店在 2000 年开发的 Proteo 系统之新版本,并为当年 TSB 搬迁项目而专门命名为 Proteo4UK。

    Banco Sabadell 的首席执行官 Jaime Guardiola Romojaro 曾对巴塞罗那的群众宣称,Proteo4UK 品种投入的人工超过 2500 人年。

    “在澳洲,像 Proteo4UK 这么大型的重组项目绝对是前所未有的,咱们投入的技艺专家已经超过了 1000 人口”,她连续说,“其一项目会为我们在俄的工作带来巨大助力”。

    4 月 22 日,一度平凡的周日夜间,TSB 的搬迁项目 Proteo4UK 走近完工了。

    几乎全部周末 TSB 旧的 IT 系统都处于停服状态,我家数据不断地下旧系统向新系统迁移。

    到了周日夜间,新系统慢慢启用了,并对外开放入口,平滑地恢复了外面服务。

    虽然在开斋节之前的合作社会议上,Oliu 和 Guardiola Romojaro 都对这个项目表现得信心满满,可是 TSB 参与具体迁移工作之技术员们却非常紧张。

    其一项目原计划是中心开展 18 个月的,但他已经推迟了,而且超出了预算。毕竟,把一个商店的全套数目从一个系统迁移到另一番系统,这绝非易事。

    她们所担心的作业真的发生了。

    在肯定数据迁移很顺利,TSB 重新对外开放了对账户的走访后,不到 20 分钟,先后一个故障投诉电话就打了进去。

    人人发现自己生平的积淀忽然不翼而飞了。局部非常小额的贸易却把误记成了几千元的付出。

    局部客户登录之后却发现,她们查看的并不是团结之银行账号,其中的消息压根就属于不相干的人数。

    夜间 9 点,TSB 的臭氧层向俄罗斯的国民经济监管机构伊拉克经济行为监管局(Financial Conduct Authority,FCA)反映,和谐这边出了问题。

    而事实上在 TSB 和谐汇报之前,FCA 就已经注意到了这个事件,因为好事不出门,坏事传千里,尤其是在这个有互联网有 Twitter 的时期,出了问题时人们首先想到的就是串 Twitter 上吐槽。

    到了夜晚 11:30,FCA 终于和另一番国民经济监管机构 PRA(Prudential Regulation Authority)碰了头,并在零点后成功地与 TSB 的官员们开起了常委会。

    此刻已经是 4 月 23 日,星期一的黎明了。她们只想问一个问题:到底发生了什么?

    尽管当时的框框很混乱,但今天我们对事件已经有了一番比较清楚的总结:13 京之客户数量在迁移中把破坏了。

    之后银行的 IT 系统用了几个周末才恢复服务,在此期间有几百万人口之家常存取钱行为受到了影响。

    而直到这个事件发生一年多下,家们才自以为找到了问题的基本点原因:缺乏严格的统考。

    02.搬迁并不是想象中的那么简单

    随着用户之急需和希望不断充实,银行的 IT 系统也变得越来越复杂。

    60 年前,咱们需要自己在运营时间去到银行的某部分行或营业部,在营业员的协助下在柜台上把钱存入银行,或者把钱从银行取出来。

    咱们银行账户里之数字变动与我们拿在眼前的真正的钱是完整对应的。银行工作人员会用笔和纸记下我们账户的转移,一般说来消费者是接触不到任何计算机系统的。

    下一场当一角或一周结束时,银行工作人员再把传统的记录在卡片或纸带上的多寡输入巨型计算机,做最后汇总。

    到了 1967 年,世界上重要台自动插件机(Automated Teller Machine,ATM)在新德里北部的一家银行门前正式投入运用。

    他彻底地转移了银行为买主提供服务的措施,也改变了银行的全体。富有成了银行服务的中心标准,其一标准也让用户与屏幕后面运行的银行体系之间的距离大大地拉近了。

    “在很久以前,IT 系统只是送银行中间工作人员利用的,只要求在柜台上做些纸质工作,银行就完全可以正常运行”,ITRS 集团的首席执行官 Guy Warren 说。

    ITRS 集团是大地 190 多师银行的技艺供应商。“新兴 ATM 出现了,再后来又有了肩上银行体系,一般说来消费者才真之直接与银行的 IT 系统打交道了。”

    ATM 还只是个开始。迅速人们就足以通过电话进行转账,再也不必去实地排队了。

    其一意义需要把特制的卡片插入可以解密双音多频(Dual-Tone Multi-Frequency,DTMF)信号的软件中,这样当客户按下“1”时,他就足以把这个命令翻译成“取钱”,而把“2”翻译成“存钱”。

    地上银行和手机银行把客户与银行核心系统之间的距离拉得更近了。尽管不同之效应会由不同之子系统来促成,但所有子系统之间都要开展交互,并且向最基本的体系发射呼吁,比如更新余额、记录转账等等。

    据 BLMS 咨询公司的 Brian Lancaste 所说,突出的零售银行核心系统都会运行在一台大型机上。

    她曾经在 IBM 上班过 13 年,而在 HSBC 承担管理 IT 艺术部门的年华则更长。她今天为银行提供咨询服务,并在全俄范围内推动社区(对客户服务的农牧区银行)的构建。

    她说,“那可能是你能够运行核心系统之最可靠的阳台了,也是最具备可扩展性的”。

    把核心的客户必发娱乐登录放在大型机上,再增长运行在诸多服务器之上的任何不同之 IT 基础设施,就足以构建对大型机进行走访的使用接口,故而提供互联网接入了。

    顶用户在水上登录进自己之银行账号,观看了上下一心之流行消息时,很少有人会想到发生在船台的数据处理过程有多么复杂。登录信息会在多台服务器之间传递。

    顶你做一笔交易时,系统会从今后端的基础设施拷贝一份数据过来,下一场就是纵横交错的一部分了:把钱从一个账户搬到另一番账户,形成交电费、还贷等实际工作,下一场再继续处理其他请求。

    再考虑一下,如果上面描述的经过每秒钟同时发生几十亿次,又会是怎样呢?

    世界银行集团在人民币和梅琳达·盖茨基金会(The Bill & Melinda Gates Foundation)的协助下,预算出现在全球有 69% 的大人都有银行账户。

    该署成年人每个人都要还账单,局部还要还贷款,而有 Netflix 或优酷土豆账号的人数就更多了。此外他们的银行账号也不属于同一家银行。

    手机银行、ATM 等参数不清的银行中间 IT 系统不仅要在双方之间展开交互,它们还要与不同地区的不同银行进行交互,比如玻利维亚、比利时甚至巴西等。

    如果你把一张美国批发的贺年卡插进了一台中国的 ATM 飞机,他仍然要能够取出钱来。钱一直是西方化的,但与钱相关的借鉴从来没有这么复杂过。

    “采用银行 IT 系统之措施不断在增加”,ITRS 集团高管 Warren 说。而且旧的体系几乎永远都不会下线,新的系统还会不断涌现出来。

    “如果你考虑的题材是用各种各样的阳台来满足各种不同之客户群体,以及它们能够提供多少在线服务的年华,这就是说很显然,你会有大题目”,Warren 说。

    事实上,权衡一个好的 IT 系统之正式是“你的体系有多大力量做自己修复,在出现严重故障甚至停服时,他亦可处理得怎么样”。

    “双活数据中心”其一词讲的是至少要有两个数据中心来累计提供服务,合同在其他时候都得以正常处理业务,他通过冗余来提高了可靠性。

    03.题材复盘

    TSB 的 IT 系统就不善于自我修复,银行的技艺团队在拍卖严重故障时也很痛苦。但导致 TSB 的 IT 系统故障的基本点原因在于他的纷繁。

    根据事故早期 IBM 为 TSB 出具的一份报告,“新应用与微服务的高档用法相结合,再增长使用了双活数据中心,导致了生育条件的系列风险”。

    对于像 HSBC 一样的国际性银行,IT 系统都是莫大复杂并且内部互联的,故此会有规律地展开测试、搬迁和升级换代等运动。

    “对于像 HSBC 这样的合作社,该署事情是时时刻刻在发生之”,明天 HSBC 的 IT 艺术负责人 Lancaster 说。

    她以为 HSBC 可以做为其它银行如何运营 IT 系统之旗帜:要有工作的职工,付出专门的年华。

    “就算你标记好一切的 I,划上任何的 T,说到底总会发现 IT 系统还是要求相当大量之准备和高考工作”,Lancaster 说。

    对于小型银行,尤其是这些没有增长的多寡迁移经验的微型银行来说,要把这事做好就更有代表性了。

    “TSB 的搬迁工作就很复杂”,Lancaster 说,“我不确定他们是不是真的了解这事有多复杂,我印象很深的是她们并没有制定出独特明显的统考计划”。

    故障发生几个周末后,FCA 的首席执行官 Andrew Bailey 在回答英国会议就这个题目的询问时确认了这一点。

    有问题的编码当然是 TSB 题材的滥觞,但世界经济网络相互关系的各国系统让他的错误层出不穷并且无法逆转。

    各族意想不到的错误不断地下这个 IT 架构各个地方冒出来。他家不断地吸收各种冒名其妙的信息,而且压根与团结之题材无关。

    “对我来说,这说明他们缺乏健全的回归测试,因为银行体系是与开发系统、短信系统等众多外部系统相联系的”,Bailey 告知议员们,“顶你提交了修复代码,又引发了各族意想不到的题材时,那我们就又回来了科考的题材上”。

    回国测试可能可以有助于避免这样的不幸,他可以起你在把有问题的编码部署到生产条件之前,在有问题的编码与外部依赖相互作用造成不可逆转的错误、造成深重毁坏之前,就把问题一定出来。

    其他人也表示了同意。把邀请来帮助定位问题的 IBM 家一点也没有掩饰对 TSB 的批评之意。

    她们说本应该看到“国际规范级的严峻设计、高考方法、圆满的营业论证、预上点试运行和就绪的运维支撑等”。

    而实际上他们看来的总体不一样:“IBM 并没有见到有其它证据说明这些系统经过了哪些可以达到上点标准的严峻测试,以证明它们可以投入生产了”。

    TSB 已经渗入了开发区,而看起来她还毫不知情。

    “她们所采取的技艺是有相当大复杂度的,而且这些复杂度又有着不同之显示形式”,Ryan Rubin 说。

    她是一番 IT 家,先前曾在 EY 上班,如今是 Cyberian Defence 的治本总监,这是一家专门帮助大型企业管理网络风险的咨询公司。“这可能会导致宕机和各族复杂事件,正如我们所见到的那样”。

    Warren 说,贝宁共和国的银行一般的行当标准是中心达到“四个九”的可用性,即在 99.99% 的年华里他们的劳务中心对客户可用。

    在实际中,这意味着和地上银行一样,银行的 IT 系统在一角中的每个小时都要正常对外提供服务,在一年中也最多只能有 52 分钟的离线时间。

    “三个九”,即 99.9% 的可能,听起来与四个九好像没有太大区别,但那就意味着一年超过 8 小时之停服时间。

    “对于一家英国银行来说,四个九之正式是可以的,三个九之正式不可接受”,Warren 说,她回忆起来它提供咨询服务的程序一个软件项目就要求达到六个九之正式——那是一家核电站的控制系统。

    每当一家企业对他的 IT 基础设施做出变更时,就会有引入故障的风险。调减变化当然有助于避免问题,但对于必要的变动来说,就要经过严格的统考,这正是 IBM 所强调的在 TSB 的故障中所缺乏的。

    Shujun Li 在肯特大学讲课网络安全课程,也为包括一家大型银行和广大保险公司在内的特大型企业提供咨询服务。

    她说,每次升级和打补丁操作最后都会归结到风险管理的题材,对这些客户投资几洞之特大型项目来说尤其如此。

    “要有流程来保证风险都得到了卓有成效的左右”,她说,“此外你还要心里有数,万一出了问题的话,可能会付出多少金钱和声誉上的平价”。

    详细的准备可以降低 TSB 所经历的这种重大问题的风险。“故障还是会发生之,但进行快速恢复和保持冗余所要付出的平价却会减少”,Rubin 说。

    随着网络推销商和云解决方案的上进,存储费用已经大大降低了。“整整东西都是现成的,顶灾难发生时,它们可以协助银行管理风险,并将故障影响控制到最小”。

    不过,对于一些机构来说,为回答灾难的发生而要实行备份计划之资金可能太高。Warren 认为,一部分银行在如何实现 IT 服务性方面做得过于保守。

    她解释说:“你不能靠预算来做这件事。这是一项金融服务:要么有,要么没有。她们本来就应当再多跃入一些钱。”

    吝啬的 IT 步入最终让人付出了痛苦的平价。

    TSB 声明他们在 2018 年因为事故造成的损失是 1.05 京卢布(1.34 京港币),与之形成对比的是 2017 年他们的净利润是 1.63 京卢布(2.06 京港币)。

    搬迁事故后续的总支出达到了 3.3 京卢布(4.19 京港币),包括补偿用户、更正虚假交易(在事故发生之后的糊涂情况下,虚假交易的多寡急剧上升)、以及为临时聘用技术专家而要开支的花销等。

    对应在当年事故中所要承担的义务,TSB 的 IT 劳务供应商 Sabis 也吸收了一张 1.53 京卢布(1.94 京港币)的存折。

    要降低风险,也许最简单的措施就是尽量不要做改动。

    但是正如 Lancaster 所说,“每间银行,每个发展中的社区,家家户户公司都无时无刻不把业务驱动着,要构建出越来越多之好东西来服务客户,支撑业务”。

    她观察到,“为了变得更有说服力,你就会有动力引入更多的新系统和新功能”。同时,对于各家公司,尤其是国民经济服务类的合作社来说,她们对用户负责着责任,要保证他们的家业安全,并且在采取现有服务时要保持良好的体会。

    “顶你承担着伟大的工作压力要引入新事物时,两难之处在于你该投入多少成本来让所有系统保持健康运转”。

    根据 FCA 通告之多寡,副 2017 年到 2018 年,贝宁共和国经济证券业上报的技艺故障发生次数增长了 187%。

    究其原因,最广泛的故障根本原因都在于变更管理做得很失败。尤其对于银行体系来说,要求保持时刻在线,而且需要近乎实时的贸易报告。

    我家可能担心他们的钱会不会丢,如果感受不到自己之钱的生活,她们肯定会抓狂。

    在 TSB 的问题发生几个月后,贝宁共和国经济监管机构和塞尔维亚银行一起发布了一份关于运营弹性的议论文件。

    “文件的目的是指导各家金融公司:你会不会把天平向引入新功能的边缘倾斜了太多,故而忽略了现有系统之稳定性运作?”Lancaster 诠释到。

    文件也对监管规则提出了修改建议:

    商店里相关员工也应有为企业的 IT 系统所出的故障负责。“如果你对此负有责任,你可能会因此而破产,甚至可能把送进监狱。这会让不少东西都随之发生改变,包括大家对工作的青睐程度,”Warren 说。“你会非常慎重地对待它,因为他事关你的家中财产和你的人身自由。”

    Rubin 说:

    “副 TSB 的风波后,大家做工作时肯定会更加认真地审查。尖端领导者再也不会忽视 IT 系统之振兴,也不会对艺术资产投入不足了。出于有着处罚和合规性要求,如今的地形已经发生了很大变化。”

    甭管大家从 TSB 身上学到了什么经验和教训,严重的停服事件肯定还是会发生之,这无可避免。

    “我不觉得故障会消失”,Warren 说,相反,人人必须接受:“你能吸纳多大程度的可用性?扭亏增盈,就是多少停服时间?”

    笔者:Chris Stokel-Walker,同志编译

    介绍:本文翻译自“ What broke the bank ”翻译已取得原网站授权。

    【编纂推荐】

    1. 用AI贯彻动画角色的架势迁移,Adobe等提出新型「玩偶动画」
    2. 亚马逊彻底去掉 Oracle 必发娱乐登录:搬迁完成
    3. 阿里云开源 image-syncer 工具,容器镜像大批量迁移同步利器
    4. 为什么向 Python 3搬迁需要这么长时间?
    5. 赔偿N+5,三星手机彻底退出中国制造!
    【义务编辑: 武晓燕 TEL:(010)68476606】

    点赞 0
  • 赔偿  TSB  搬迁
  • 分享:
    大家都在看
    猜你喜欢
  • 订阅专栏+更多

    一步到位玩儿透Ansible

    一步到位玩儿透Ansible

    Ansible
    共17章 | 骏马金龙1

    96人口订阅学习

    云架构师修炼手册

    云架构师修炼手册

    云架构师之必不可少技能
    共3章 | Allen在路上

    27人口订阅学习

    Devops的监控神器Prometheus

    Devops的监控神器Prometheus

    监督主流
    共22章 | 小罗ge11

    177人口订阅学习

    读 书 +更多

    软件工程:实践者的研讨方法

    20连年以来,《软件工程:实践者的研讨方法》一书是最受学生和行业专业人员欢迎的软件工程指南。他在圆满而系统、归纳而清丽地介绍软件工程...

    订阅51CTO邮刊

    点击这里查看样刊

    订阅51CTO邮刊

    51CTO劳务号

    51CTO官微


    1. 
         
         
         
      <samp id="4b0327d3"></samp>