如果有人告诉你，45 分钟就能搞垮一家大公司，你可能会觉得有点荒谬。但工程师 Doug Seven 却真的亲历过这样的事情。
8 年前，因为一次失败的部署，Knight Capital Group 在仅仅 45 分钟内就造成了 4.6 亿美元的亏损。
这是一个真实的故事。
尽管 Doug Seven 并不h v d 8 7 w Z J是事件的参与者，但他在后来的会议中不断提及 DevOps、代码配置和持续交付的主题，希望让开发人员意识到部署的重要性。
究竟是怎么回事？Doug Seven 在博客中分享了这个故事。
故事背景
这个故事的主角是一家名为 Knight CapiV , ) P - w ) Ltal Group 的美国全球金融服务公司，它从事做市、电子执行、机构销售和交易。
2012 年，Knight 是美国最大的股票交易商，在纽约证交所和纳斯达克的市场份额约为 17%。Knight 电子交易集团（ETG）平均每日交易量超过 3B m u B @ H ` l .3 亿笔，每日交易额超过 210 亿美元。
种种数据表R u . [ #明，当时公司的运营和财务状况非常优* @ ` Y ~ m {秀。W S 5 5 : } y t $
2012 年 7 月 31 日，Knight 拥有约 3.65 亿美元的资产。
当时，纽约证交所正计划于 2012 年 8 月 1 日推出一项新的零售流动性计划。
为了准备这次活动，Knight 更新了他们的路由器 SMARS。这个路由器负责将订单发送到市场上执行d g v 7 d U 4 ` /。SMARS 的核心功能之一是接收 Knq l , ^ ( p ~ight 交易平台其他组件的订单（父订单），然后发送一个或多个子订单执行。换言1 O m 之，SMARS 将从交易平台收到大量订单，并将它们分成多个较小的订单，以便找到股票数量相匹配的买家或者卖家。父订单越大，生成的子订单越多。
在 SMARS 中，有一段老旧的代; 1 l码，名为「Po} J H L A { ^ & 3wer Peg」，它已经 8 年没被用到过了，而此次更新的目的正是要换掉这段代码。更新的代码重新调整了用于激活 Power Peg 功能的旧标志的功d k V t q 0 % c能。
代码经过了彻底的测试，并且还进行了一系列的验证。所& 4 V 6 A 3有的一切都看起来很完美，找不到出错的理由。
死灰复燃的旧代码
2012 年 7 月 27 日至 2012 年 7 月 31 日期间，Knight 的开w P & , 7 m发人员每天手动将新的软件部署到公司的 8 台服务器上。这就是 SEC 文件中关于手动部署过程的内容。如果 SEC 文件中有关于部署的内容，那么就可能出现了严重的错误。
然而，在新代码的部署过程中，Knight 的一名技术人员忘记将新代码复制到所有 8 台 SMARS 计算机服务器中——他漏掉了F = ( / A c $其中一台服务器。
没有第二个技术人员来审查这个部署。
KC 9 Y 4 O qnight 的所有人都没有意识到，Pow. b 0 B ` J W 5er Peg 代码并没有从第 8 个服务器上删除，也没有添加新的 RLP 代码。Knight 没有书面流程要求这样的审查k ] N U . 6 7 !。
2I f T012 年 8 月 1 日，在美国东部时间上午 9:30，市场开盘。Knight 开始代表客户处理订单。
具有正确 SMARS 部署的 7 台服务器开始正确处理这些订单7 g c E s B H。然而，发送到第 8 台服务器的命令触发了可支持的重新利用标志，并从死地中恢复了旧的 PA J hower Pe e ~ w + q T ^eg 代码。@ o { Z q M E
杀手代码如僵尸般的攻击
Power Peg 代码用于在执行子订单时，根据父订单计算购买或. M F 7 v ) W者出售的股份。Pi Q ?ower Peg 将指示系统在完成父订单后停止传送子订单S 1 6 _ Y r 3 w /。
也就是说，P/ n 9 l C c 6 }ower Peg 会跟踪子订单，并在5 ~ ~父订单完成后停止它们。
2005 年，Knight 将这种累计跟踪功能移到了代码h % 4 f % ( `执行的早期阶段，从而从 Power Peg 中删除了计数跟踪。
当激活第 8 台服务器+ Y R &上的 Power Peg 标志时，Power Peg 功能开始路由子订单以供执行。但由于没有根据父订单跟踪共享量，造成了一个永无止境的循环。
地狱8 y N 45 分钟
想象一下，@ C +如果你有一个系统，它能够向市场发送自动化的、高速的订单，} X g s且没有任何跟踪程序来检查是否执行了足够的% k { ! C r U ;订单，会发生 d Z - l R什么？没有比这更糟糕的事了。
上午 9:30 开市时，人. ( ^ s K L j们很快就知道出了问题。到上午 9 点 31 分，华尔街的许多人都清楚发生了一些严重的事情。市场上充斥着非正常交易量的股票订单。
到上午 9 点 32 分，华尔街的人们都在想，为什么订单还没有停 ] 5 y下来，为什么没有人按下任何系统的关闭开关？结果他们发现，并没有关闭开| * =关。在交易的前 45 分钟里，Knight 的交易量占了总交易量的 50% 以上，这使得某些股票的市值上涨了 1S b 3 $ e W v ; p0% 以上。因此，其他股票因错误的交易而贬值。
更糟糕的是，Knight 的系统在当天早些时候开始自动发送电子邮件。早在上午 8:01，SMAR 已经处理了符合上市前交易条件的订单。邮件消息引用 SMARS，并将错误识别为「Power Peg disabled」。
在上午 8:01 到 9:30 之间，Knight 工作| { Q C - Y a N V人员也收7 # -到了 97 封邮件。[ $ - s ;可惜的是，这些电子邮件不是作为系统警报设计的，因此没有人立即查看它们。
在 Knight 经历的 45 分钟内，他们尝试了几种反制措施，试图阻止错误的交易。由于没有终E t T 3 |止开关，所以他们只能在实l { u c时交易环境中尝试诊断问题。
每分钟，系统上约有 800 万股股票被交易。他们无法确定是什么导致了错误的命令，所以他们A { 3 `从正确部署的服务# S [ 2 D B ) _器上卸载了新代码。
换句话说，他们删除了工作代码，: Y ,留下了损坏的代码。
这K ] 3 ( K E -更加放大了问题。最开始，仅在部署不正确的服务器上= n N M ] ; y P c，额外的父命令激活了 Power Peg 代码。现在，问题蔓延到了所有服务器上。最后，他们终于停止了系统，但此时已经进行了 45 分钟的交易。
在开盘的前 45 分钟，市场收到并处` ! :理了 212 份父订单。因此，SMARS 向市场发送了数以百万计的子订单，产生了T z c w 400 万笔交易，而其中 154 只股票的交易量超过了 3.97 亿A L 2 x P股。这意味着，Knight 资本集团在 45 分钟l ~ g F z u 2 V内造成了 4.6 亿美Q m [ / P f # # ]元的亏损。
然而，Knight 只有 3.65 亿美元的资产。
45 分钟后，美国股市最大的交易商、纽约证交所和纳斯达克的主要做市商 Knight 破产，4 个月后被 Getco LLC 收购。
软件发布必须可重复、可靠
所有开发和运营团队都应该从这次事件中吸取教训。仅仅构建优秀的软件并对其进行A w f B测试是不够的，你还必须确保它被正确地s q L A u交付给市场，这样你的客户才能获得你所交付的价值。
部署E & y 0 SMARS 的工程师并不是此事唯一的责任人，Kn@ l v O k ( y ight 设置的流程和他们所面临的风险并不匹配。此外，他们的流程- L ( . | |天生就容易出错。任何时候，如果你的部署过程依赖于~ 1 K =人主动阅读和遵循说明，那么都将面临风险。人是会犯错的。错G X ~ V G Y T `误可能出现在指令中，也可能出A 7 1 & 1 *现在指令的解释中，或出现在指令的执行中。
部署需要自动化，并且可重复，尽可能避免潜在的人为错误。如果 Knight 实现了自动化部署系统，将配置、部署和测试全部自动化，那么这次错误本可以U c C i ~ g避免v ? 0 : K。
即使没有实H & I施完整的连续交付过程，你g ) P e ` f _ [仍然需要遵守的几个连续交付原则：
-
软件发布应该是一个可重复、可靠的过程。z T O 2 W f
-
尽可能地自动d M ~ k u : J I化。
via：https://dougseven.com/2014/v = ? x v C s p G04/17/knightmare-a-devops-cautionary-tale/
雷锋网雷锋网雷锋网