前言

  • 在上家公司，随着业务的不断拓展(从支持单个国家单个主体演变成支持多个国家多个主体)，在演化的过程中沉淀出平台(短信,活体,push等)能力；
  • 抽成通用的能力平台好处是底层一套代码支持多种不同的业务，同时也对平台能力的稳定性有了更高的要求；
  • 如何保障平台本身迭代过程中稳定性那？当时我们对灰度发布架构做了升级，极大提高稳定性。

通用业务平台系列

  • 通用业务平台设计（一）:概览
  • 通用业务平台设计（二）:扩展多国家业务
  • 通用业务平台设计（三）:自动化打包平台建设
  • 通用业务平台设计（四）:灰度发布架构升级

学习完这篇文章你将收获什么

适合哪类人学

  • 后端开发（无论你是刚入门小白还是资深开发都能从中有所受益）
  • 运维（无论你是刚入门小白还是资深运维都能从中有所受益）

你将收获什么

  • 平台化架构如何设计
  • 如何通过灰度架构升级保证系统稳定性

全景一张图

升级方案设计

升级前

  • 架构图
  • 需要灰度发布步骤（以短信服务灰度为例）
    • 在外网SLB上将内网nginx0-1入口流量摘掉
    • 在SLB2-1上将短信服务3-1的流量摘掉
    • 更新短信服务3-1的代码
    • 将业务系统1-1中连接短信服务的端口由SLB2-1负载地址改为短信服务3-1的地址
    • 配置一个指向业务系统1-1的灰度域名，APP配置一个灰度域名进行测试
    • 灰度测试完毕后在SLB2-1中挂上短信服务3-1
    • 将业务系统1-1中调用短信的地址由短信服务3-1服务地址改为SLB2-1的服务地址
    • 在外网SLB上将nginx0-1的系统挂载上
    • 在SLB2-1摘掉短信服务3-2，更新短信服务3-2，在SLB2-1中将短信服务3-2挂上
  • 升级前灰度发布优缺点
    • 缺点:运维复杂，涉及流程比较多，容易出错
    • 优点:系统不用改造

升级后

  • 架构图
  • 需要灰度发布步骤（以短信服务灰度为例）
    • 在Apollo上将短信服务4-1的注册服务名进行更改（动态调整）
    • 在Apollo上配置zuul网关开启灰度开关（动态调整）
    • 此时正常流量进入短信服务4-2；更新短信服务4-1
    • 测试用指定手机号进行测试（测试流量进入 短信服务4-1）
    • 在Apollo上将短信服务4-1的注册服务名进行更改（调整回原来），在Apollo上关闭灰度开关
    • 在Apollo上将短信服务4-2服务名进行更改，更新短信服务4-2；在Apollo上将将短信服务4-2的服务名更改回来
  • 升级后灰度发布优缺点
    • 优点:操作步骤简单，减少出错概率
    • 缺点:程序需要进行改造；性能稍微有些降低（增加一层zuul网关转发，经压测可以满足业务需求）

综合比对

综合考虑，利大于弊（利：以后升级的成本大大减少，升级的风险可控；弊：系统改造，性能稍微的减少）建议进行灰度改造

升级步骤

  • 启动两台前置的网关 操作人：运维—前置操作

    • 项目名称xxx-gateway
    • 机器ip 及端口
      • 192.168.168.60:10007
      • 192.168.168.61:10007

  • 在slb上摘除一台短信和一台活体（摘除机器ip 192.168.168.61）操作人：运维

    • 活体
      192.168.168.96:11002192.168.168.60:10002、192.168.168.61:10002
      修改为
      192.168.168.96:11002192.168.168.60:10002
    • 短信
      192.168.168.96:11005192.168.168.60:10005、192.168.168.61:10005
      修改为
      192.168.168.96:11005192.168.168.60:10005
    • 由运维监控系统日志 负责人：运维

  • 更新短信（更新机器的ip 192.168.168.61） 操作人：运维

    • 项目名称: xxx-sms-send
    • 在Apollo上将xxx-sms-send中的192.168.168.61
      spring.application.name = xxx-sms-send
      改为
      spring.application.name = xxx_sms_send

  • 更新活体

    • 项目名称: xxx-live-send
    • 在Apollo上将xxx-sms-send中的192.168.168.61
      spring.application.name = xxx-live-send
      改为
      spring.application.name = xxx_live_send

  • 将zuul挂载到新的slb下

    • 活体
      添加
      192.168.168.96:11007192.168.168.60:10007、192.168.168.61:10007
    • 短信
      192.168.168.96:11007192.168.168.60:10007、192.168.168.61:10007

  • 用postman进行测试更新后的短信和活体（机器ip 192.168.168.61）并查看日志和数据库数据 操作人：开发

    • 测试更新完短信
      • 非自定义短信zuul的地址
        http://192.168.168.96:11007/xxx_sms_send/sms/send
      • 自定义短信访问zuul的地址
        http://192.168.168.96:11007/xxx_sms_send/sms/diy/send
    • 测试活体
      • 人头检测zuul的地址
        http://192.168.168.96:11007/xxx_live_send/detect/head
      • 人脸比对访问zuul的地址
        http://192.168.168.96:11007/xxx_live_send/live/send

  • 修改业务系统指向配置文件，并监控服务器日志

    • 短信

      • 项目：xxx-app、xxx-admin-job、xxx-admin、xxx-admin-job、xxx-provider
        http://192.168.168.96:11005/sms/send
        改为
        http://192.168.168.96:11007/xxx_sms_send/sms/send

      • 活体
        项目:xxx-app

        • 人头检测
          http://192.168.168.96:11002/detect/head
          改为
          http://192.168.168.96:11007/xxx_live_send/detect/head

        • 人脸比对
          http://192.168.168.96:11002/live/send
          改为
          http://192.168.168.96:11007/xxx_live_send/live/send

      • 运维监控机器192.168.168.60 上短信和活体的日志，确保没流量再流入

  • 等5分钟查看线上日志及数据，同时测试进行印尼活体的和短信的测试 操作人：测试、开发

    • 查看短信日志及数据库中数据
    • 查看活体的日志及数据库中的数据
    • 进行短信和活体的测试

  • 摘除SLB2-1和SLB2-2的短信和活体服务；并监控日志 负责人：运维

    • 删除负载
      192.168.168.96:11005
      192.168.168.96:11002

  • 更新短信（更新机器的ip 192.168.168.60） 操作人：运维

    • 项目名称: xxx-sms-send
    • 在Apollo上将xxx-sms-send其中192.168.168.60
      spring.application.name = xxx-sms-send
      改为
      spring.application.name = xxx_sms_send

  • 更新活体（更新机器的ip 192.168.168.60） 操作人：运维

    • 项目名称: xxx-live-send
    • 在Apollo上将xxx-live-send其中192.168.168.60
      spring.application.name = xxx-live-send
      改为
      spring.application.name = xxx_live_send

灰度演练

  • 将短信服务和活体服务进行灰度 操作人：运维

    • 运维在机器ip为192.168.168.61 执行新的短信和活体的更新脚本，新脚本逻辑
      • 在eureka上down掉相应服务
      • 检查日志不再更新
      • 更新项目
    • 在Apollo上将短信和活体的 机器ip为192.168.168.61 的服务名改为灰度域名
      • xxx-sms-send
        由
        spring.application.name = xxx_sms_send
        改为
        spring.application.name = xxx_sms_send_gray
      • xxx-live-send
        由
        spring.application.name = xxx_live_send
        改为
        spring.application.name = xxx_live_send_gray

  • 开发确认流量不再进入灰度服务 负责人：开发

    • 查看ip为192.168.168.61 短信项目日志是否停止
    • 查看ip为192.168.168.61 活体项目日志是否停止

  • 测试使用灰度主体的包进行验证 负责人：测试、开发

    • 用灰度主体（test1,test2）的包进行短信和活体验证，并查看数据库数据是否正确
    • 在测试过程中 开发监控短信和活体的日志

  • 测试完成后将灰度服务（服务ip 192.168.168.61）还原(在Apollo上放弃灰度)

    • xxx-sms-send
      由
      spring.application.name = xxx_sms_send_gray
      改为
      spring.application.name = xxx_sms_send
    • xxx-live-send
      由
      spring.application.name = xxx_live_send_gray
      改为
      spring.application.name = xxx_live_send

总结

  • 系统是不断演化过来，在不同的阶段解决，痛点是不同的，要抓住主要矛盾