問題與背景

• BUG無法重現

  線上偶發的數據類問題，時有時無，重現困難。

• 新版本擔憂

  新版本改動范圍大，擔心測試不充分，對原有功能有影響。

• 測試成本高

  測試用例設計，測試腳本創建、更新和管理等，都需要人力的持續投入。

需求與目標

• 數據源

  某個系統的海量交易日志，主要是請求與響應日志報文

• 方法

  通過日志回放，模擬重現日志上的操作

• 目標

  根據場景要求不同，可以選擇某些日志進行回放，
  也可以使用全部日志進行回放。

大數據日志回放解決方案

• 

  一、數據清洗

  對日志報文進行清洗，并識別每一條日志所屬的用戶及日志發生的時間

• 

  二、日志回放

  使用生產日志進行回放。按用戶標識進行歸類，再排序后進行回放。

• 

  三、應答結果對比

  包括對比應答的標識位，對比詳細的參數

• 

  四、報表

  日志回放的結果，以報表的形式展現

TBCD 系統的結構

• 本項目主要基于TBCD系統實現

• 展現層

  工作臺 統計報表 用例導出 參數閾值

  HTML5,D3,
  AngularJs

  業務層

  參數分析 流程用例 功能分析 日志回放 日志清洗

  數據字典 用戶管理

  SpringMVC,
  Spring,fast json等

  大數據層

  HBASE HIVE MapReduce HDFS

  MYSQL

  采用分布式架構，
  可橫向擴展

日志回放示意圖

日志回放流程

• 

  日志清洗

  為每條日志標識用戶歸屬
  日志清洗也是其它功能操作的前提

• 

  按用戶分類

  使用用戶歸屬標識進行分類

• 

  每一個用戶類
  的日志排序

  歸類好的日志，在本用戶內進行排序；不同用戶之間并發進行回放。

• 

  應答對比

  每個日志回放到2個不同版本的測試環境，獲取2個版本的應答進行對比。

• 

  報表中心

  統計回放的情況，報表展現。

產品價值

• 

  重現偶發性地生產問題

• 

  檢驗新版本潛在問題

• 

  不需要用例設計，測試成本低

• 

  覆蓋面廣