當前位置：首頁 > 科技  > 軟件  
        
    
        
    資損防控技術體系簡介及實踐
    
        
    
           	來源：
            責編：
            時間：2023-08-20 23:17:19
            7942觀看
        
    
        
    導讀一、資損防控介紹得物提供大量商品買賣等服務，資金流轉量大，任何由于設計缺陷、系統缺陷、系統故障、人為操作、安全漏洞等因素都會引發直接或間接資金損失。資損防控就是在項目全生命周期內，引入多種資金分析和控制手段
           
        
    
            
     
                
    一、資損防控介紹
    得物提供大量商品買賣等服務，資金流轉量大，任何由于設計缺陷、系統缺陷、系統故障、人為操作、安全漏洞等因素都會引發直接或間接資金損失。資損防控就是在項目全生命周期內，引入多種資金分析和控制手段，預防資損故障或控制資損故障影響范圍。NGd28資訊網——每日最新資訊www.ut100.cn
    那么在日常工作中，具體如何開展呢？主要可以從以下三個方面來做：NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    1.機制流程建設
    NGd28資訊網——每日最新資訊www.ut100.cn
    在業務項目開始時，我們應該評定項目資金風險等級，比如高風險需要重點關注&投入，中風險需要投入多少資源，低風險又如何保障。NGd28資訊網——每日最新資訊www.ut100.cn
    在項目資金風險評定后，產品架構設計時需要包括技術風險設計，比如冪等、分布式數據一致性、異地多活等。NGd28資訊網——每日最新資訊www.ut100.cn
    然后對于高資金風險項目，我們需要出專門的資金風險系分，在得物重點關注資金流、信息流以及物流的流轉，比如業務的高保鏈路是怎么樣的，有哪些資損風險點等。NGd28資訊網——每日最新資訊www.ut100.cn
    接下來就是對輸出的資損風險點進行布防，布防的形式主要是核對和監控，核對為主，監控作為兜底，因為前面輸出的資損風險點可能會有遺漏，監控是業務異常的感知手段。日常我們也可以通過混沌工程進行風險挖掘&核對規則驗證。NGd28資訊網——每日最新資訊www.ut100.cn
    最后我們需對資損風險告警進行應急，拉起應急小組排查確認風險并修復。NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    2.人員陣型建設
    NGd28資訊網——每日最新資訊www.ut100.cn
    資損防控并不是靠某一個角色來承擔，而是需要架構、研發、質量和SRE一起來防控并嵌入日常工作流程中，從組織架構視角，我們需要建立至少三道防線，即研發防線，質量防線和SRE防線，相互兜底，合并共舉達到資損防控的目的。當然各角色在項目各個階段各有側重，比如SRE負責業務線上穩定性，那么線上的資損防控投入相對大一些。NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    3.多體系防控
    NGd28資訊網——每日最新資訊www.ut100.cn
    從發現資損風險時效視角來說，可以分為實時核對（T+0）、近實時核對（T+M）、離線核對(T+H, T+1)，每種核對方式都有其適配的業務場景，并不存在替代之說，比如不落庫的配置變更適用實時核對，業務定時任務適用離線核對等等。實際業務場景布防時需分析業務特點，然后再使用合適的核對體系工具。在組織分工方面，研發側重離線核對，測試側重近實時核對，SRE側重實時核對，當然實際工作中并不必這么界線分明，自己看到的風險點，可以選用合適的工具體系。NGd28資訊網——每日最新資訊www.ut100.cn
    從核對是否影響業務運行視角看，可以分為旁路核對和主路核對，旁路核對的結果對業務運行不構成影響，僅僅是風險揭示，而主路核對是有能力影響業務運行的，比如資損熔斷用的就是主路核對技術，在核對告警報出后中斷業務運行。目前公司已有的A、B平臺都屬于旁路核對體系。NGd28資訊網——每日最新資訊www.ut100.cn
    在布防核對規則后，我們怎么檢驗布防的有效性，同時因為業務迭代發展，早前布防的核對規則需要調整核對邏輯來適配新的業務邏輯，也就是說我們如何保鮮核對規則？這就需要混沌工程資損演練來支撐了。資損演練又分為有損演練和無損演練，比如在線上搞有損演練時經常把金額數據加/減0.01，檢驗布防的核對規則是否發現，這樣即使發生了實際資損也在演練預算可以覆蓋的范圍內，但在線上搞有損演練需謹慎評估影響范圍。資損防控無損演練關鍵在于生產庫的克隆，這樣在演練時做數據篡改并不影響線上業務運行。NGd28資訊網——每日最新資訊www.ut100.cn
    二、資損防控技術體系
    我們在做資損防控時，最重要的一步是風險識別，它是資損核對布防的源頭，可以這么說，如果沒有風險識別就沒有接下來核對布防。風險識別可以通過人工分析和智能系統推導兩種方式得到，從建設發展階段來說，人工分析通常是最開始采用的方式，在這個基礎上，再通過算法推導+專家經驗發展出智能系統推導。下面依人工分析視角來展開，這里舉例一個簡化版得物系統的資損防控如何做。如下圖所示，左邊為商品交易業務鏈路，其中包括用戶下單交易和運營配置商品：NGd28資訊網——每日最新資訊www.ut100.cn
    圖片圖片NGd28資訊網——每日最新資訊www.ut100.cn
    因為交易平臺落有訂單交易的金額和狀態，而匯金平臺對接各支付渠道，是支付的實際執行者，這里就存在上下游訂單金額、狀態的一致性風險。NGd28資訊網——每日最新資訊www.ut100.cn
    如用戶購買的商品在參加營銷活動，交易平臺會查詢商品運營平臺具體活動邏輯，比如營銷活動的預算、優惠券使用的限次邏輯，這里可能存在活動預算、優惠券使用的業務型風險。NGd28資訊網——每日最新資訊www.ut100.cn
    運營人員配置某次營銷活動，在圈品、價格等關鍵參數上出現錯配、漏配等配置型風險。NGd28資訊網——每日最新資訊www.ut100.cn
    上面所說的風險通常需要在分析PRD、技術實現文檔或代碼CR后才能識別出來，接下來看看我們如何進行布防。NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    1.T+1/T+H核對
    NGd28資訊網——每日最新資訊www.ut100.cn
    在整個資金防控體系的演進過程中，離線核對應該說是業界最先發展出來的核對手段，最初與很多銀行一樣，是靠人力做當前的金額跟全天總賬的對賬，之后通過自動的方式，將全量數據庫表導出后做計算來進行核對。目前在得物主要是通過ODPS來實現T+1、T+H離線核對，它的優勢是不影響業務生產庫，并且因為是定時調度運行，所以對于業務定時任務等需較長時間數據回溯的場景比較適配。NGd28資訊網——每日最新資訊www.ut100.cn
    圖片圖片NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    2.T+M核對
    NGd28資訊網——每日最新資訊www.ut100.cn
    通過數據庫Binlog可以實現分鐘級的資損核對，這種核對方式對于業務上下游一致性風險有非常好的發現能力，日常配合混沌工程的無損演練能力，對于未覆蓋到資損風險也可以很好的揭示出來，所以T+M核對適用于涉數據庫字段的一致性風險、蓋帽等業務場景。NGd28資訊網——每日最新資訊www.ut100.cn
    圖片圖片NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    3.T+0核對
    NGd28資訊網——每日最新資訊www.ut100.cn
    隨著業務的發展，對于資損核對也提出更高要求，我們需要發展出實時核對能力。比如可以通過業務插樁的方式來實現同步/異步觸發，同時實時監聽業務執行消息，然后數據路由至具體業務域執行核對邏輯，這種核對方式屬資損防控領域的重武器，適用于業務型風險、配置型風險，同時滿足復雜業務核對場景。目前SRE已經在建設T+0實時核對系統。NGd28資訊網——每日最新資訊www.ut100.cn
    圖片圖片NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    4.資損演練
    NGd28資訊網——每日最新資訊www.ut100.cn
    資損演練可以驗證布防的核對規則有效性，又可以用來挖掘未覆蓋到資損風險，所以資損演練是資損防控體系很重要的一環。資金無損演練有以下三個關鍵點：NGd28資訊網——每日最新資訊www.ut100.cn
    • 資損防控落地的規則都是針對業務數據來執行的
    • 資損防控無損演練的數據來自生產環境
    • 無損演練數據與生產環境數據實質是隔離的
    下圖為初步的資金無損演練方案：NGd28資訊網——每日最新資訊www.ut100.cn
    圖片圖片NGd28資訊網——每日最新資訊www.ut100.cn
    三、得物業務實踐
    作為支持得物業務的SRE主導了得物履約資金安全保障工作，由于得物履約的業務鏈路長，風險敞口大，我們認真考慮了業務穩定性及其資損風險并實踐了前述的相關資損防控理念。NGd28資訊網——每日最新資訊www.ut100.cn
    圖片圖片NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    1.高保鏈路梳理
    NGd28資訊網——每日最新資訊www.ut100.cn
    出價、下單、支付、發貨、結算、營銷、逆向7個業務域定義出高保業務鏈路，輸出資損點、變更點、新增表及字段以及相關監控點。NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    2.工具選型
    NGd28資訊網——每日最新資訊www.ut100.cn
    依托現有工具平臺進行布防，成本最優解。NGd28資訊網——每日最新資訊www.ut100.cn
    圖片圖片NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    3.規則布防
    NGd28資訊網——每日最新資訊www.ut100.cn
    資損防控通過核對規則落地，同時業務監控配置告警規則，通過混沌工程演練驗證規則有效性。NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    4.觀測告警
    NGd28資訊網——每日最新資訊www.ut100.cn
    a. 應急響應NGd28資訊網——每日最新資訊www.ut100.cn
    b. 自動巡檢NGd28資訊網——每日最新資訊www.ut100.cn
        i. 每天自動巡檢重要指標推送到對應的工作群NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    5.演練
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    a. 對相關規則進行保鮮NGd28資訊網——每日最新資訊www.ut100.cn
    b. 未暴露風險挖掘NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    6.實時核對體系建設
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    NGd28資訊網——每日最新資訊www.ut100.cn
    a. 業務插樁先旁路核對，后可阻斷核對。NGd28資訊網——每日最新資訊www.ut100.cn
    四、總結&展望
    在得物落地資損防控期間，作為SRE一直在宣導的理念：資損防控需要研發、測試、SRE三方相互協作，三道防線相互兜底，合并共舉達到資損防控的目標。未來，資損防控我們重點關注以下3個方面：NGd28資訊網——每日最新資訊www.ut100.cn
    • 風險分析--目前我們主要還是基于專家經驗，后續我們將通過數據染色，血緣分析，做到自動化的風險輸出。
    • 多體系防控--完善資損防控體系建設，抽象通用防控能力與可擴展的精細化防控能力，做到核對工具體系與業務場景相適配。
    • 資損演練--在大規模的業務體系之下，純靠人去做攻擊，其實是不太現實的，必須得靠智能化、數據化的方式去驅動。同一個故障，我們讓它在成百上千個系統上面去重放，這樣我們就可以非常高效地去實現大規模風險的挖掘，驗證風險防控規則的有效性以及已布防規則的保鮮。
     
                
    本文鏈接：http://www.www.ut100.cn/showinfo-26-6218-0.html資損防控技術體系簡介及實踐
    
                
    聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
    
                
    上一篇： DDD 與 CQRS 才是黃金組合
    
                
    下一篇： 阿里云推出大規模視覺語言模型Qwen-VL 已在ModeScope開源
    
            
     
			
    
            	標簽：			
                     
        
    
        
        
    
        
    
            
    • 熱門焦點
    
        
    
        
    
        
      
              
             
            
    • 
                
                
      
                    
      K60至尊版剛預熱 一加Ace2 Pro正面硬剛
      
                    
      
                         Redmi這邊剛如火如荼的宣傳了K60 Ultra的各種技術和硬件配置，作為競品的一加也坐不住了。一加中國區總裁李杰發布了兩條微博，表示在自家的一加Ace2上早就已經采用了和PixelWo
                    
      
                
      
            
      • 
             
            
    • 
                
                
      
                    
      太卷！Redmi MAX 100英寸電視便宜了：12999元買Redmi史上最大屏
      
                    
      
                                             8月5日消息，從小米商城了解到，Redmi MAX 100英寸巨屏電視日前迎來官方優惠，到手價12999元，比發布價便宜了7000元，在大屏電視市場開卷。據了解，Redmi MAX 100
                    
      
                
      
            
      • 
             
            
    • 
                
                
      
                    
      得物效率前端微應用推進過程與思考
      
                    
      
                        一、背景效率工程隨著業務的發展，組織規模的擴大，越來越多的企業開始意識到協作效率對于企業團隊的重要性，甚至是決定其在某個行業競爭中突圍的關鍵，是企業長久生存的根本。得物
                    
      
                
      
            
      • 
             
            
    • 
                
                
      
                    
      共享單車的故事講到哪了？
      
                    
      
                        來源丨海克財經與共享充電寶相差不多，共享單車已很久沒有被國內熱點新聞關照到了。除了一再漲價和用戶直呼用不起了。近日多家媒體再發報道稱，成都、天津、鄭州等地多個共享單
                    
      
                
      
            
      • 
             
            
    • 
                
                
      
                    
      8月見！小米MIX Fold 3獲得3C認證：支持67W快充
      
                    
      
                                                這段時間以來，包括三星、一加、榮耀等等有不少品牌旗下的最新折疊屏旗艦都得到了不少爆料，而小米新一代折疊屏旗艦——小米MIX Fold 3此前也屢屢被傳
                    
      
                
      
            
      • 
             
            
    • 
                
                
      
                    
      超級標準版旗艦！iQOO 11S全球首發iQOO超算獨顯芯片
      
                    
      
                                                上半年已接近尾聲，截至目前各大品牌旗下的頂級旗艦都已悉數亮相，而下半年即將推出的頂級旗艦已經成為了數碼圈爆料的主流，其中就包括全新的iQOO 11S系
                    
      
                
      
            
      • 
             
            
    • 
                
                
      
                    
      蘋果140W USB-C充電器：采用氮化鎵技術
      
                    
      
                                         據10 月 30 日 9to5 Mac 消息報道，當蘋果推出新的 MacBook Pro 2021 時，該公司還推出了新的 140W USB-C 充電器，附贈在 MacBook Pro 16 英寸機型的盒子里，也支
                    
      
                
      
            
      • 
             
            
    • 
                
                
      
                    
      2022爆款：ROG魔霸6 冰川散熱系統持續護航
      
                    
      
                                         喜逢開學季，各大商家開始推出自己的新產品，進行打折促銷活動。對于忠實的端游愛好者來說，能夠擁有一款夢寐以求的筆記本電腦是一件十分開心的事。但是現在的
                    
      
                
      
            
      • 
             
            
    • 
                
                
      
                    
      北京：科技教育體驗基地開始登記
      
                    
      
                        　　北京“科技館之城”科技教育體驗基地登記和認證工作日前啟動。首批北京科技教育體驗基地擬于2023年全國科普日期間掛牌，后續還將開展常態化登記。　　北京科技教育體驗基
                    
      
                
      
            
      • 
                    
    
         
        
    
        
    
    
    
    
    
    
    
        
        
		
        
		
		
		
        
    
    
    

    






    





Top