當前位置：首頁 > 科技  > 軟件  
        
    
        
    之家push系統迭代之路
    
        
    
           	來源：
            責編：
            時間：2023-08-05 11:45:36
            4211觀看
        
    
        
    導讀前言在這個信息爆炸的互聯網時代，能夠及時準確獲取信息是當今社會要解決的關鍵問題之一。隨著之家用戶體量和內容規模的不斷增大，傳統的靠"主動拉"獲取信息的方式已不能滿足用戶個性化信息的需求，信息主動尋找用戶的方式
           
        
    
            
     
                
    前言
    cHm28資訊網——每日最新資訊www.ut100.cn
    在這個信息爆炸的互聯網時代，能夠及時準確獲取信息是當今社會要解決的關鍵問題之一。隨著之家用戶體量和內容規模的不斷增大，傳統的靠"主動拉"獲取信息的方式已不能滿足用戶個性化信息的需求，信息主動尋找用戶的方式，更適合移動互聯網。push系統能在用戶不啟動APP的場景下獲取到相關信息，利用機器學習技術構建模型，為用戶提供精準的個性化推薦，讓用戶第一時間知曉產品、內容、活動等的最新動態。 cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    1、系統綜述
    cHm28資訊網——每日最新資訊www.ut100.cn
    push是一種有效召回用戶的產品，它涉及到的業務場景有：運營場景化推送（活動、消息通知、熱點）、算法精準推送（定時個性化推送），它的核心模塊如下：cHm28資訊網——每日最新資訊www.ut100.cn
    數據處理：用戶數據、內容數據以及用戶歷史行為數據等。cHm28資訊網——每日最新資訊www.ut100.cn
    流程預測：通過召回、排序、干預、過濾等，生成待推送渲染數據。cHm28資訊網——每日最新資訊www.ut100.cn
    JOB：調度、觸發推送任務的執行。cHm28資訊網——每日最新資訊www.ut100.cn
    推送通道：查詢、過濾有效設備，封裝協議和消息體，識別不同APP，下發到終端。cHm28資訊網——每日最新資訊www.ut100.cn
    終端：對消息進行積攢處理，請求廠商或第三方渠道，進行消息下發。cHm28資訊網——每日最新資訊www.ut100.cn
    APP：通知欄或彈窗展示推送消息，并上報到達和點擊數據。cHm28資訊網——每日最新資訊www.ut100.cn
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    接下來將從數據、算法、架構三個方面介紹push精準推送系統的構成：cHm28資訊網——每日最新資訊www.ut100.cn
    • 數據：數據是push系統的基石，包括用戶數據、內容數據以及用戶歷史行為數據等。它以離線畫像為主，輔以實時行為畫像。
    • 算法：算法需要適應高度復雜性并處理大量數據，傳統的人工策略已無法進行分析干預，因此需要一套基于復雜信息的處理邏輯。隨著push業務復雜度的提高，算法也從最初的樹模型發展到以神經網絡為基礎的深度學習模型。
    • 架構：架構保證push系統可以進行近實時化、全自動化的運行。架構包含了收集用戶行為、提取用戶畫像特征、存儲用戶數據、生成推送結果等。用戶對內容的時效性、個性化要求越高，系統架構就會越復雜。
    cHm28資訊網——每日最新資訊www.ut100.cn
    2、系統迭代及優化
    cHm28資訊網——每日最新資訊www.ut100.cn
    2.1 鏈式任務
    push采用鏈式任務支撐整個系統，每批次預測任務都需要經過特征提取、召回、排序、打散、重排、生成推薦結果等步驟，隨著新特征的接入以及召回和排序場景的不斷迭代優化，任務失敗的頻率越來越高，主要存在如下問題：cHm28資訊網——每日最新資訊www.ut100.cn
    ● 特征數據難以復用：特征數據存儲在臨時表中，任務執行失敗時需人工介入恢復，無歷史數據可用。cHm28資訊網——每日最新資訊www.ut100.cn
    ● 流程執行鏈路過長：召回、排序、重排等關鍵流程每一步失敗都將造成任務失敗且重試成本高。cHm28資訊網——每日最新資訊www.ut100.cn
    ● 非明文類召回功能接入成本高：新的召回策略實驗不能動態接入，需要開發介入。cHm28資訊網——每日最新資訊www.ut100.cn
    2.2 異步服務
    針對鏈式任務存在的問題，push任務采用分尾號、分時段并行執行，并通過以下方式提升任務執行效率：cHm28資訊網——每日最新資訊www.ut100.cn
    ● 數據分區：將特征數據及預測流程各環節生成的結果存入分區表，解決任務執行失敗時無數據可用的問題。cHm28資訊網——每日最新資訊www.ut100.cn
    ● 流程拆分：將預測主流程拆分為召回、排序、重排、結果融合等子流程，每個子流程按尾號異步執行，互不影響，每個子任務只需取上一環節生成的最新結果即可繼續運行，提升了系統的穩定性及容錯性。cHm28資訊網——每日最新資訊www.ut100.cn
    ● 平臺化配置：通過配置平臺動態接入實驗，簡化新策略接入成本。cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    3.整體設計
    cHm28資訊網——每日最新資訊www.ut100.cn
    3.1 業務架構
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    push系統業務主要分為三大部分，離線層、近線層和推送層。cHm28資訊網——每日最新資訊www.ut100.cn
    • 離線層：是計算量最大的一個部分，它不需要實時提供服務。主要功能模塊有數據處理、數據存儲、離線特征計算、離線預測等。它通過任務調度平臺定時從全量數據中抽取我們需要的數據，進行相應的加工，生成對應的特征，經過spark模型進行離線預測，得到待推送結果。
    • 近線層：特點是準實時，它可以獲得實時數據，然后快速計算提供服務。通過監聽kafka，獲取用戶行為日志，計算得出用戶實時特征（用戶搜索車系、瀏覽車系等），然后將實時特征與長中期特征進行融合，調用tensorflow模型實時預測得到待推送結果。
    • 推送層：將離線預測結果和實時預測結果進行融合（優先取實時結果），按批次生成待推送數據。通過任務調度中心定時選取最新批次預測結果給用戶進行推送。
    3.2 技術架構
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    push技術架構的設計思想就是對數據層層建模、層層篩選，幫助用戶從海量數據中找出其真正感興趣的那部分內容。它包含以下幾個部分：cHm28資訊網——每日最新資訊www.ut100.cn
    3.2.1用戶特征
    push用戶特征包含兩部分，原始特征和計算特征，其中原始特征來源于畫像表、用戶行為日志、內容數據等，將原始特征經過加工形成計算特征，計算特征用于資源召回。cHm28資訊網——每日最新資訊www.ut100.cn
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    3.2.2物料特征
    push物料主要分為以下幾類：原創文章/視頻、帖子、口碑、車家號、問答。每類內容又分別包含興趣車系、標簽、關注作者、點擊數、瀏覽數、收藏數、互動率等特征。cHm28資訊網——每日最新資訊www.ut100.cn
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    3.2.3預測流程
    預測是push系統中最重要的環節，通過獲取用戶特征與物料特征，按照一定的邏輯處理信息后，產生推薦結果。它主要分為以下幾步：cHm28資訊網——每日最新資訊www.ut100.cn
    1. 召回：將十萬量級的物料先縮小到千量級。涉及到的召回方法有：cHm28資訊網——每日最新資訊www.ut100.cn
    熱門召回：將一段時間內的熱門內容召回。cHm28資訊網——每日最新資訊www.ut100.cn
    標簽召回：根據每個用戶的行為，構建標簽，并根據標簽召回內容。cHm28資訊網——每日最新資訊www.ut100.cn
    協同召回：基于用戶與用戶行為的相似性推薦，發現用戶潛在的興趣偏好。cHm28資訊網——每日最新資訊www.ut100.cn
    2. 過濾：已經曝光和點擊后的資源、與用戶所在城市不同的資源不會再推送到用戶面前。cHm28資訊網——每日最新資訊www.ut100.cn
    3. 精排：將召回和過濾后的內容通過模型預測出分值，根據得到的分值進行排序。cHm28資訊網——每日最新資訊www.ut100.cn
    4. 重排：將精排后的推薦結果進行一定的修改，例如控制某一車系的頻次，根據召回策略的權重對排序分值進行修改，將效果好的策略召回的資源置頂。cHm28資訊網——每日最新資訊www.ut100.cn
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    四、可視化平臺
    cHm28資訊網——每日最新資訊www.ut100.cn
    push系統以定時任務為主，通過每日多次的召回、排序、過濾等主流程的運行，將最新物料及時推送至用戶端，相較于傳統監測任務異常后進行的事后處理，我們更傾向于實時監控。cHm28資訊網——每日最新資訊www.ut100.cn
    1、統一調度平臺
    用于支撐push系統主流程業務運行，提供了失敗重跑、超時報警、日志查看等功能。cHm28資訊網——每日最新資訊www.ut100.cn
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    2、報表平臺
    報表平臺主要包括推送策略打開率、實驗打開率、尾號打開率的統計，以及用于輔助決策的內容池素材統計，用于事前預警的召回結果統計，這些報表便于開發人員及時發現和改進系統問題。cHm28資訊網——每日最新資訊www.ut100.cn
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    3、配置平臺
    通過配置平臺進行ABTest、召回策略、排序模型、運營規則、過濾邏輯的動態切換，針對不同的推送時段可以進行個性化的配置。cHm28資訊網——每日最新資訊www.ut100.cn
    圖片圖片cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    五、總結
    cHm28資訊網——每日最新資訊www.ut100.cn
    push系統是汽車之家APP的基礎功能，是觸達用戶的一個非常重要的手段，它每天給幾千萬用戶提供及時有趣的內容服務，對于提高主軟活躍度及用戶粘性起到重要作用。未來它將繼續致力于召回喚醒沉默用戶、促進用戶活躍、提高功能使用體驗。cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    作者簡介
    李娟娟cHm28資訊網——每日最新資訊www.ut100.cn
    ■ C端及中臺產研中心-智能推薦部cHm28資訊網——每日最新資訊www.ut100.cn
    ■ 汽車之家高級系統開發工程師。先后從事知識圖譜、之家大腦、PUSH精準推送等業務?，F主要負責PUSH系統相關工作。cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
    董歡歡cHm28資訊網——每日最新資訊www.ut100.cn
    ■ C端及中臺產研中心-智能推薦部cHm28資訊網——每日最新資訊www.ut100.cn
    ■ 汽車之家系統開發工程師。先后從事家家小秘、知識平臺、PUSH精準推送等業務?，F主要負責PUSH系統相關工作。cHm28資訊網——每日最新資訊www.ut100.cn
    cHm28資訊網——每日最新資訊www.ut100.cn
     
                
    本文鏈接：http://www.www.ut100.cn/showinfo-26-123-0.html之家push系統迭代之路
    
                
    聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
    
                
    上一篇： 讓我們一起聊聊文件的操作
    
                
    下一篇： 如何通過Python線程池實現異步編程？
    
            
     
			
    
            	標簽：			
                     
        
    
        
        
    
        
    
            
    • 熱門焦點
    
        
    
        
    
        
         
        
    
        
    
    
    
    
    
    
    
        
        
		
        
		
		
		
        
    
    
    

    






    





Top