DSP系統(tǒng)技術(shù)架構(gòu)參考【技術(shù)類】

基本上已經(jīng)在前面了DSP介紹了典型的模式、主要機(jī)制和要點(diǎn)。有些學(xué)生可能會(huì)好奇DSP系統(tǒng)內(nèi)部的技術(shù)架構(gòu)。截取以下部分DSP系統(tǒng)的技術(shù)架構(gòu)圖供大家參考，對(duì)非技術(shù)學(xué)生也有一個(gè)感性的認(rèn)識(shí)。不要做大的展開。

1. 總結(jié)技術(shù)架構(gòu)

如圖7-22所示，DSP系統(tǒng)涉及技術(shù)架構(gòu)：交付平臺(tái)和用戶交互模塊（setup UI）、報(bào)表（Report）、算法引擎等模塊。分布式技術(shù)主要用于大數(shù)據(jù)和算法的機(jī)器學(xué)習(xí)(如hadoop），建模用戶日志和人群數(shù)據(jù)，智能處理機(jī)器。通過海量?jī)?nèi)存技術(shù)(如算法引擎模塊處理的人群數(shù)據(jù)、算法模型等)。redis）內(nèi)存暫存，方便Bid為了在1000中快速查詢和使用暫存內(nèi)存的目的都是100ms完成招標(biāo)過程，確保在DSP方<30ms完成處理，為網(wǎng)絡(luò)通信流出時(shí)間。Bid發(fā)射機(jī)是響應(yīng)大并發(fā)請(qǐng)求的典型大集群模式，并確保每個(gè)請(qǐng)求<30ms處理完成。Bid發(fā)射機(jī)的發(fā)射規(guī)則(預(yù)算、頻率、發(fā)射策略設(shè)置等數(shù)據(jù))也存在于內(nèi)存中，便于快速查詢。投放策略設(shè)置的數(shù)據(jù)內(nèi)容由用戶通過投放設(shè)置用戶交互模塊中的界面完成。此外，還有一些非常重要的輔助模塊，如廣告曝光點(diǎn)擊數(shù)據(jù)回收模塊id ** pping內(nèi)置模塊、大數(shù)據(jù)報(bào)表模塊DMP模塊等等。

圖7-22 技術(shù)架構(gòu)概要示例

2. DSP內(nèi)部技術(shù)處理流程總結(jié)

DSP內(nèi)部技術(shù)處理主要依靠一些關(guān)鍵的技術(shù)處理設(shè)施，主要包括：原始海量log并行處理系統(tǒng)和海量消息的隊(duì)列(例如使用)spark技術(shù))、海量?jī)?nèi)存系統(tǒng)(如采用)redis技術(shù))、業(yè)務(wù)系統(tǒng)關(guān)系數(shù)據(jù)庫等。如圖7-23所示，一條技術(shù)處理線是廣告請(qǐng)求處理線：廣告競(jìng)價(jià)Bidder處理大量的實(shí)時(shí)廣告請(qǐng)求會(huì)產(chǎn)生大量的原始log、同時(shí)Bidder與海量?jī)?nèi)存系統(tǒng)交互讀寫廣告請(qǐng)求相關(guān)的頻率、消耗等數(shù)據(jù)也很頻繁，然后log并行處理隊(duì)列后，注入報(bào)表數(shù)據(jù)庫和相應(yīng)的大數(shù)據(jù)人群和模型數(shù)據(jù)庫。另一條技術(shù)處理線是回收廣告曝光、點(diǎn)擊等監(jiān)控?cái)?shù)據(jù)，最初產(chǎn)生大量原始數(shù)據(jù)log、同時(shí)，數(shù)據(jù)回收引擎與廣告曝光、點(diǎn)擊相關(guān)頻率、消光、點(diǎn)擊相關(guān)頻率、消耗等。然后曝光和點(diǎn)擊廣告log并行處理隊(duì)列后，注入相應(yīng)的報(bào)告數(shù)據(jù)庫和相應(yīng)的大數(shù)據(jù)人群和模型數(shù)據(jù)庫，并行處理隊(duì)列進(jìn)行大量的機(jī)器智能分析和更新部分人群數(shù)據(jù)和模型數(shù)據(jù)，同時(shí)同步更新Bidder提供數(shù)據(jù)庫和內(nèi)容系統(tǒng)Bidder實(shí)時(shí)競(jìng)價(jià)時(shí)使用。

圖7-23 DSP內(nèi)部技術(shù)處理流程概述示例

3. DSP招標(biāo)核心處理流程總結(jié)（<30ms）

如圖7-24所示，DSP的Bidder核心處理時(shí)間限制在競(jìng)價(jià)模塊設(shè)計(jì)中，<30ms。為了解決不同的適應(yīng)性ADX不同接口的流量。在接受廣告請(qǐng)求和輸出返回時(shí)，會(huì)有所不同ADX不同的適配器用于平臺(tái)接口的設(shè)計(jì)模式。但整體處理過程保持不變。中間業(yè)務(wù)處理部分也采用過濾器的設(shè)計(jì)模式，可根據(jù)業(yè)務(wù)需要增加新業(yè)務(wù)。這樣做的好處是整體的Bidder核心招標(biāo)模塊處理流程框架相對(duì)穩(wěn)定，不會(huì)隨業(yè)務(wù)變化而變化。它具有很強(qiáng)的業(yè)務(wù)靈活性和應(yīng)對(duì)高性能的水平擴(kuò)展性。

圖7-24 DSP招標(biāo)核心處理流程概述示例

4. 招標(biāo)程序處理過程總結(jié)

如圖7-25所示，Bidder根據(jù)業(yè)務(wù)處理，招標(biāo)處理器內(nèi)部也將分為：索引快速過濾廣告（索引的優(yōu)點(diǎn)是檢索效率高，當(dāng)然，索引只能是用戶簡(jiǎn)單的過濾條件，如：尺寸索引、平臺(tái)和廣告索引、瀏覽器索引、操作系統(tǒng)索引、區(qū)域索引等）。廣告過濾(投放策略相關(guān)規(guī)則需要計(jì)算的過濾條件是不能使用索引器，如預(yù)算、曝光、日期、頻率、人群定位、創(chuàng)意類型等。以上兩層過濾是為了過濾廣告請(qǐng)求中的候選廣告列表，然后通過招標(biāo)算法（動(dòng)態(tài)招標(biāo)算法或固定招標(biāo)策略（使用什么招標(biāo)策略和是否使用算法在設(shè)置界面中手動(dòng)設(shè)置）。然后進(jìn)行低價(jià)過濾(根據(jù)廣告請(qǐng)求中的底價(jià)過濾掉出價(jià)低于底價(jià)的候選廣告)。最終排名并決定獲勝（根據(jù)各候選廣告的出價(jià)和算法給出的優(yōu)先權(quán)重綜合排名，排名第一的獲勝將準(zhǔn)備以廣告內(nèi)容返回）。曝光點(diǎn)擊動(dòng)態(tài)代碼生成(以上一步獲勝的廣告內(nèi)容生成曝光點(diǎn)擊動(dòng)態(tài)代碼，生成動(dòng)態(tài)曝光點(diǎn)擊代碼有很多目的，如防作弊、全程跟蹤投放參數(shù)等。Bid/Unbid日志記錄(處理結(jié)束時(shí)異步啟動(dòng))。

圖7-25競(jìng)價(jià)程序處理流程概述示例

5. 分布式集群總結(jié)

如圖7-26所示，為了滿足大量廣告競(jìng)價(jià)業(yè)務(wù)和大數(shù)據(jù)分布式計(jì)算基礎(chǔ)設(shè)施的需要。DSP在系統(tǒng)架構(gòu)設(shè)計(jì)中，需要支持大并發(fā)、大數(shù)據(jù)、高可用性、高容錯(cuò)性等特點(diǎn)。

圖7-26 分布式集群概要示例

(轉(zhuǎn)載請(qǐng)注明出處:微信訂閱號(hào):ad_auto ** tion）

歡迎參加9月9日DSP上面的專題線下課堂面對(duì)面地回答你的問題，解決你所關(guān)心的問題。現(xiàn)場(chǎng)福利：您可以為您的新書定制個(gè)性簽名詞。

網(wǎng)上文章比較分散。如果想系統(tǒng)學(xué)習(xí)，可以考慮作者剛出版的原創(chuàng)新書《程序化廣告實(shí)戰(zhàn)》，各大電商網(wǎng)站(如www.eeefficiency.com)都有銷售。

近期活動(dòng)通知(直接點(diǎn)擊鏈接報(bào)名):

916一線實(shí)戰(zhàn)經(jīng)驗(yàn)分享-《程序化廣告實(shí)戰(zhàn)新書發(fā)布會(huì)通知》(北京站)

923一線實(shí)戰(zhàn)經(jīng)驗(yàn)分享-《程序化廣告實(shí)戰(zhàn)新書發(fā)布會(huì)通知》(上海站)

9月9日15時(shí)，機(jī)械工業(yè)出版社3號(hào)樓10層流水課通知:DSP下”

上海西陸信息科技有限公司 承接各類微信小程序開發(fā)制作、小程序定制、APP 網(wǎng)站 開發(fā)制作，聯(lián)系電話 18221533805、15900430334