广告系统中的大数据处理 | 宋慧庆

    xiaoxiao2026-01-07  7

    什么是大数据?

    从具备4V(Volume,Velocity,Variety,Value)特征的大量数据中挖掘用户的潜在价值。

    广告系统的数据来源

    DSP监听数据(主要是ssp,adx渠道) 广告主数据 广告投放过程中收集的数据 购买/通过交换得到的第三方数据 运营商合作数据

    精准广告的系统特点

    数据量巨大(广告本身的数据,定向数据,用户特征数据,广告展示环境的特征数据) 响应速度要求特别快 实时性要求特别高(广告数据,定向数据,用户特征数据,广告展示环境的特征数据等实时性) 系统可用性要求特别高(柔性降级,可扩展性)

    PC广告与移动广告的区别

    交互方式的不同 使用位置的不同 用户标识的不同 展现形式的不同 网络环境的不同 受众定向的不同

    精准广告中数据的主要应用

    DMP 人群/用户画像 个性化创意/推荐引擎

    大数据处理分析技术介绍

    储存/缓存 计算 算法/规则

    储存/缓存

    Tair/redis2 -> ssdb/redis3 -> aerospike Kafka/DL Mongodb/hbase Hadoop Mysql

    计算

    Hive/mr Storm Spark Streaming

    算法/规则

    协同过滤(UserCF/ItemCF) 文本相似/图片相似 关联规则(支持度和置信度) 逻辑回归模型 兴趣时间衰减 规则引擎(DNA)

    心得体会

    做工程不易,且做且珍惜(技术+管理+工匠精神) 建立PDCA效果验证闭环 每一个做技术的都应该有崇高的理想,技术只是手段
    分享者简介: 宋慧庆 ,时趣互动 移动广告架构师 十余年互联网老司机,具有多年互联网广告系统研发经验,负责研发个性化动态创意系统,用户画像标签系统以及大数据治理;对编程语言有浓厚的兴趣。
    最新回复(0)