什么是大数据?
从具备4V(Volume,Velocity,Variety,Value)特征的大量数据中挖掘用户的潜在价值。
广告系统的数据来源
DSP监听数据(主要是ssp,adx渠道) 广告主数据 广告投放过程中收集的数据 购买/通过交换得到的第三方数据 运营商合作数据精准广告的系统特点
数据量巨大(广告本身的数据,定向数据,用户特征数据,广告展示环境的特征数据) 响应速度要求特别快 实时性要求特别高(广告数据,定向数据,用户特征数据,广告展示环境的特征数据等实时性) 系统可用性要求特别高(柔性降级,可扩展性)PC广告与移动广告的区别
交互方式的不同 使用位置的不同 用户标识的不同 展现形式的不同 网络环境的不同 受众定向的不同精准广告中数据的主要应用
DMP 人群/用户画像 个性化创意/推荐引擎大数据处理分析技术介绍
储存/缓存 计算 算法/规则储存/缓存
Tair/redis2 -> ssdb/redis3 -> aerospike Kafka/DL Mongodb/hbase Hadoop Mysql计算
Hive/mr Storm Spark Streaming算法/规则
协同过滤(UserCF/ItemCF) 文本相似/图片相似 关联规则(支持度和置信度) 逻辑回归模型 兴趣时间衰减 规则引擎(DNA)心得体会
做工程不易,且做且珍惜(技术+管理+工匠精神) 建立PDCA效果验证闭环 每一个做技术的都应该有崇高的理想,技术只是手段