主要工作方向为用户研究及推荐算法，搜广推理论多相通都会看看，包含前沿理论及工程实践，当然也都偶尔偏题看看AI领域前沿，毕竟谁能不爱机器人呢。
论文主要来源为美团技术团队博客，KDD，RecSys，及上述论文的references，知识点主要来源为个人博客，pytorch论坛，reddit AI/ML板块。“来源”字段为个人笔记文件夹存储路径，仅作参考。 阿里巴巴论文整理： 推荐：https://github.com/guyulongcs/Awesome-Deep-Learning-Papers-for-Search-Recommendation-Advertising
🥱看不懂就歇一会，过段时间自然就开窍了，多读自然通
| 论文名 | 来源 | 阅读日期 | 关键词 | 创新点 |
|---|---|---|---|---|
| TIMME: Twitter Ideology-detection via Multi-task Multi-relational Embedding | KDD 26th Applied Data Science | 2021.3.5 | multi-task learning, ideology detection, heterogeneous information network, social network analysis, graph convolutional networks | (1)与传统概率模型不同，使用 GNN方法以利用高效的计算资源 (2) 专注于links和relations，而非文本 |
| 美团外卖特征平台的建设与实践 | 2021美团技术团队 | 2021.3.7 | 美团,外卖,特征平台 | |
| Transformer 在美团搜索排序中的实践 | 2020美团技术团队 | 2021.4.2 | 搜索，排序, Transformer Model | 精排序的行为序列建模中中应用Transformer 建模行为序列内部之间的关系，引入Target-item与Attention机制优化 |
| Attention is all you need | 2021.4.9 | 对于一个大数据从业者来说，工程能力很重要，此算法小抄配leetcode，药到病除;) | ||
| BERT在美团搜索核心排序中的探索和实践 | 2020美团技术团队 | 2021.4.12 | 搜索，排序，BERT，Transformer | |
| Pre-trained Models for Natural Language Processing: A Survey | Transformer fold | 2021.4.22 | NLP, 深度学习，Transformer，预训练 | |
| BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | Transformer fold | 2021.4.22 | NLP, BERT，Transformer | 学习基于上下文的词嵌入，这些学习到的编码器在下游任务中会用于词在上下文中的语义表示。 |
| 多业务建模在美团搜索排序中的实践 | 2021美团技术团队 | 2021.4.23 | 搜索, 排序，多任务 | 粗排–>配额融合–>精排–>重排–>异构排序 |
| 多任务学习-Multitask Learning概述 | 知乎文章/深度学习于NLP | 2021.4.23 | 多任务 | 多任务学习框架概览：单⻔混合专家模型(OMOE)–>多⻔多专家混合模型(MMOE)–>Customized Gate Control(CGC:既有共享的专家，又有每个任务独有的，能够更好地处理不同任务之间地关系)–>PLE(存在不同专家之间的多层交互Multi-Level Extraction Networks,因此PLE中不同任务的参数并没有像CGC那样在早期层完全分离，而是在多层中逐步分离) |
| 美团搜索多业务商品排序探索与实践 | 2021美团技术团队 | 2021.4.27 | 搜索, 排序，多任务 | 粗排–>配额融合–>精排–>重排–>异构排序 |
| Modeling the Sequential Dependence among Audience Multi-step Conversions with Multi-task Learning in Targeted Display Advertising | 2021美团技术团队 | 2021.4.27 | 搜索, 排序，多任务 | 粗排–>配额融合–>精排–>重排–>异构排序 |
| MMOE:Recommending What Video to Watch Next: A Multi-task Ranking System | 2021.4.27 | 搜索, 排序，多任务 | 粗排–>配额融合–>精排–>重排–>异构排序 | |
| Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations | 腾讯PCG RecSys2020 | 2021.4.28 | 搜索, 排序，多业务 | 为了解决上述的“跷跷板”现象，文章针对多任务之间的共享机制和单任务的特定网络结构进行了重新的设计，提出了PLE模型 |
| Modeling the Sequential Dependence among Audience Multi-step Conversions with Multi-task Learning in Targeted Display Advertising | KDD2021 美团 | 2021.4.30 | 信用卡，行为序列，多任务 | 针对序列依赖任务，提出自适应信息迁移多任务(Adaptive Information Transfer Multi-task，AITM)框架 |
| 深度学习在美团搜索广告排序的应用实践 | 2021美团技术团队 | 2021.4.30 | 深度学习，搜索广告，CVR/CTR预估，模型调优 | 模型调优，工程优化及线上预估体系 |
| ESMM：Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate | SIGIR 阿里妈妈 | 2021.4.30 | 信用卡，行为序列，多任务 | pCTCVR=pCVR*pCTR，利用可使用全量数据建模的CTCVR和CTR，隐式学习CVR，不用除法是实验证实结果不稳定 |
| LARGE-SCALE CAUSAL APPROACHES TO DEBIASING POST-CLICK CONVERSION RATE ESTIMATION WITH MULTI-TASK LEARNING | 2021.4.30 | 信用卡，行为序列，多任务 | ESMM有偏 | |
| Ranking中的pairwise、pointwise、listwise | 知乎 | 2021.5.2 | ||
| 用户行为序列建模概览 | 知乎 | 2021.5.3 | ||
| Self-Attentive Sequential Recommendation | ICDM 2018/Transformer | 2021.5.5 | 行为序列建模，推荐模型，Transformer | 同时建模用户短期兴趣(由self-attention结构提取)和用户⻓期兴趣 |
| Behavior Sequence Transformer for E-commerce Recommendation in Alibaba | Transformer | 2021.5.12 | 行为序列建模，推荐模型，Transformer | 弥补现有推荐模型缺少对用户行为序列信息的捕捉，利用Transformer的Encoder部分充分挖掘用户的行为序列，实现对用户行为序列的建模，主要用于ranking阶段 |
| 阿里推荐算法（BST）: 将Transformer用于淘宝电商推荐 | 知乎 | 2021.5.12 | 行为序列建模，推荐模型，Transformer | 主要输入特征有Item Feature、用户画像、上下文特征、交叉特征经过Embedding 层后concat 在一起。用户行为序列包含Item ID类特征及对应的position 信息，进行Embedding 处理后输入到Transformer 层(Transformer 的Encoder 部分)捕获用户历史行为与Target Item 之间的相互关系得到用户行为兴趣表达，与其他特征embedding 向量concat 在一起，经过三层MLP层计算得到预测的点击率 |
| 【经典精读】Transformer模型和Attention机制 | 知乎 | 2021.5.19 | 解读，工程，行为序列建模，推荐模型，Transformer | Transformer解读的非常清晰，值得一看 |
| 一文纵览向量检索 | 华为云社区博客 | 2021.5.29 | 向量检索 | 大规模向量检索技术概览 |
| 13种高维向量检索算法全解析 | segmentfault | 2021.5.29 | 向量检索 | 大规模向量检索技术概览 |
| Pruned Bi-directed K-nearest Neighbor Graph for Proximity Search | Yahoo | 2021.5.30 | 近邻图索引，向量检索 | 开源的向量检索库，核心算法基于近邻图索引。NGT 在构建近邻图时类似于 NSW，也是对 DG 的近似，后续有一些度调整优化，其中最有效的路径优化也是对 RNG 的近似 |
| Approximate nearest neighbor algorithm based on navigable small world graphs | Yahoo | 2021.6.1 | 向量检索 | NSW 是对 DG 的近似，NSW 具有小世界导航性质：在构建早期，形成的边距离较远，像是一条“高速公路”，这将提升搜索的效率；在构建后期，形成的边距离较近，这将确保搜索的精度 |
| [DMR] Deep Match to Rank Model for Personalized Click-Through Rate Prediction-AAAI20 | 阿里 | 2021.6.15 | 排序，召回 | 1.采用了user-to-item子网络和item-to-item子网络来充分提取目标商品与历史商品的相关性2.为辅助训练user-to-item子网络单独设计了一个额外的match网络，可以用作召回阶段，所以可以认为是召回模型和CTR预估模型联合训练的3.考虑到用户行为的时间序列属性，利用attention机制和position encoding来挖掘不同时期用户行为的权重，进行加权sum-pooling |
| 推荐模型之用户行为序列处理 | 知乎知识点 | 2021.6.25 | 推荐，用户行为序列 | 对于Multi-hot特征，一个特征里面多个特征值，将多个特征值的embedding融合到一起形成一个定长的embedding，这里怎么融合就是各种方法大显神通之处 |
| 推荐模型之用户行为序列处理 | 知乎知识点 | 2021.6.29 | 推荐，用户行为序列 | 对于Multi-hot特征，一个特征里面多个特征值，将多个特征值的embedding融合到一起形成一个定长的embedding，这里怎么融合就是各种方法大显神通之处 |
| 阿里飞猪推荐算法探索实践 | 阿里飞猪 | 2021.11.20 | 工程，推荐模型，旅行行业，CVR预估 | 介绍电商背景下主流推荐技术的发展，例如基于全空间的CVR预估技术的发展历程等 ( ESMM / ESM^2 / HM^3 )；接着会重点结合旅行行业的特色，进一步介绍飞猪推荐算法的现状及发展 |
| Transformers4Rec: Bridging the Gap between NLP and Sequential / Session-Based Recommendation | 2021.12.20 | 工程，行为序列建模，推荐模型，Transformer | 一整套序列推荐建模的pipeline，引入了NVIDIA开源的Tabular库，能够显著降低从原始数据到模型输入之间的转换时间，提高训练和推理性能 | |
| PyTorch中的损失函数–CrossEntropyLoss/NLLLoss/KLDivLoss | 知乎 | 2022.1.3 | 工程,Loss Function | 开始尝试使用深度学习训练推荐模型，pytorch工程实现 |
| 浅析深度学习中的mask操作 | 知乎 | 2022.1.5 | 工程,mask | mask的具体流程上，其可以作用于数据的预处理（如原始数据的过滤）、模型中间层（如relu、drop等）和模型损失计算上（如padding序列的损失忽略） |
| NVIDIA GTC 2022 | 黄仁勋 | 2022.3.26 | H100, nvidia triton,Omniverse, digital twin | NVIDIA，硬件算力，AI平台，虚拟现实Omniverse，robotic systems |
| 字节跳动A/B测试专场 | 字节跳动 | 2022.8.9 |