深度解读DeepSeek：原理与效应天津大学自然语言处理实验室TheNaturalLanguageProcessingLaboratoryatTianjinUniversity熊德意天津大学dyxiong@tju.edu.cnhttps://dyxiong.github.iohttps://tjunlp-lab.github.io伏羲传语大语言模型发展路线图0102DeepSeekV2-V3/R1技术原理03DeepSeek效应04未来展望报告目录生成式AI：2014——2024AGI…ASIENIAC1945达特茅斯会议1956图灵测试1950ELIZA196620142024生成式AIAttention2014Transformer2017ScalingLaws|GPT-32020RLHF|ChatGPT2022o1/R12024AI寒冬I1974-1980专家系统1980-1987AI寒冬II1987-1990s生成式AI：使用生成式模型生成各类数据（语言、语音、图片、视频等）oAttention：数据依存关系建模oTransformer：数据生成的统一架构oScalingLaws：数据学习、生成的扩展法则oRLHF：生成与人类价值对齐的数据oo1/R1：生成式求解问题——生成问题求解的过程和答案（推理）统计方法1990-2000sNN再兴起2006-生成式AI：2014——2024AGI…ASIENIAC1945达特茅斯会议1956图灵测试1950ELIZA196620142024生成式AIAttention2014Transformer2017ScalingLaws|GPT-32020RLHF|ChatGPT2022o1/R12024AI寒冬I1974-1980专家系统1980-1987AI寒冬II1987-1990s生成式AI：使用生成式模型生成各类数据（语言、语音、图片、视频等）oAttention：数据依存关系建模oTransformer：数据生成的统一架构oScalingLaws：数据学习、生成的扩展法则oRLHF：生成与人类价值对齐的数据oo1/R1：生成式求解问题——生成复杂问题的答案（推理）统计方法1990-2000sNN再兴起2006-生成式AI：2014——2024AGI…ASIENIAC1945达特茅斯会议1956图灵测试1950ELIZA196620142024生成式AIAttention2014Transformer2017ScalingLaws|GPT-32020RLHF|ChatGPT2022o1/R12024AI寒冬I1974-1980专家系统1980-1987AI寒冬II1987-1990s生成式AI：使用生成式模型生成各类数据（语言、语音、图片、视频等）oAttention：数据依存关系建模oTransformer：数据生成的统一架构oScalingLaws：数据学习、生成的扩展法则oRLHF：生成与人类价值对齐的数据oo1/R1：生成式求解问题——生成复杂问题的答案（推理）统计方法1990-2000sNN再兴起2006-生成式AI：2014——2024AGI…ASIENIAC1945达特茅斯会议1956图灵测试1950ELIZA196620142024生成式AIAttention2014Transformer2017ScalingLaws|GPT-32020RLHF|ChatGPT2022o1/R12024AI寒冬I1974-1980专家系统1980-1987AI寒冬II1987-1990s生成式AI：使用生成式模型生成各类数据（语言、语音、图片、视频等）oAttention：数据依存关系建模oTransformer：数据生成的统一架构oScalingLaws：数据学习、生成的扩展法则oRLHF：生成与人类价值对齐的数据oo1/R1：生成式求解问题——生成复杂问题的答案（推理）统计方法1990-2000sNN再兴起2006-生成式AI：2014——2024AGI…ASIENIAC1945达特茅斯会议1956图灵测试1950ELIZA196620142024生成式AIAttention2014Transformer2017ScalingLaws|GPT-32020RLHF|ChatGPT2022o1/R12024AI寒冬I1974-1980专家系统1980-1987AI寒冬II1987-1990s生成式AI：使用生成式模型生成各类数据（语言、语音、图片、视频等）oAttention：数据依存关系建模oTransformer：数据生成的统一架构oScalingLaws：数据学习、生成的扩展法则oRLHF：生成与人类价值对齐的数据oo1/R1：生成式求解问题——生成复杂问题的答案（推理）统计方法1990-2000sNN再兴起2006-自然语言处理与语言模型自然语言处理：人类语言的智能化处理与分析，使计算机具备听、说、读、写、译等人所具备的语言能力语言模型：自然语言统计建模，简单说，就是预测句子中的下一个单词是什么大语言模型：2018——2024Zhaoetal.ASurveyofLargeLanguageModels.arXiv:2303.18223大语言模型：技术栈算力管理数据处理和管理通用模型行业模型资源分配负载均衡任务调度性能监控弹性扩展容错机制质量筛选预训练数据内容过滤数据去重语言检测领域分类版本控制General-purposeModelDataProcessingandManagementComputingManagement硬件软件H100A100MI350MI300910B910A数据分类网页代码书籍论文百科处理流程对齐训练数据评测...