1DeepSeek内部研讨系列------------DeepSeek私有化部署和一体机AI肖睿团队（韩露、王春辉、顾跃、李娜、谢安明、陈钟）20250224@北京•北大青鸟人工智能研究院•北大计算机学院元宇宙技术研究所2摘要1.本次讲座为DeepSeek原理和应用系列研讨的讲座之一，让大家可以决策是否需要自己部署DeepSeek系列模型，并了解自己本地化部署DeepSeek的基本方法，同时了解更专业的企业级部署方法，有助于选择DeepSeek一体机型号，并能理解DeepSeek云服务的工作机制和原理，用好DeepSeek云服务的API调用方法。2.本讲座的内容分为四个主要部分：①首先，除了DeepSeek满血版之外，还有各种各样的蒸馏版和量化版，以及DeepSeek的不同专业模型。我们将介绍人工智能大模型的基本概念，以及DeepSeek各个模型的特点与适用场景，对比不同规模模型的性能表现，帮助大家选择最适合自己需求的版本。②其次，对于普通用户在自己的电脑上部署和体验DeepSeek（蒸馏版）的情况，我们会评估和建议硬件要求，演示如何通过Ollama命令行高效部署DeepSeek模型，解决下载过程中可能遇到的常见问题。为了提升在自己的电脑上安装DeepSeek模型后，大家与DeepSeek模型的交互体验，我们还将介绍OpenWebUI和Chatbox等前端展示工具的配置与使用方法。③然后，对于专业级的企业部署DeepSeek，或把DeepSeek（蒸馏版和满血版）部署在专业的昂贵的推理机上，本讲座将探讨基于Transformers快速验证和vLLM的高性能部署方案，并提供真实企业基于vLLM的部署DeepSeek-70b的相关数据和经验。④最后，作为补充内容，针对计算资源受限的场景，我们专门设计了"低成本部署"环节，详细讲解UnslothR1动态量化部署的三种实现路径：基于llama.cpp、KTransformers以及Ollama框架动态量化部署。3.在技术学习的道路上，优质学习资源至关重要。推荐大家参考《人工智能通识教程（微课版）》这本系统全面的入门教材，结合B站“思睿观通”栏目的配套视频进行学习。此外，欢迎加入ai.kgc.cn社区，以及“AI肖睿团队”的视频号和微信号，与志同道合的AI爱好者交流经验、分享心得。3301人工智能与DeepSeek目录03企业部署DeepSeek02个人部署DeepSeek04DeepSeek一体机4人工智能与DeepSeekPART015大模型相关术语⚫多模态➢文本、图片、音频、视频⚫AI工具（国内）➢DeepSeek、豆包、Kimi、腾讯元宝、智谱清言、通义千问、秘塔搜索、微信搜索...⚫通用模型➢大语言模型（LLM，LargeLanguageModel）➢生成模型➢推理模型➢视觉模型（图片、视频）➢音频模型➢多模态模型➢……⚫行业模型（垂直模型、垂类模型）➢教育、医疗、金融、办公、安全等6大模型的前世今生•人工智能：让机器具备动物智能，人类智能，非人类智能（超人类智能）•运算推理：规则核心；自动化•知识工程：知识核心；知识库+推理机•机器学习：学习核心；数据智能（统计学习方法，数据建模）•常规机器学习方法：逻辑回归，决策森林，支持向量机，马尔科夫链，…..•人工神经网络：与人脑最大的共同点是名字，机制和架构并不一样•传统神经网络：霍普菲尔德网络，玻尔兹曼机，…..•深度神经网络：深度学习•传统网络架构：DBN，CNN，RNN，ResNet，Inception，RWKV，……•Transformer架构：可以并行矩阵计算（GPU），核心是注意力机制（Attention）•编码器（BERT）：多数embedding模型，Ernie早期版本，…….•混合网络：T5、GLM•解码器（GPT）：大语言模型（LLM），也是传统的多模态模型的核心•生成式人工智能（GenAI）：AIGC•DeepSeek、Qwen、GLM、Step、MiniMax、hunyuan、kimi、火山、……•OpenAIGPT（ChatGPT）、Claude、Llama、Grok、……•Diffusion架构：主要用于视觉模型（比如StableDiffusion、DALL.E），现在也开始尝试用于语言模型•Diffusion+Transformer架构：例如Sora的DiT（加入Diffusion的视觉模型），部分新的多模态模型架构7大模型的发展阶段生成模型ref:中文大模型基准测评2024年度报告(2025.01.08)推理模型8生成模型与推理大模型的对比比较项OpenAIGPT-4o（生成模型）OpenAIo1（推理模型）模型定位专注于通用自然语言处理和多模态能力，适合日常对话、内容生成、翻...