喜大津大学自然语言处理买验室The Natural Language Processing Laboratoryat TianjinUniversity深度解读DeepSeek:部署、使用、安全石玲吴俊茹金任任杨磊熊德意TJUNLP天津大学https://tunlp-lab.athub.io仁文伏羲伏羲传语OpenEvalCALM
报告目录01DeepSeek不地化部署02DeepSeek使用方法与技巧03DeepSeek安全
DeepSeek:部署与使用需安全、高效、可扩展一、官方网页版/调用官方API部署通过官方生成的API密钥,调用官方接口根据输入生成对应的输出,集成至控制台。部署条件:无需本地服务器，仅需互联网连接二、开源版本下载至本地部署准备相应软硬件设备,下载DeepSeek开源模型权重文件至专用服务器,根据需求从本地调用部署条件:搭载高端智算芯片的服务器调用官方API部署本地部署数据安全性依赖传输加密，数据会泄露至API提供方数据全程内网闭环定制化能力仅支持修改模型的解码参数可通过私有数据微调模型、开发定制插件成本结构按调用量付费(适合低频场景)部署服务器的使用和维护成本维护复杂度无需运维需专职团队维护相应的软硬件设备稳定性会受官方服务器繁忙、网络延迟等影响主要取决干本地部署相关硬件稳定性
DeepSeek:部署与使用需安全、高效、可扩展API调用流程注册账号并获取APlKev:进入API开放平台，创建APlKey并记录下生成的Key。配置API调用环境:确保设备的联网状态，安装必要的开发工具环境如Python-+openaiSDK,设置相关参数调用AP1接口,python脚本如下所示,样例为非流式输出,可以将stream设置为true来使用流式输出注意事项fromopenaiinportOpenAlAPI密钥填入请勿泄露APlKey给他人,避免被i_key="<DeepSeeletions.create(滥用。注意API的调用频率和用量限制。(*rale':"system","content";"You are a helpful assistant").trale's"user','content's"hallo'l,提示词与提问设置确保网络连接稳定，避免因网络问题导致调用失败。print(response.choices(0].message.content)
DeepSeek:部署与使用需安全、高效、可扩展本地部署流程(DeepSeek-R1全量版)从https:/ huaqingface. co/deepseek-ai/DeepSeek-R1下载模型权重文件安装模型部署相关的依赖包(以vlm为例)实际部署(以两台分别搭载了8卡H100GPU的服务器为例)1.在两台服务器分别运行该脚本启动Ray,其中master节点在运行该脚本时需要添加--head参数2.在master节点启动vllm部署模型#l/bin/bash#l/bin/bashNODE_TYPE=$11)vilmserve"这里填模型的存储路径”HEADNODEADORESS="这里填master节点的IP"-disable-log-requests(["s(nodeTYpe)"="--head"l};then-trust-remote-codeIraystartI-served-model-name deepseek-rl-blockI-tensor-parallel-sizehead-pipeline-parallel-size-port6379pi-key这里填设置的APIelseray start I启动vllm的脚本-blockADDRESS)：6379启动Ray的脚本
DeepSeek:部署与使用需安全、高效、可扩展本地部署流程(DeepSeek-R1蒸馏版)从https/ huggingface co/collections/deepseek-ai/deepseek-r1-678e1e131c0169c0bc89728d下载对应的模型权重文件安装模型部署相关的依赖包(以vllm为例)注意事项实际部署硬件兼容性:确保GPU和驱动程模型建议显卡数量(A100/H100)序支持CUDA,模型文件较大，需确保有足够的DeepSeek-R1-Distll-Qwen-1.5B21存储空间。DeepSeek-R1-Distil-Qwen-7B>1下载模型时需要稳定的网络连接,>1本地部署时，注意数据的保密性和模型的安全性,避免未经授权DeepSeek-R1-Distill-Owen-14821的访问。DeenSeek-R1-Distil-Owen-32BM2M4
DeepSeek:部署与使用需安全、高效、可扩展本地部署流程(DeepSeek-R1量化版)下载量化版模型,例如https:/ huaginaface.co/unsloth/ DeepSeek-R1-GGUR构建模型部署相关框架(建议使用量化友好框架Llama.cpp或Ollama)实际部署:LIama.cpp或Ollama支持仪CPU部署,使用GPU用于推理加速，并随着GPU数量增多速度越快/path/Deeek-R1-UD-IQ1_5-prio'application/json"port-ctx-size32768\-parallel 8--n-gpu-layers 61'system","content";"Youare a helpful assistant."I'content’:"给我5个包含字母a的单词”;重要部署参数说明:model模型路径仅需指定单个.ggu...
