连年来，跟着 AI 领域的火爆和对算力需求的合手续飙升，市面主流独处显卡的算力也齐在迟缓普及。不外其实关于大多数平凡用户对日常办公、生计而言，主力机其实仍旧是需要兼顾价钱、便携性、性能等多方面考量的人妖 小说，一张“核弹级”的显卡，听起来很爽，但实质部署起来，非论是价钱如故功耗，齐难以称得上“日常”。

不外跟着 AI 助手连年来的碎裂，越来越多的用户在日常责任、生计中，齐运转大批使用 AI 四肢助手。由互联网厂商部署在云霄的 AI 工作，天然门槛较低、使用方便，但要么有着造访次数等法律说明的戒指，要么在不竭造访的情况下难以保证工作器的褂讪。跟着诸如 deepseek 等优秀大模子的开源，以及模子蒸馏带来的算力条目镌汰，不少 AI 的“高频用户”，运转考虑在土产货部署一个专属于我方的 AI 助理。

土产货运行大模子这事儿，听起来好像若何齐不会和“轻浮本”搭边儿，不外跟着 ® 酷睿™ Ultra200H 系列处理器的发布和优化，让这件事儿不仅有了可能，甚而体验还可以相当可以。

先来简略先容下这款处理器，其选定搀杂架构假想，包括 4-6 个 P-Core（性能核）、八个 E-Core（成果核）和两个 LP E-Core（低功耗成果核），相较前代居品，多线程性能普及了高达 41%，得当低延伸 AI 责任负载⁠。

关于在大模子的应用方面，英特尔 ® 酷睿™ Ultra200H 系列处理器的 GPU 集成了 Xe 架构，AI 算力权贵普及，且其全系配备了独处 NPU，NPU 单位可提供高达 13 TOPS 的算力，通过 CPU+GPU+NPU 的协同野心，全平台总算力达到 99 TOPS，何况原生支撑英特尔 OpenVINO 用具套件，这也让本文所说的“在个东谈主 PC 上土产货部署 AI 大模子”成为了可能。

一、表面性能测试

本文所使用的条记本电脑建设如下，无独处显卡。

测试使用的条记本为 Intel Core Ultra 9 285H 处理器，TDP 45W。

CPU-Z 单核 837.6 分，多核 10917.1 分。

3DMark CPU Profile 分数如图。

3DMark Time Spy CPU 分数 12395 分，显卡分数 4153 分。

Time Spy 压力测试 20 轮轮回褂讪度 99.8%。

Cinebench R23 单核 2162 分，多核 22121 分。

二、AI 测试1、deepseek 土产货部署

最近 deepseek 应该仍是是许多东谈主责任和生计中不可或缺的“小助手”了，因为它的确能够带来许多便利。不外另一方面，底下这个场景巨匠也一定熟悉又无奈。

毕竟使用者数目纷乱，且仍然在连忙加多，连气儿提问，deepseek 不免就会出现工作器忙绿的情况。这也让 deepseek 蓝本为咱们简约下的贵重时辰，不免又被蓦的掉。

不外许多东谈主可能对 deepseek 了解未几，比拟传统 AI 的监督学习框架，deepseek 选定强化学习工夫，赋予模子真实的推理才能，权贵普及了数学和逻辑测试中的推崇，同期镌汰 60% 的无效熟识，优化了野心成果。

此外，通过 MoE 架构杀青模子参数的动态分派，聚合多层级留心力机制（MLA），在普及反馈速率的同期镌汰了算力资本，举例在疏通参数规模下推理速率提高 40%，最主要的它如故个开源模子，因此以高性价比和遒劲的推理才能连忙诱骗全球开导者，造成工夫社区裂变效应。

这些上风，也让它区别于此前的其它大模子，只可借助云霄大规模的工作器算力进行部署，而是悉数有但愿在个东谈主 PC 上进行土产货部署。

本文提供两种部署方式，分别为 Ollama 客户端和 Flowy AIPC 助手，前者部署活动稍多，不外部署完成后的交互界面有多种可选（敕令行、浏览器插件、独处 App 均可），使用相对机动；后者则一站式图形化操作，安设完成后使用亦然在固定的独处 App（Flowy AIPC 助手）中，安适不外方式相对固定，巨匠可以稽查教程后证据喜好自行选拔。

1）驱动更新

由于土产货大模子的部署需要用到 Arc 核显的野心模块进行加快，因此在运转部署前，一定要确保显卡驱动为最新版块。顺利去 intel 官网下载驱动处理软件就好，这里把统一给巨匠放鄙人边了，下载前要阐明好对应的处理器版块和系统版块。

下载统一：

‎https://www.intel.cn/content/www/cn/zh/download/785597/intel-arc-iris-xe-graphics-windows.html

下载完成后通盘下一步安设，然后按辅导更新到最新即可。

2）Intel 优化版 Ollama+IPEX-LLM 部署教程

a) 模子部署

接下来即是下载 Intel 优化版 Ollama+IPEX-LLM 文献了，文献不大，可以自行到 GitHub 下载。

下载统一：https://github.com/ intel / ipex-llm / releases

后续版块可能会有更新，巨匠安设时下载对应的最新版即可。下载后解压缩，左键双击运行 start-ollama.bat 文献。

运行后会弹出如下敕令行窗口：

这里不要关闭上头的窗口，同期通达一个新的敕令教唆符（CMD）窗口人妖 小说，不会找 CMD 的可以顺利任务栏搜索。通达后循序运行如下两条敕令，留心，第一条敕令需要针对巨匠电脑上文献保存 Ollama 的位置修改后输入。

cdC\\修改为你解压后文献的位置ollamarundeepseek-r1:7b

如斯处小编要输入的两条敕令即是：

‎cdC\\Users\\IT之家\\Downloads\\LANDrop\\ollama-0.5.4-ipex-llm-2.2.0b20250220-win‎ollamarundeepseek-r1:7b

这里第二条敕令中 deepseek-r1:7b 终末的 7b 指的即是所选的模子规模了，底下附上不同规模模子的文献大小，个东谈主电脑建议巨匠部署 14b 以下的模子，此处小编所使用的电脑显存为 16GB，选拔 7b 模子，供巨匠参考。

代码输入完成后，就会开启下载了，保合手汇注畅达耐烦恭候就好。

下载完成后，模子的部署就仍是完成了，此处就仍是可以在对话框中输入问题与 deepseek 进行问答了。

可以看到，此处向 deepseek 提议问题，便会调用 Arc 核显的野心模块进行加快，这亦然现在英特尔酷睿 Ultra 处理器的 Arc 核显在出动端 AI 领域荒芜的上风。

此处的交流也悉数毋庸记挂“工作器忙绿”了，即问即答，全部土产货运行。不外这个特别极客的交互方式，念念必许多东谈主如故不可收受的，别急，咱们下一步就聊聊若何让它变“好意思”。

b) 浏览器插件安设

前文说过，基于 Ollama 的大模子有三种交互方式，分别是敕令行、浏览器插件和独处 App，接下来咱们就说说背面的两种方式。使用 Edge 浏览器和 Chrome 浏览器的小伙伴，可以到膨大中找到 Page Assist 这个插件

找到后点击赢得，插件会自动下载、安设。安设好后浏览器右上方会有弹窗提醒。

打卡安设好的插件，能够看到圣洁的对话窗口，画面中间绿点处鲜艳土产货模子过去加载。

在顶部选拔好对话模子以后，就能够运转过去对话啦。

此次的问答界面就友好多了，何况基于巨匠每天齐要使用的浏览器，方便快捷。提问后从系统资源处理器能够看到，土产货 Arc 核显的野心模块仍是被调用进行加快。

c) ChatBox AI 客户端安设

要是对浏览器的对话插件昂扬，就毋庸看这一部分了，要是使用的不是上述两个浏览器，抑或是对浏览器的交互方式不甚可爱，那么也可以选拔 ChatBox AI 四肢交互进口。可以从官网自行下载。

官网地址：https://chatboxai.app/zh#download

文献不大，下载很快，下载完成后通盘下一步安设即可，此处就不赘述了。

安设完成后通达会央求选拔建设，此处选底下的“使用我方的 API Key 或土产货模子”即可。

选拔 Ollama API。

模子正式确立，毋庸修改，默许就好。

选好后就可以运转对话啦，提问后相同可以看到，调用的依旧是刚才部署的土产货模子，依旧会跑满 Arc 核显的野心模块进行加快。

那么使用 Ollama 的土产货模子部署以及三种交互方式到这里就齐 OK 了，巨匠可以证据我方的喜好和需求自行选拔。

3）Flowy AIPC 助手

前一种方式要是巨匠以为打扰的话，还有一种“一站式”的全图形化部署方式即是 Flowy AIPC 助手，巨匠可以证据需求自行选拔。领先从官网下载 Flowy AIPC 助手。

官网统一：https://www.flowyaipc.com

下载完成后通盘下一步安设，初次通达后需要微信扫码注册登陆。登陆后就能干涉看到主界面了。

在左侧选拔模子商场，可以看到提供了多个模子可选，前文部署好的 deepseek-R1:7b 模子仍是识别出来并露馅为已安设，要是莫得部署过，就可以在这里顺利点击下载。

下载完成后，回到主界面就可以选拔模子运转对话了，这里需要留心的是，除了土产货模子，Flowy AIPC 助手还提供了云霄模子可选，选拔的时候要留心折柳前边的小图标，分辨土产货模子和云霄模子。

下载完成后在 Flowy AIPC 助手中提问，可以看到相同调用了 Arc 核显的野心模块进行加快。

2、Moonlight 土产货部署

Moonlight 四肢月之暗面 Moonshot 开源的第一款大模子，领有 16B 的完满参数和 3B 的激活参数，也即是说，只需平台领有 3B 对应的算力即可使用 16B 完满性能，镌汰了大讲话模子的使用门槛，可以说是 AI 平权的紧迫一步。

1）安设并部署环境

部署所需的文献可以到 Github 或 Hugging Face 进行下载，统一放鄙人边了。

Github 仓库：https://github.com/MoonshotAI/Moonlight

Hugging Face 模子库：https://huggingface.co/moonshotai/Moonlight-16B-A3B

下载完成后，运行 Miniforge.exe 安设。

2）下载模子

安设完成后，启动 Miniforge Prompt 敕令行窗口。

启动后运行下列代码：

cd/condacreate-nipex-llmpython=3.11libuvcondaactivateipex-llm

运行完成后，敕令行开首的（base）会变成（ipex-llm）

然后运行下列代码：

pipinstallmodelscopemodelscopedownload--modelmoonshotai/Moonlight-16B-A3B-Instruct--local_dir/Moonlight-16B-A3B-Instruct

就能看到模子运转下载了

3）建设环境并诊治模子

下载完成后，运行下列代码（在教唆 y / n 时输入 y 并回车阐明）：

pipinstall--pre--upgradeipex-llm[xpu_2.6]--extra-index-urlhttps://download.pytorch.org/whl/xpu-ihttps://pypi.tuna.tsinghua.edu.cn/simplepipinstalltiktokenblobfiletransformers==4.45trl==0.11accelerate==0.26.0-ihttps://pypi.tuna.tsinghua.edu.cn/simplepipinstall--pre--upgradeipex-llmpythonconvert.py

完成后，将【C:\\Moonlight-16B-A3B-Instruct】中的通盘⽂件复制⾄【C:\\Moonlight-16B-A3B-Instruct-converted】内，并在提⽰存在重迭⽂件时跳过通盘重迭⽂件。

接下来就可以运行啦，初次运行时会有 10 分钟支配的暖机，后续再次运行的时候就不需要恭候了。

运行下列代码：

condaactivateipex-llmsetSYCL_CACHE_PERSISTENT=1setSYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1pythonrun_moonlight-16B-A3B-instruct.py

运行后提问，可以看到土产货 GPU 的野心单位短暂跑满。

3、UL Procyon 测试

Procyon AI 是由 UL Solutions 推出的一款专科的基准测试软件，旨在评估野情绪或成立在运行 AI 模子时的性能推崇。它通过一系列法式化的测试，匡助用户快速了解硬件在处理 AI 任务时的成果和资源期骗情况。

IT之家这里分别测试了 AI Text Generation（AI 文本生成基准测试）、AI Image Generation（AI 图像生成基准测试）、AI Computer Vision（AI 野情绪视觉基准测试）三个方式。

1）AI 文本生成基准测试

测试的四个方式分别得分 817、848、798、711 分。

2）AI 图像生成基准测试

在 AI 图像生成基准测试中，得分 349 分。

轻便 18.6s 可以完成一张图片的生成。

3）AI 野情绪视觉基准测试

在 AI 野情绪视觉基准测试中，得分为 140 分。

追想

通过实质体验可以看到，英特尔 ® 酷睿™ Ultra200H 系列处理器全平台 99 TOPS 的总算力，的确让轻浮原土产货部署大模子这件事儿，不仅能够杀青，更有着相当可以的使用体验。诚然，现在要部署一个“满血”的 deepseek 大模子，仍旧需要轻浮本难以企及的内存和算力，不外其实关于大多数办公、生计场景而言，15B 以下规模的土产货大模子，仍是能够骄贵许多东谈主的日常需求，在此基础上，对平凡用户而言，约略肤浅性、性价比与褂讪性的均衡，要比一味的追求模子规模真的的多。

以上即是本文的全部内容啦，要是你耐烦读到这里，但愿你也能凯旋的部署一个属于我方的“土产货 AI 助理”。