文欢网

Intel独立显卡使用ollama教程

Hello 大家好,平时有些时候不想使用联网的大模型(隐私保护),就在闲鱼入手了一张A770 16G 入手价1400,现在是1000价位段。我的主板第二显卡位只支持4.0x4,所以......

Hello 大家好,平时有些时候不想使用联网的大模型(隐私保护),就在闲鱼入手了一张A770 16G 入手价1400,现在是1000价位段。

我的主板第二显卡位只支持4.0x4,所以只能委屈它在第二位置呆着了。这里的token也是在这个速度下跑的。

我目前主力配置如下:

Intel独立显卡使用ollama教程

先给大家看7B模型一下单独的每个token生成速度,安装教程在后面

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

12B模型

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

32b-开始有思考步骤

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

具体教程,下载连接

感兴趣可以来项目自行查看

Intel独立显卡使用ollama教程

将压缩文件包,解压文件夹目录下,

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

set ONEAPI_DEVICE_SELECTOR=level_zero:0

start-ollama.bat (到这一步也可以使用ollama的APi方式使用,)

ollama run gemma3:12b

Intel独立显卡使用ollama教程

Intel独立显卡使用ollama教程

本网通过AI自动登载内容,本文转载自MSN,【提供者:什么值得买 | 作者:什么值得买】,仅代表原作者个人观点。本站旨在传播优质文章,无商业用途。如不想在本站展示可联系删除。

阅读前请先查看【免责声明】本文来自网络或用户投稿,本站仅供信息存储,若本文侵犯了原著者的合法权益,可联系我们进行处理。 转载请注明出处:https://www.ynwhw.com/news/30567.html

分享:
扫描分享到社交APP
上一篇
下一篇

联系我们

关注我们