Hello 大家好,平时有些时候不想使用联网的大模型(隐私保护),就在闲鱼入手了一张A770 16G 入手价1400,现在是1000价位段。
我的主板第二显卡位只支持4.0x4,所以只能委屈它在第二位置呆着了。这里的token也是在这个速度下跑的。
我目前主力配置如下:
先给大家看7B模型一下单独的每个token生成速度,安装教程在后面
12B模型
32b-开始有思考步骤
具体教程,下载连接
感兴趣可以来项目自行查看
将压缩文件包,解压文件夹目录下,
set ONEAPI_DEVICE_SELECTOR=level_zero:0
start-ollama.bat (到这一步也可以使用ollama的APi方式使用,)
ollama run gemma3:12b
本网通过AI自动登载内容,本文转载自MSN,【提供者:什么值得买 | 作者:什么值得买】,仅代表原作者个人观点。本站旨在传播优质文章,无商业用途。如不想在本站展示可联系删除。

