设置
应用设置
通用应用设置
设置项 | 描述 | 默认值 |
---|---|---|
主题 | 应用颜色主题。选项包括 Light 、Dark 和 LegacyDark |
浅色 |
字体大小 | 应用中文本的字体大小设置。选项包括 小、中 和 大 | 小 |
语言和区域设置 | 您希望使用的语言及其区域设置 | 系统区域设置 |
设备 | 运行模型的设备。选项包括 Auto (GPT4All 选择)、Metal (Apple Silicon M1+)、CPU 和 GPU |
自动 |
默认模型 | 选择启动时默认加载的首选 LLM | 自动 |
建议模式 | 在回复结束时生成建议的后续问题 | 与本地文档聊天时 |
下载路径 | 选择设备上用于保存已下载模型的目的地 | Windows:C:\Users\{username}\AppData\Local\nomic.ai\GPT4All Mac: /Users/{username}/Library/Application Support/nomic.ai/GPT4All/ Linux: /home/{username}/.local/share/nomic.ai/GPT4All |
启用数据湖 | 选择与 GPT4All 社区分享交互数据(匿名且可选) | 关闭 |
高级应用设置
设置项 | 描述 | 默认值 |
---|---|---|
CPU 线程数 | 并发运行的 CPU 线程数(越多可以加快响应速度) | 4 |
启用系统托盘 | 关闭窗口时,应用将最小化到系统托盘/任务栏 | 关闭 |
启用本地服务器 | 允许设备上的任何应用通过 OpenAI 兼容的 GPT4All API 使用 GPT4All | 关闭 |
API 服务器端口 | 本地 API 服务器的本地 HTTP 端口 | 4891 |
模型设置
模型/角色设置
设置项 | 描述 | 默认值 |
---|---|---|
名称 | 此模型/角色的唯一名称 | 由模型上传者设置 |
模型文件 | 模型文件名 (.gguf) | 由模型上传者设置 |
系统消息 | 此模型将用于的聊天的一般说明 | 由模型上传者设置 |
聊天模板 | 此模型将用于的聊天的用户 <-> 助手交互格式 | 由模型上传者设置 |
聊天名称提示词 | 用于自动生成聊天名称的提示词 | 用七个或更少的词描述上述对话。 |
建议的后续提示词 | 用于在聊天回复后自动生成后续问题的提示词 | 根据之前的对话和摘录,建议三个尚未回答或无法找到的非常简短的事实性后续问题。 |
克隆
您可以克隆现有模型,这允许您保存具有不同提示模板和采样设置的模型文件配置。
采样设置
模型采样设置
设置项 | 描述 | 默认值 |
---|---|---|
上下文长度 | 输入序列的最大长度(以 token 计) | 2048 |
最大长度 | 回复的最大长度(以 token 计) | 4096 |
提示词批量大小 | 用于并行处理的 token 批量大小 | 128 |
温度 | 较低的温度会产生更可能的结果 | 0.7 |
Top P | 防止选择极不可能的 token | 0.4 |
Top K | 用于选择 token 的池大小 | 40 |
Min P | 最小相对概率 | 0 |
重复惩罚 token 数 | 应用惩罚的长度 | 64 |
重复惩罚 | 惩罚重复性 | 1.18 |
GPU 层数 | 将多少模型层加载到显存 (VRAM) 中 | 32 |
本地文档设置
通用本地文档设置
设置项 | 描述 | 默认值 |
---|---|---|
允许的文件扩展名 | 选择哪些文件类型将作为带有嵌入向量的文本片段索引到本地文档集合中 | .txt , .pdf , .md , .rst |
使用 Nomic Embed API | 使用 Nomic API 快速在非设备上创建本地文档集合;需要 Nomic API Key | 关闭 |
嵌入设备 | 运行嵌入模型的设备。选项包括 Auto (GPT4All 选择)、Metal (Apple Silicon M1+)、CPU 和 GPU |
自动 |
显示来源 | 本地文档检索到的源文件标题将直接显示在您的聊天中。 | 开启 |
高级本地文档设置
请注意,增加这些设置可以提高回复的事实准确性,但也可能导致生成速度变慢。
设置项 | 描述 | 默认值 |
---|---|---|
文档片段大小 | 每个文档片段的字符串字符数 | 512 |
每个提示词的最大文档片段数 | 本地文档可以从您的文件中检索用于 LLM 上下文的片段数量上限 | 3 |