GPT4All 文档

GPT4All 可以在普通台式机和笔记本电脑上私密运行大型语言模型 (LLMs)。

无需 API 调用或 GPU - 您只需下载应用程序并开始使用。

桌面应用程序

GPT4All 作为应用程序在您的计算机上运行大型语言模型 (LLMs)。Nomic 的嵌入模型可以将您本地文档和文件中的信息带入聊天中。它快速、在设备上运行且完全私密。

下载 Windows 版      下载 Mac 版      下载 Linux 版

Python SDK

在 Python 中使用 GPT4All，通过基于 llama.cpp 后端和 Nomic 的 C 后端实现的 LLMs 进行编程。Nomic 为 llama.cpp 等开源软件做出贡献，旨在使 LLMs 惠及所有人，实现便捷高效的使用。

pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM
with model.chat_session():
    print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024))