GPT4All 文档

GPT4All 可在日常台式机和笔记本电脑上私密运行大型语言模型 (LLM)。

无需 API 调用或 GPU - 您只需下载应用程序即可开始使用。

桌面应用程序

GPT4All 作为应用程序在您的计算机上运行 LLM。 Nomic 的嵌入模型可以将您的本地文档和文件中的信息带入聊天中。它快速、在设备上运行且完全私密。

Windows 下载      Mac 下载      Linux 下载

Python SDK

在 Python 中使用 GPT4All，通过使用 llama.cpp 后端和 Nomic 的 C 后端实现的 LLM 进行编程。Nomic 为 llama.cpp 等开源软件做出了贡献，旨在让 LLM 让所有人都能访问和高效使用。

pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM
with model.chat_session():
    print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024))