叫板ChatGPT？Stability AI 开源语言大模型 StableLM，参数仅为GPT-3百分之四，却能实现超高性能

开源地址：GitHub - Stability-AI/StableLM: StableLM: Stability AI Language Models

2022 年，Stability AI 公开发布了 Stable Diffusion。这套革命性的图像模型，标志着不同于专有 AI 的透明、开放、可扩展替代方案已经出现。

随着 StableLM 模型套件的推出，Stability AI 继续践行着让每个人都能用上基础 AI 技术的基本宗旨。StableLM 模型能够生成文本和代码，并将为一系列下游应用程序提供支持。项目的意义，在于展示小规模高效模型如何通过适当训练提供出色的性能。

StableLM 的发布，建立在 Stability AI 与非营利性研究机构 EleutherAI 的早期开源语言模型的经验之上。这里的早期开源模型包括 GPT-J、GPT-NeoX 和 Pythia 套件，并在 The Pile 开源数据集上进行训练。近期众多开源语言模型同样以这些努力成果为基础，例如 Cerebras-GPT 和 Dolly-2 等。

StableLM 利用 The Pile 上的新实验数据集进行训练，但模型规模增大了 3 倍，包含 1.5 万亿个内容 token。

Stability AI 表示，将在适当的时候发布关于数据集的细节信息。这套数据集的高丰富度，使得 StableLM 在会话和编码任务中表现出惊人的高性能，且继续保持着相对较小的参数量——只有 3 亿至 70 亿之间（与之对应，GPT-3 拥有 1750 亿个参数）。

Stability AI 还发布了一系列经过指令微调的研究模型。这 5 套经过开源数据集微调的模型均为对话智能体，分别为 Alpaca、GPT4All、Dolly、ShareGPT 以及 HH。目前这些模型仅供研究用途，基于非商用 CC BY-NC-SA 4.0 发布，且遵循斯坦福大学的 Alpaca 许可。

资料来源：Stability AI Launches the First of its StableLM Suite of Language Models — Stability AI