Документация Q ProjectQ Project docsQ Project 文档
Q Project — независимая лаборатория, обучающая языковые и агентские модели с нуля. Эта документация о том, как уже сегодня запускать наши открытые модели — и что будет дальше.
Q Project is an independent lab training language and agent models from scratch. These docs cover how to run our open models today — and what is coming next.
Q Project 是一家独立实验室，从零开始训练语言模型和智能体模型。 这份文档介绍如何使用我们目前的开放模型，以及接下来会推出什么。
Всё, что опубликовано под организацией q-project, распространяется с открытыми весами по лицензии Apache 2.0. Текущий релиз — Q-50M-Base, компактная базовая языковая модель, которую можно запустить на ноутбуке.
Everything published under the q-project organization is open-weight and Apache 2.0. Our current release is Q-50M-Base, a compact base language model you can run on a laptop.
在 q-project 组织下发布的一切都是开放权重，采用 Apache 2.0 许可证。我们目前发布的是 Q-50M-Base，一个可以在笔记本电脑上运行的紧凑型基础语言模型。
Быстрый стартQuickstart快速开始
Модели Q используют стандартный API Hugging Face Transformers. Установи зависимости:
Q models use the standard Hugging Face Transformers API. Install the dependencies:
Q 系列模型使用标准的 Hugging Face Transformers API。先安装依赖：
# Python 3.9+
pip install transformers torchЗагрузка и генерацияLoad and generate加载与生成
Скачай чекпоинт с Hub и продолжи промпт:
Pull the checkpoint from the Hub and continue a prompt:
从 Hub 拉取检查点，然后续写一个提示词：
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model_id = "q-project/Q-50M-Base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16)
prompt = "The theory of relativity states that"
inputs = tokenizer(prompt, return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=64, do_sample=True, temperature=0.8)
print(tokenizer.decode(output[0], skip_special_tokens=True))Держи промпты в пределах контекстного окна в 2 048 токенов. Понизь температуру для более стабильного текста; повысь для большего разнообразия.
Keep prompts within the 2,048-token context window. Lower the temperature for steadier text; raise it for more variety.
提示词请保持在 2,048 词元的上下文窗口以内。降低温度可获得更稳定的文本；调高温度可获得更多样的输出。
Справочник моделиModel reference模型参考
Q-50M-Base — это причинная decoder-only языковая модель, обученная с нуля на ~5 млрд токенов FineWeb-Edu.
Q-50M-Base is a decoder-only causal language model pretrained from scratch on ~5B tokens of FineWeb-Edu.
Q-50M-Base 是一个仅解码器的因果语言模型，在约 50 亿词元的 FineWeb-Edu 上从零预训练而成。
| ПолеField字段 | ЗначениеValue数值 |
|---|---|
| parameters | 50,878,208 (50.9M) |
| hidden_size | 512 |
| num_layers | 10 |
| attention | Grouped-query — 8 query heads, 2 KV heads |
| head_dim | 64, with per-head QK-Norm |
| mlp | SwiGLU / SiLU, intermediate 1,792 |
| norm | RMSNorm (eps 1e-5) |
| positional | RoPE, all layers |
| vocab_size | 32,768 (byte-level BPE) |
| context | 2,048 tokens |
| val_perplexity | 24.47 |
| license | Apache 2.0 |
Полный рецепт обучения — оптимизатор, расписание и оценка — на карточке модели.
The full training recipe — optimizer, schedule, and evaluation — lives on the model card.
完整的训练细节——优化器、调度和评估——都在模型卡片上。
ДообучениеFine-tuning微调
Поскольку это базовая модель, Q-50M-Base — хорошая отправная точка для supervised-дообучения под свою задачу: классификация, текст в узкой области или простой формат инструкций.
Because it is a base model, Q-50M-Base is a good starting point for supervised fine-tuning on your own task — classification, domain text, or a simple instruction format.
由于它是一个基础模型，Q-50M-Base 很适合作为有监督微调的起点，用于分类、特定领域文本或简单的指令格式。
- Оформи данные как обычные текстовые последовательности до 2 048 токенов.
- Начни с
q-project/Q-50M-Baseи обучай с небольшим learning rate (2e-5–5e-5). - Модель достаточно маленькая, чтобы дообучить её на одной потребительской видеокарте.
- Format your data as plain text sequences under 2,048 tokens.
- Start from
q-project/Q-50M-Baseand train with a small learning rate (2e-5 to 5e-5). - The model is small enough to fine-tune on a single consumer GPU.
- 将数据整理成 2,048 词元以内的纯文本序列。
- 从
q-project/Q-50M-Base出发，使用较小的学习率训练（2e-5 到 5e-5）。 - 模型足够小，单张消费级显卡就能完成微调。
q-project или открой тред на карточке модели.q-project or open a thread on the model card.q-project 或在模型卡片上开一个讨论帖。Дорожная картаRoadmap路线图
Куда движется Q Project. Даты — это намерения, а не обещания.
Where Q Project is heading. Dates are intentions, not promises.
Q Project 的发展方向。日期是意向，不是承诺。
- Q-50M-Base — выпущена. Открытые веса, Apache 2.0.
- Q-164M — обучается сейчас. Более крупная, только текстовая модель с упором на диалог и обобщённый механизм точных вызовов инструментов. Живой ход обучения — в блоге.
- Hosted API — управляемые endpoint'ы, чтобы обращаться к моделям Q без своего железа.
- Приватные модели — закрытые модели и обучение под заказ для команд.
- Q-50M-Base — shipped. Open weights, Apache 2.0.
- Q-164M — in training now. A larger, text-only model built for dialogue and a generalized exact-tool-calling mechanism. Live training progress on the blog.
- Hosted API — managed endpoints so you can call Q models without your own hardware.
- Private models — closed models and custom training for teams.
- Q-50M-Base — 已发布。开放权重，Apache 2.0。
- Q-164M — 目前正在训练。一个更大的纯文本模型，专注于对话和通用化的精确工具调用机制。实时训练进度见博客。
- Hosted API — 托管端点，无需自己的硬件即可调用 Q 系列模型。
- 私有模型 — 面向团队的闭源模型与定制训练。
Hosted API
Управляемый API для моделей Q уже в пути. Он будет предлагать OpenAI-совместимые endpoint'ы, так что большинство существующих клиентов заработают после смены одного base-URL.
A managed API for Q models is on the way. It will offer OpenAI-compatible endpoints, so most existing clients work with only a base-URL change.
面向 Q 系列模型的托管 API 即将推出。它会提供兼容 OpenAI 的端点，因此大多数现有客户端只需修改 base-URL 即可使用。