РЕЛИЗ · ЛИНЕЙКА N-Q

N-Q-164M: вторая ступень линейки, в 6 раз больше и в 4 раза умнее в математике

Базовая и чат-модель на 164M параметров. Обучены с нуля на одной V100 по тому же рецепту, что и N-Q-26M, и открыты под Apache 2.0.

8Bтокенов претрейна
16/16вызовов инструментов
7.2%GSM8K EN (у 26M 2.0%)
6.6перплексия RU Wiki (у 26M 10.2)

N-Q-164M

Базовая модель: продолжает текст. 166.8M параметров + 58.7M n-грамм, 8 млрд токенов.

N-Q-164M-Chat

Чат-модель после SFT, рассуждений, DPO, GRPO и агентного RL. Точные вычисления через встроенный исполнитель.

Что это

Та же архитектура, что победила в абляции на 26M: Gated DeltaNet и обычное внимание в пропорции 3:1, Gated Residual на 4 потока и хэшированные n-граммы. Здесь всё больше: 16 слоёв вместо 8, ширина 896 вместо 512 и в 4 раза больше данных. Токенизатор общий с 26M, поэтому перплексии можно сравнивать напрямую.

База: насколько лучше 26M

Отложенный текст, перплексияN-Q-26MN-Q-164M
FineWeb-Edu (EN)10.87.4
Cultura-Ru-Edu (RU)14.29.3
Русская Википедия10.26.6

Чат: каждая стадия на счету

На 26M обучение с подкреплением почти ничего не давало, и мы выложили DPO-чекпоинт. На 164M каждая стадия добавляла понемногу, поэтому выложен последний чекпоинт.

ЧекпоинтИнструменты (16 задач)GSM8K ENGSM8K RU
N-Q-26M-Chat15/162.0%2.2%
164M, рассуждения16/165.0%3.4%
164M, DPO16/165.6%3.0%
164M, GRPO16/166.8%5.8%
N-Q-164M-Chat (агентный RL)16/167.2%6.2%

Пример: «Товар стоит 1250 рублей, скидка 15%. Сколько платить?» Модель сама пишет два вызова, 1250*15/100 и 1250-187.5, и отвечает: «Скидка 187.5 руб., итоговая цена 1062.5 руб.». Числа считает исполнитель, а модель решает, что считать.

Честно о слабых местах

7% на GSM8K — это всё ещё мало: модель правильно вызывает калькулятор, но многошаговые задачи не планирует. В фактах путается в деталях. Например, про фотосинтез пишет верно в целом, но говорит «выделяет кислород (CO2)». Стихи получаются складными, но без смысла. Агентные эпизоды из нескольких ходов модель так и не научилась доводить до верного ответа: прирост дал лучший вызов инструментов за один ход.

Как обучали

Всё на одной V100 16 ГБ. Претрейн на 8 млрд токенов занял около 117 часов. После него SFT 2.8 ч, рассуждения 0.9 ч, DPO 4.5 ч, GRPO 2 ч и агентный RL 3.2 ч. По пути претрейн однажды убили извне, и мы добавили супервизор с автоперезапуском. DPO в первый раз не влез в память, пришлось перейти на одну пару за шаг.

Дальше по линейке: N-Q-64M и MoE уже обучаются.

RELEASE · THE N-Q LADDER

N-Q-164M: the second rung, 6× larger and 4× better at math

A 164M base model and chat model, trained from scratch on one V100 with the same recipe as N-Q-26M, open under Apache 2.0.

8Bpretraining tokens
16/16tool calls
7.2%GSM8K EN (26M: 2.0%)
6.6RU Wiki perplexity (26M: 10.2)

N-Q-164M

Base model: text continuation. 166.8M parameters + 58.7M n-gram, 8B tokens.

N-Q-164M-Chat

Chat model after SFT, reasoning, DPO, GRPO and agentic RL. Exact computation through the built-in executor.

What it is

The architecture that won the 26M ablation, scaled up: Gated DeltaNet and gated attention 3:1, a 4-stream Gated Residual and hashed n-grams. 16 layers instead of 8, width 896 instead of 512, 4× the data. The tokenizer is shared with 26M, so the perplexities compare directly.

Base model vs 26M

Held-out perplexityN-Q-26MN-Q-164M
FineWeb-Edu (EN)10.87.4
Cultura-Ru-Edu (RU)14.29.3
Russian Wikipedia10.26.6

Chat: every stage counts

At 26M, RL did almost nothing and we released the DPO checkpoint. At 164M every stage added a little, so the release is the last checkpoint.

CheckpointTools (16 tasks)GSM8K ENGSM8K RU
N-Q-26M-Chat15/162.0%2.2%
164M, reasoning16/165.0%3.4%
164M, DPO16/165.6%3.0%
164M, GRPO16/166.8%5.8%
N-Q-164M-Chat (agentic RL)16/167.2%6.2%

Example: "An item costs 1250 roubles with a 15% discount. How much to pay?" The model writes two calls, 1250*15/100 and 1250-187.5, and answers "discount 187.5, final price 1062.5". The executor does the arithmetic; the model decides what to compute.

Honest weak spots

7% on GSM8K is still low: the model calls the calculator correctly but does not plan multi-step problems. Facts go wrong in the details (photosynthesis "releases oxygen (CO2)"); poems are fluent and meaningless. Multi-turn agentic episodes stayed near zero; the gain comes from better single-turn tool use.

Training

One V100 16GB: pretraining on 8B tokens ≈117 h, then SFT 2.8 h, reasoning 0.9 h, DPO 4.5 h, GRPO 2 h, agentic RL 3.2 h. Along the way pretraining was killed from outside once (we added a supervisor with auto-restart), and DPO first ran out of memory (now one pair per micro-batch).

Next on the ladder: N-Q-64M and the MoE are training.

发布 · N-Q 系列

N-Q-164M:系列第二级,规模大 6 倍,数学强 4 倍

164M 基座模型与聊天模型,在一张 V100 上按与 N-Q-26M 相同的流程从零训练,以 Apache 2.0 开源。

8B预训练词元
16/16工具调用
7.2%GSM8K 英语(26M:2.0%)
6.6俄语维基困惑度(26M:10.2)

N-Q-164M

基座模型:166.8M 参数 + 58.7M n-gram,80 亿词元。

N-Q-164M-Chat

经过 SFT、推理、DPO、GRPO 和智能体 RL 的聊天模型,通过内置执行器精确计算。

结果

检查点工具(16 题)GSM8K 英语GSM8K 俄语
N-Q-26M-Chat15/162.0%2.2%
N-Q-164M-Chat16/167.2%6.2%

留出困惑度(26M → 164M):FineWeb-Edu 10.8 → 7.4,Cultura-Ru-Edu 14.2 → 9.3,俄语维基 10.2 → 6.6。

不足

多步数学题仍然很弱(约 7%),事实细节常出错,多轮智能体任务几乎没有学会。

训练

一张 V100 16GB:预训练约 117 小时,之后 SFT 2.8 小时、推理 0.9 小时、DPO 4.5 小时、GRPO 2 小时、智能体 RL 3.2 小时。