Архитектуру выбрали абляцией

Вместо того чтобы сразу брать нашу тернарную Q-архитектуру, мы обучили три кандидата одного размера на одинаковых данных (0.5 млрд токенов, одно расписание) и сравнили loss на отложенных данных:

B выиграл с большим отрывом и стал архитектурой всей линейки. Тернарные веса на таком размере стоят слишком дорого по качеству.

Архитектура

• 8 слоёв: три слоя Gated DeltaNet (линейное внимание с рекуррентным состоянием) на один слой обычного внимания с гейтом, и так дважды.
• Gated Residual: четыре параллельных residual-потока вместо одного.
• n-грамм-эмбеддинг после второго слоя: хеши 2- и 3-грамм в отдельные таблицы, 16.8M параметров считаем отдельно от основы.
• Словарь 8 256 токенов: byte-level BPE для русского и английского, цифры по одной + управляющие токены.
• Точные вычисления, как в Q-164M: модель пишет <CALC>4821*37<EQ>, исполнитель вписывает 178377. Арифметика, даты, дни недели, единицы, сортировка, проценты, простые числа.

Обучение

Скорость претрейна — 85 тыс. токенов/с: без torch.compile видеокарта простаивала половину времени, с ним обучение стало в 4.4 раза быстрее. Мы также прогнали GRPO, PPO и агентный RL — на 26M параметрах они не дали прироста, поэтому в релиз пошла DPO-версия.

Результаты

Модель уверенно держит форму диалога и правильно вызывает калькулятор, но путает факты, зацикливается в длинных ответах и не решает многошаговые задачи: калькулятор делает каждое вычисление точным, но план решения модель составить не может. В длинном диалоге она реже решает позвать инструмент.

QBench

В QBench модели сравниваются без исполнителя инструментов — только то, что сеть генерирует сама.

По знаниям N-Q-26M на уровне distilgpt2, на TruthfulQA — наравне с моделями в 5–20 раз крупнее (разница в пределах погрешности при 100 вопросах). Задачи с инструментами без исполнителя модель не решает: она правильно записывает выражение, но число угадывает сама.

Чат в браузере

Чат на сайте теперь работает на N-Q-26M-Chat. Модель, токенизатор и исполнитель переписаны на обычный JavaScript: 47 МБ весов в формате QPACK2 (int8), вычисления в WebAssembly с SIMD — около 75 токенов в секунду, никакого сервера. Прогон в браузере сверен с PyTorch: логиты расходятся не больше чем на 2·10⁻⁵, жадная генерация совпадает токен в токен. Прошлый чат с Q-U-164M — на отдельной странице.

N-Q-26M-JEV: модель решений

Из того же чекпоинта сделали вариант в духе Jev: вместо текста он за один проход выдаёт выбор из вариантов, оценку по шкале или вероятность «да» с откалиброванными вероятностями. Хорошо работает на задачах, на которых обучен (сопоставление вопроса и ответа — 98–99%, тематика — 81–89%, токсичность и тональность — 78–80%); новые типы вопросов решает около случайного уровня. Демо в браузере, разбор, веса.

Что дальше

N-Q-26M — младшая модель линейки. Сейчас обучается N-Q-164M (8 млрд токенов), за ней — 64M и MoE-вариант. Будут обновления.

The architecture was chosen by an ablation

Instead of reaching for our ternary Q architecture by default, we trained three candidates of the same size on identical data (0.5B tokens, one schedule) and compared held-out loss:

B won by a wide margin and became the architecture of the whole ladder. At this size, ternary weights cost too much quality.

Architecture

• 8 layers: three Gated DeltaNet layers (linear attention with a recurrent state) per one gated full-attention layer, twice.
• Gated Residual: four parallel residual streams instead of one.
• n-gram embedding after layer 2: 2- and 3-gram hashes into separate tables; its 16.8M parameters are counted apart from the backbone.
• An 8,256-token vocabulary: byte-level BPE for Russian and English, digits one per token, plus control tokens.
• Exact computation, as in Q-164M: the model writes <CALC>4821*37<EQ> and the executor fills in 178377. Arithmetic, dates, weekdays, units, sorting, percentages, primes.

Training

Pretraining ran at 85k tokens/s: without torch.compile the GPU sat idle half the time; with it, training got 4.4× faster. We also ran GRPO, PPO and agentic RL — at 26M parameters they gave no gain, so the DPO checkpoint is the release.

Results

The model holds the shape of a dialogue and calls the calculator correctly, but it gets facts wrong, loops in long answers and does not solve multi-step problems: the calculator makes each computation exact, but the model cannot plan a solution. Deep into a conversation it is less likely to call a tool.

QBench

QBench compares models without a tool executor — only what the network generates itself.

On knowledge N-Q-26M is at the level of distilgpt2; on TruthfulQA it is level with models 5–20× larger (the difference is within the error of a 100-question set). Without an executor it does not solve tool tasks: it writes the expression correctly but guesses the number itself.

Chat in the browser

The site chat now runs N-Q-26M-Chat. The model, tokenizer and executor were rewritten in plain JavaScript: 47 MB of weights in QPACK2 format (int8), computed in WebAssembly with SIMD — about 75 tokens/s, no server. The in-browser forward pass is checked against PyTorch: logits within 2·10⁻⁵, greedy generation identical token for token. The previous Q-U-164M chat is on its own page.

N-Q-26M-JEV: a decision model

From the same checkpoint we made a Jev-style variant: instead of text it returns, in one forward pass, a choice among options, a level on a scale or a probability of "yes", with calibrated probabilities. It is good at the tasks it was trained on (question–answer matching 98–99%, topics 81–89%, toxicity and sentiment 78–80%); new kinds of questions it answers near chance. Demo in the browser, writeup, weights.

What's next

N-Q-26M is the smallest model of the ladder. N-Q-164M (8B tokens) is training now, followed by 64M and an MoE variant. More updates soon.

架构由消融实验选出

我们没有直接采用自己的三元 Q 架构，而是在相同数据（5 亿词元、同一训练计划）上训练了三个同等规模的候选，并比较留出数据上的 loss：

B 以明显优势胜出，成为整个系列的架构。在这个规模上，三元权重对质量的代价太大。

架构

• 8 层：每三层 Gated DeltaNet（带循环状态的线性注意力）配一层带门控的全注意力，重复两次。
• Gated Residual：四条并行的残差流，而不是一条。
• 第 2 层之后的 n-gram 嵌入：2-gram 和 3-gram 的哈希映射到独立的表中，其 16.8M 参数与主干分开统计。
• 8,256 词元的词表：面向俄语和英语的字节级 BPE，数字逐个切分，另有控制词元。
• 与 Q-164M 相同的精确计算：模型写出 <CALC>4821*37<EQ>，执行器填入 178377。支持算术、日期、星期、单位换算、排序、百分比、质数。

训练

预训练速度为每秒 8.5 万词元：不用 torch.compile 时 GPU 一半时间在空转，用了之后训练快了 4.4 倍。我们也跑了 GRPO、PPO 和智能体 RL —— 在 26M 参数上没有带来提升，所以发布的是 DPO 版本。

结果

模型能保持对话形式并正确调用计算器，但会弄错事实，在长回答中陷入重复，也解不了多步应用题：计算器让每一步计算都精确，但模型无法规划解题步骤。在较长的对话中，它调用工具的可能性会降低。

QBench

QBench 在没有工具执行器的情况下比较模型 —— 只看网络自己生成的内容。

在知识类测试上，N-Q-26M 与 distilgpt2 相当；在 TruthfulQA 上与大 5–20 倍的模型持平（在 100 道题的样本下，差异处于误差范围内）。没有执行器时，它解不了工具类任务：表达式写得对，但数字是自己猜的。

浏览器中的聊天

网站聊天现在运行的是 N-Q-26M-Chat。模型、分词器和执行器都用普通 JavaScript 重写：QPACK2 格式（int8）的 47 MB 权重，在带 SIMD 的 WebAssembly 中计算 —— 每秒约 75 个词元，不需要服务器。浏览器中的前向计算已与 PyTorch 对齐：logits 误差在 2·10⁻⁵ 以内，贪心生成逐词元一致。之前的 Q-U-164M 聊天在单独的页面。

N-Q-26M-JEV：决策模型

我们用同一个检查点做了一个类似 Jev 的版本：它不生成文本，而是一次前向计算给出选项中的选择、量表上的等级或"是"的概率，概率经过校准。在训练过的任务上表现良好（问答匹配 98–99%、主题 81–89%、毒性和情感 78–80%）；新类型的问题则接近随机。浏览器演示、详细介绍、权重。

接下来

N-Q-26M 是这个系列中最小的模型。N-Q-164M（80 亿词元）正在训练，之后是 64M 和 MoE 版本。后续会有更新。