Почему 1027

Номер версии — это дата, как у DeepSeek: V3-0324 вышла 24 марта, R1-0528 — 28 мая. 1027 значит 27 октября. Интерфейс тот же, что у прошлой N-Q-26M-JEV, новые только веса. Следующие обновления получат свою дату, старые версии никуда не денутся.

Что изменилось

• Данные openjev. Взяли 156 тыс. примеров из открытого набора openjev-data: логика (NLI), следование инструкциям, вызовы инструментов, верность источнику, вопросы с подвохом, решения сильной модели-учителя. Плюс ещё 206 тыс. NLI-пар.
• Учитель. На английских задачах модель учится не только на правильном ответе, но и на распределении вероятностей учителя — NLI-модели ModernCE-base (150M). Половина «правильный ответ», половина «как думает учитель»: маленькой модели так проще уловить, где граница между вариантами.
• Длинный контекст. Текст читается до 1536 токенов, а не до 640.
• Решения для чата. «Понадобится ли точное вычисление?» и «нужно ли рассуждать перед ответом?» — 98.3% и 99.2% на отложенных примерах. В экспериментальном чате JEV теперь сам включает размышление, когда вопрос этого требует.

Честное сравнение

На этих тестах модель не училась. Маленькие NLI-модели мы прогнали сами на тех же задачах, строка openjev-4B — из его карточки.

Где выросли: логика с ловушками (ANLI) и ложные предпосылки — 26M обгоняет DeBERTa-xsmall и MiniLM, которые в 3 раза больше, и догоняет 150-миллионную ModernCE. Обычная логика (MNLI) выросла на 8 пунктов, но до специализированных моделей ещё далеко: их учили на миллионе пар в несколько эпох. На JevBench в целом — без изменений: трудные задачи лучше, средние хуже. Все модели до 150M на нём упираются примерно в 50%, модели на 4B — совсем другая лига.

Что не получилось

• Судья решений. Модель уверенно отличает верные решения математических задач от неверных (AUC 0.98), но в основном потому, что отличает лёгкие задачи от трудных. Если чат-модель решает задачу 8 раз, выбор судьи поднимает точность только с 14.5% до 16% при потолке 22%. Попарное сравнение решений тоже не помогло — на 26M-чате почти не бывает задач, где одно решение верное, а другое нет.
• LLMBar (какой из двух ответов лучше выполняет инструкцию) остался около угадывания у всех маленьких моделей, включая нашу.
• Учитель покрупнее. Хотели учить у openjev-2B, но на V100 он работает слишком медленно: разметка заняла бы больше суток.

Попробовать

Демо JEV работает прямо в браузере (47 МБ, QPACK2, расчёт сверен с PyTorch). Веса, оба файла qpack и карточка модели — на Hugging Face. В демо есть новые примеры: «нужен калькулятор?», проверка утверждения по тексту, логика с подвохом.

Что дальше

Главное ограничение — размер. Следующий шаг — тот же рецепт на базе N-Q-164M, которая сейчас дообучается; затем больше данных NLI и «зрение»: решения по картинке.

Why 1027

The version number is a date, the DeepSeek way: V3-0324 came out on March 24, R1-0528 on May 28. 1027 means October 27. Same interface as the previous N-Q-26M-JEV, new weights; future updates get their own date and old versions stay available.

What changed

• openjev data. 156k examples from the open openjev-data set: NLI, instruction following, tool calls, faithfulness to a source, trick questions, decisions of a strong teacher — plus 206k more NLI pairs.
• A teacher. On the English tasks the model learns not only the right answer but the probability distribution of a teacher, the ModernCE-base NLI model (150M): half "the right answer", half "what the teacher thinks". It shows a small model where the boundaries between options lie.
• Longer context. Texts are read up to 1536 tokens instead of 640.
• Decisions for chat. "Will this need an exact computation?" and "should the assistant reason first?" — 98.3% and 99.2% on held-out examples. In the experimental chat JEV now turns on thinking by itself when a question calls for it.

An honest comparison

The model never trained on these tests. We ran the small NLI models ourselves on the same items; the openjev-4B row is from its model card.

Where it grew: adversarial logic (ANLI) and false premises — the 26M model beats DeBERTa-xsmall and MiniLM, three times its size, and catches up with the 150M ModernCE. Plain NLI went up 8 points but is still far from the specialised models, which were trained on a million pairs for several epochs. JevBench overall is unchanged: better on the hard tier, worse on the standard one. Every model up to 150M lands around 50% there; the 4B models play in another league.

What did not work

• The solution judge. It separates right from wrong math solutions with AUC 0.98 — mostly by telling easy problems from hard ones. When the chat model solves a problem 8 times, picking with the judge lifts accuracy only from 14.5% to 16% (the ceiling is 22%). Pairwise comparison did not help either: the 26M chat model almost never has one right and one wrong solution for the same problem.
• LLMBar (which of two answers follows the instruction) stays near chance for every small model, ours included.
• A bigger teacher. We wanted openjev-2B as the teacher, but it is too slow on a V100: labelling would have taken more than a day.

Try it

The JEV demo runs in your browser (47 MB, QPACK2, checked against PyTorch). Weights, both qpack files and the model card are on Hugging Face. The demo has new examples: "needs a calculator?", checking a claim against a text, tricky logic.

What's next

Size is the main limit. Next: the same recipe on top of N-Q-164M, which is still pretraining; then more NLI data and vision — decisions about an image.

为什么是 1027

版本号就是日期，和 DeepSeek 一样：V3-0324 发布于 3 月 24 日，R1-0528 发布于 5 月 28 日。1027 即 10 月 27 日。接口与之前的 N-Q-26M-JEV 相同，只是权重更新；之后的更新会有各自的日期，旧版本保留。

改动

• openjev 数据。来自开放数据集 openjev-data 的 15.6 万条样本：自然语言推断、指令遵循、工具调用、忠实于来源、陷阱问题、强教师模型的决策，另加 20.6 万对 NLI。
• 教师模型。在英文任务上，模型不仅学习正确答案，也学习教师 ModernCE-base（150M）的概率分布：一半是正确答案，一半是教师的判断。
• 更长的上下文。文本最多读取 1536 个词元，而不是 640。
• 聊天决策。「是否需要精确计算？」和「回答前是否需要推理？」—— 在留出样本上分别为 98.3% 和 99.2%。在实验聊天中，JEV 会在问题需要时自动开启思考。

诚实的对比

模型从未在这些测试上训练过。小型 NLI 模型由我们在相同题目上运行，openjev-4B 一行取自其模型卡。

提升之处：对抗推断（ANLI）和虚假前提 —— 26M 超过了大 3 倍的 DeBERTa-xsmall 和 MiniLM，并追上了 150M 的 ModernCE。常规 NLI 提升 8 个百分点，但距离专门模型仍远。JevBench 总体不变：困难题更好，标准题更差。150M 以内的模型都在 50% 左右，4B 模型完全是另一个级别。

没成功的部分

• 解题评判。它区分数学题正确与错误解答的 AUC 为 0.98，但主要靠区分题目难易。聊天模型对同一道题解 8 次时，评判的选择只把准确率从 14.5% 提升到 16%（上限 22%）。
• LLMBar（两个回答中哪个更好地遵循指令）对所有小模型都接近随机，包括我们的。
• 更大的教师。本想用 openjev-2B 作教师，但它在 V100 上太慢，标注需要一天以上。

试用

JEV 演示直接在浏览器中运行（47 MB，QPACK2，已与 PyTorch 对齐）。权重、两个 qpack 文件和模型卡见 Hugging Face。演示新增示例：「需要计算器？」、依据文本核查论断、带陷阱的逻辑题。

接下来

主要限制是规模。下一步：在仍在预训练的 N-Q-164M 上使用同样的方法；然后是更多 NLI 数据和视觉 —— 针对图片做决策。