N-Q-26M-JEV-1027
Модель решений: вместо текста она за один проход выдаёт выбор из вариантов, оценку по шкале или вероятность «да» — с откалиброванными вероятностями. Это N-Q-26M-Chat с головой решений, работает прямо в этой вкладке. Обновление 27 октября: заметно сильнее в логике, ловушках и проверке фактов по тексту, плюс новые решения для чата — нужен ли калькулятор и стоит ли подумать перед ответом.
A decision model: instead of text it returns, in one forward pass, a choice among options, a level on a scale or a probability of "yes" — with calibrated probabilities. It is N-Q-26M-Chat with a decision head, running right in this tab. October 27 update: much stronger at logic, trick questions and checking claims against a text, plus new chat decisions — does the reply need the calculator, should the model think first.
一个决策模型：它不生成文本，而是一次前向计算给出选项中的选择、量表上的等级或"是"的概率 —— 概率经过校准。它是带决策头的 N-Q-26M-Chat，直接在这个标签页里运行。10 月 27 日更新：在逻辑推断、陷阱问题和依据文本核查事实方面明显更强，并新增了聊天决策 —— 是否需要计算器、回答前是否需要思考。
Примеры использования
Use cases
应用示例
Та же модель в разных интерфейсах — так JEV встраивается в продукты.
The same model behind different interfaces — this is how JEV fits into products.
同一个模型，不同的界面 —— JEV 就是这样嵌入产品的。
Конструктор решений
Decision playground
决策试验场
Где модель сильна, а где нет
Where it is good, and where it is not
它擅长什么，不擅长什么
| Задача | Task | 任务 | % | Случайно | Chance | 随机 |
|---|---|---|---|---|---|---|
| needs the calculator? / нужен ли калькулятор (new) | 98.3 | 50 | ||||
| think before answering? / думать ли перед ответом (new) | 99.2 | 50 | ||||
| reply ↔ question / ответ ↔ вопрос | 98–99 | 25–50 | ||||
| news topic / тематика новостей | 89.5 | 25 | ||||
| tool call correct / вызов инструмента верный (new) | 87.5 | 50 | ||||
| request topic / тема запроса (6) | 79.8 | 17 | ||||
| toxicity (ru) / токсичность | 79.5 | 50 | ||||
| sentiment / тональность | 79.2 | ~40 | ||||
| claim supported by the text / утверждение подтверждается текстом (new) | 76.8 | 50 | ||||
| MNLI, held out / логика, вне обучения | 72.5 (was 64.7) | 33 | ||||
| ANLI r1, adversarial, held out / логика с ловушками | 43.3 (was 23.7) | 33 | ||||
| FalseQA, false premises, held out (AUROC) / ложные предпосылки | 0.61 (was 0.44) | 0.5 | ||||
| which answer is better / какой ответ лучше | 68.3 | 50 | ||||
| JevBench public, held out / внешний бенчмарк | 46.3 | — |
Модель хорошо решает задачи тех типов, на которых обучена, и её вероятности честные (средняя ошибка калибровки 0.065). На внешних тестах, которых она не видела, обновление дало +8 пунктов в логике (MNLI), +20 в логике с ловушками (ANLI r1) и рост с 0.44 до 0.61 в поиске ложных предпосылок — там 26M теперь обгоняет NLI-модели в 3 раза крупнее. Вопросы, требующие знаний и многошагового рассуждения, по-прежнему не по силам 26M. Веса — model.q8.qpack (47 МБ, QPACK2); расчёт в браузере сверен с PyTorch (расхождение вероятностей 5·10⁻⁵). Подробнее — в посте об обновлении и разборе JEV; веса — на Hugging Face.
The model is good at the task families it was trained on, and its probabilities are honest (mean calibration error 0.065). On held-out tests it never saw, the update adds +8 points on plain NLI (MNLI), +20 on adversarial NLI (ANLI r1) and lifts false-premise detection from 0.44 to 0.61 AUROC — there the 26M model now beats NLI models 3× its size. Questions that need knowledge or multi-step reasoning are still beyond 26M. Weights: model.q8.qpack (47 MB, QPACK2); the in-browser computation is checked against PyTorch (probabilities within 10⁻⁴). More in the update post and the JEV writeup; weights on Hugging Face.
模型擅长它训练过的任务类型，概率也是真实可信的（平均校准误差 0.065）。在从未见过的测试上，此次更新让常规推断（MNLI）提升 8 个百分点、对抗推断（ANLI r1）提升 20 个百分点，虚假前提检测从 0.44 提升到 0.61 AUROC —— 在这些任务上 26M 已超过 3 倍大小的 NLI 模型。需要知识或多步推理的问题仍超出 26M 的能力。权重：model.q8.qpack（47 MB，QPACK2）；浏览器中的计算已与 PyTorch 对齐（概率误差小于 10⁻⁴）。详见 更新说明和 JEV 介绍；权重见 Hugging Face。