Как мы считаем рейтинг нейросетей

Что входит в балл

Балл собирается из трёх частей: способности модели (основной вес), надёжность и скорость ответа. Способности решают большую часть итога, надёжность и скорость — доводят оценку. Каждая часть приводится к общей шкале, а итог нормируется к текущему лидеру рейтинга, поэтому «10» — это ориентир на сильнейшую модель на сегодня, а не абсолютный предел.

Как мы оцениваем способности

Способности мы оцениваем по независимым публичным бенчмаркам (общие знания, программирование, рассуждение) и по собственным прогонам на реальных вопросах. Наружу мы показываем свою сводную оценку 0–10, а не сырые числа сторонних бенчмарков — так честнее и не вводит в заблуждение точностью, которой у отдельного теста нет.

Надёжность и скорость — из наших замеров

Надёжность и скорость берутся из нашей телеметрии за последние 30 дней: доля успешных ответов и медианное время ответа на живых запросах. Модель без достаточного числа замеров получает медианное значение по остальным — иначе работающие флагманы наказывались бы реальными цифрами, а неизмеренные сидели бы на льготе.

Цена и контекст

Цену и размер контекста мы берём из открытого каталога OpenRouter. «Цена вопроса ≈N ₸» на страницах — это иллюстрация по среднему профилю вопроса; реальный счёт считается по факту потраченных токенов, а не по этой оценке.

Как часто обновляется

Цены, доступность и оценки способностей подтягиваются автоматически каждый час. Составы «Максимум» и «Эконом» пересобираются по свежему баллу, поэтому позиции моделей и цифры на страницах меняются без ручного вмешательства.

Чего балл не заменяет

Балл сравнивает модели на общих задачах — он не гарантирует, что лидер окажется лучшим именно на вашем вопросе. Для важных решений (деньги, здоровье, право) один ответ любой нейросети стоит перепроверять. Ровно это и делает КьюВи: задаёт вопрос нескольким сильным моделям и показывает, где они согласны, а где расходятся.