О проекте · Frozerti

Цель

Сделать полезный универсальный локальный ИИ доступнее на оборудовании людей и небольших команд: ноутбуках, домашних компьютерах и небольших серверах.

Нас интересует качество работы в пределах ресурсов устройства. Мы учитываем память, передачу данных, объём вычислений и время ответа, а также потребности программ, работающих рядом с моделью.

Почему локальный ИИ

Локальная работа даёт больше контроля над данными, меньше зависимости от внешних сервисов и возможность работать без постоянного соединения. А когда модель умеет больше в тех же ресурсах, полезный помощник становится доступен на оборудовании, которое уже есть у людей.

Текущая работа

Исследуем модель, которой для текущей задачи нужна в VRAM лишь небольшая часть экспертов — частей модели с разными возможностями. Цель — уменьшить потребность в видеопамяти, сохранив качество и скорость ответа.

Сейчас идея проверяется на небольших экспериментальных моделях. Мы разрабатываем решения и смотрим, как они осваивают новые задачи и переносят результат на незнакомые примеры — отдельно на одиночных и на многошаговых задачах.

Последняя повторная проверка показала улучшение на новых задачах. Следующая цель — многошаговые задачи и устойчивый результат в повторных испытаниях.

Как мы проверяем результаты

Сравниваем решения в сопоставимых условиях.
Проверяем результат на новых примерах и отдельно оцениваем полные ответы.
Различаем исправление инструмента, диагностическое наблюдение и подтверждение гипотезы.
Публикуем и положительные, и отрицательные результаты — вместе с границами выводов.
Проверяем выводы по исходным данным.

Журнал исследований

В журнале — ключевые записи текущего исследования: что проверили, что обнаружили, что исправили и что показала повторная проверка. Ранние испытания собраны в краткую предысторию.

Если опубликованный вывод уточняется, рядом с записью появляется датированное дополнение — история проверок остаётся видимой.

Проект находится на стадии исследований и экспериментальной разработки.

Журнал исследований