swiftclf-tuna
Двуязычная (RU/EN) иерархическая intent-классификация для маршрутизации AI-ассистентов. AI-orchestrated research: selective prediction, калибровка, CPU-first деплой.
ИСТОЧНИК: РУЧНОЙ README
swiftclf-tuna — двуязычная (RU/EN) иерархическая система классификации intents для маршрутизации AI-ассистентов. По одному сообщению пользователя модель определяет тип запроса и выбирает route: retrieval, generation, tools, agent execution, clarification или fallback.
Методология: AI-orchestrated research
Проект не позиционируется как самостоятельное академическое исследование, выполненное вручную. Моя роль — постановка задачи, дизайн таксономии и критериев оценки, направление автономного LLM-agent workflow, проверка ключевых решений и human-in-the-loop валидация результатов. Реализация, эксперименты и документация выполнялись агентным workflow с планированием, контр-ревью и итеративной проверкой.
Актуальные метрики
| Метрика | Значение |
|---|---|
| Таксономия | 4 L1 / 22 L2 классов |
| Holdout set | 2 625 примеров |
| Coverage | 85.14% |
| Accepted accuracy | 87.07% |
| Top-1 / Top-2 accuracy | 80.88% / 89.68% |
| Coverage @ Risk ≤ 0.14 | 87.24% |
| Expected Calibration Error | 0.061 |
| p95 latency (1 CPU-ядро) | 77 ms |
| Размер модели | 278M параметров |
Selective prediction с fallback-веткой и risk-aware метриками; воспроизводимая оценка на holdout; CPU-first деплой. Артефакты включают model cards, training / eval pipelines и holdout-отчёты.
Метрики отражают текущий проверяемый результат agent-assisted workflow. Проект не подаётся как SOTA claim или завершённая академическая публикация.
Публичный репозиторий: github.com/ascorblack/swiftclf-tuna-research