AI Systems Engineer LLM Agent Architect Астана · Казахстан

Тихонов Александр.

Проектирую production-системы вокруг LLM: RAG-сервисы, оркестрацию агентов, семантический поиск и self-hosted инференс — под жёсткие ограничения по latency и cost.

Открыть резюме → Смотреть системы
2.5+
лет production AI
20
вузов в пилоте
7500+
тестов Protocore

Типовая архитектура

РИС. 1 · ОБЩИЙ ВИД
chat / web-клиентыSSE-стриминг · RU/ENв проде: LanGPT · Protocore Chat
admin dashboardcontrol plane · RBACв проде: Protocore Dashboard
API · оркестрация агентовFastAPI · контракты · quality gatesв проде: LanGPT API · Protocore Runtime
поискBM25 + kNN + RRFв проде: Поиск 2.0 · AI-Snippets
LLM-инференсvLLM · балансировщикв проде: LanGPT · AI-Snippets
sandboxgVisor · k8s podsв проде: Protocore Sandbox
инфраструктураKubernetes · Helm · Prometheus · RabbitMQ · Redis · Postgresв проде: ЭБС «Лань» · Protocore
СХЕМА СТЕКА, С КОТОРЫМ Я РАБОТАЮ · НАВЕДИТЕ НА УЗЕЛ — ГДЕ ЭТО В ПРОДЕ

Так удобнее показать стек, чем списком. Целиком эта схема реализована в моей self-hosted платформе Protocore.

Индекс систем

7 позиций · 2024—2026
SYS—01
PROD

LanGPT

RAG/LLM-ассистент для академических задач в ЭБС «Лань». Публичный API с JWT и SSE, RAG поверх Elasticsearch, балансировщик LLM-бэкендов, модерация.

20 вузов в пилоте
37 000+ запросов
6 500 пользователей
→ SYS—02
PROD

AI-Snippets

Сниппет-ответы над поисковой выдачей ЭБС: кэш, BM25+RRF, quality gate, circuit breaker, graceful degradation. Стресс-тест: 13,2 часа без единой инфраструктурной ошибки.

55 200 запросов · 0 × 5xx
медиана 4.6 s / SLA 5 s
→ SYS—03
PROD

Поиск 2.0

Поисковая платформа ЭБС: гибрид BM25 и векторного поиска, классификатор области знаний, spell-checker, поиск по видео. Все ML-компоненты — CPU-only.

hybrid BM25 + kNN + RRF
ML: CPU-only
→ SYS—04
BETA

Protocore

Self-hosted платформа оркестрации AI-агентов для организаций с требованиями data sovereignty. Founder / solo: ядро, enterprise-бэкенд, sandbox, чат, дашборд, Helm-деплой.

~15 репозиториев · ~440k LOC
7500+ тестов · coverage 96%
→ SYS—05
R&D

swiftclf-tuna

Двуязычная (RU/EN) иерархическая intent-классификация для маршрутизации AI-ассистентов. AI-orchestrated research: selective prediction, калибровка, CPU-first деплой.

accuracy 87.07% · ECE 0.061
p95 77 ms / 1 CPU
→ SYS—06
OSS

AI Audit Kit

Переносимый .audit-стандарт: превращает AI-аудит кода, triage и массовые фиксы в воспроизводимый pipeline с артефактами вместо чат-сессий.

audit → triage → fix → review
open source
→ SYS—07
OSS

Agent Tooling

Инструменты для автономных агентов: notify-telegram-cli — уведомления без зависимостей, kb-genesis — базы знаний для агентных сред, LightUniLLM — лёгкий LLM-фреймворк.

notify-cli · kb-genesis · LightUniLLM
github.com/ascorblack
→

Профиль

С января 2024 — AI Systems Engineer в ЭБС «Лань»: отвечаю за backend и инфраструктурную реализацию ключевых AI-сервисов компании, от архитектуры до production support в Kubernetes.

Параллельно — founder ascorblack-labs: Protocore, self-hosted платформа AI-агентов, целиком на собственной инфраструктуре (GitLab, Harbor, k3s).

Сильная сторона — инженерия production-систем вокруг LLM, а не generic-обучение моделей: надёжность, наблюдаемость, деградация без ошибок наружу.

Спецификация

  • LLM / RAG / агентная оркестрацияcore
  • Python · FastAPI · asynciocore
  • Elasticsearch · BM25 + kNN + RRFcore
  • vLLM · локальный инференсcore
  • Kubernetes · Helm · gVisorops
  • RabbitMQ · Redis · PostgreSQLdata
  • Prometheus · Grafana · OTLPobs
  • Next.js · React — фронт платформui

Статьи

1 документ(ов)
DOC—01

AI Audit Kit: воспроизводимый стандарт для AI-аудита больших codebase

Формализованный взгляд на AI Audit Kit как на переносимый standard operating framework для аудита, triage, автоматического bug fixing и независимого review-loop.

→