Local LLM
AI Core может использовать native local LLM provider, если runtime artifact поддерживает эту возможность. SDK users не нужен source crate model-llama-cpp; им нужен совместимый AI Core artifact и явный local .gguf model path.
Требования
Используйте AI Core runtime artifact с native local LLM support для вашей platform. Native acceleration - это деталь provider build, а не отдельный model-selection mode. Host может передать optional backend preference: auto, cpu или metal. Если значение не задано, provider использует auto. Provider показывает available backends в debug logging; host/UI не должны задавать build-time availability constants. Если preferred backend не инициализируется во время runtime, provider переходит на automatic backend selection без повторной попытки провалившегося preferred backend.
Provider ожидает .gguf model file. AI Core не сканирует model directories и не выбирает model автоматически за host. Храните выбранный путь к model в host-owned settings и передавайте его через runtime config или process boundary.
Runtime config
Host-owned config snapshot и model-selection fields описаны в Runtime Contracts. Там показаны supported models entries, model_selection rules и LocalModelConfig, который host code передаёт в AI Core.
Не полагайтесь на implicit model discovery. Host должен сам разрешить путь к .gguf и передать выбранный file path в AI Core через runtime config или process boundary.
Preference backend может быть global или per model. local_llm.backend применяется ко всем local LLM моделям. models[].local.backend переопределяет его для одного .gguf model, что позволяет host запускать маленький routing model на GPU, а более крупный default model - на CPU.
Рекомендации по поставке
Для desktop apps храните model files в app-managed resource/cache location и сохраняйте выбранный путь в host settings. Для services монтируйте models в стабильный путь, например /opt/ai-core/models/llm.
Не полагайтесь на current working directory, пути из source tree или implicit model discovery. Рассматривайте путь к .gguf как явную host configuration.