Runtime Architecture

High-level model

Orchestration

O runtime centraliza a decisão de what should happen next. As camadas trabalham como um sistema coordenado: cada etapa recebe estado suficiente da anterior, acrescenta contexto operacional e devolve sinais para a próxima decisão.

Single voice pipeline

Independentemente de câmera, compartilhamento de tela ou Canal de Texto, a saída de voz deve passar por uma única instância coordenada. Isso evita overlapping speech e respostas duplicadas.

Observability

Estados relevantes podem alimentar o ST4.AI Status. A documentação separa product behavior de operational health: uma coisa explica como o recurso deveria funcionar; a outra mostra como ele está agora.

Module manifest

O runtime não é um único processo monolítico: é um conjunto de módulos internos, cada um com sua própria stack, coordenados pelo ST4 Shell. O manifest abaixo resume como responsabilidades diferentes se conectam dentro do ST4 Runtime e como cada módulo participa do ciclo de execução.

{
  "st4_shell": {
    "role": "Desktop shell, janelas e orquestração geral",
    "stack": "TypeScript · Electron"
  },
  "st4_audio_engine": {
    "role": "Captura de voz, VAD, ativação e módulo de música",
    "stack": "C++ · Rust (DSP) · Python (bridge)"
  },
  "st4_vision_kernel": {
    "role": "Normalização de imagem e vídeo, amostragem de frames",
    "stack": "Python · C++ (inference bridge)"
  },
  "st4_nlp_core": {
    "role": "Normalização de texto, entidades e interpretação de intenção",
    "stack": "Python"
  },
  "st4_automation_bridge": {
    "role": "Automação de desktop e integrações com o sistema operacional",
    "stack": "C# · PowerShell"
  },
  "st4_smm_lm": {
    "role": "Biblioteca interna de LLMs disponíveis ao runtime",
    "stack": "Python · gRPC"
  }
}

Modality pipeline

Antes de qualquer módulo de capability decidir o que fazer, o input passa por um estágio de normalização específico para sua modalidade: ver Reports by modality na API Reference para o contract observável de cada uma.