Voici un schéma MVP “web only” avec Daily pour un agent vocal (ASR ↔ LLM ↔ TTS) — simple, robuste, et prêt à brancher vos “tools” (Odoo, CRM, etc.).

Schéma d’architecture (vue d’ensemble)

[React Client]  <--WebRTC-->  [Daily Room (SFU)]
     |  mic pub                              |  router audio
     |                                        \
     |                                         \ (tracks)
     |                                          \
     v                                           v
[Bot Worker] <------ webhooks ------ [Daily Webhooks]
     |                                     |
     |----> ASR (OpenAI) ------------------|
     |----> LLM tools (OpenAI)             |
     |----> TTS (OpenAI) ------------------|
     |                                     
     \--> publie une piste audio (réponse) --> (retransmis via Daily à l’utilisateur)

A- Composants

B- Flux temps réel (pas-à-pas)

1. Création/Config de room via REST (POST /rooms) — en audio-only pour réduire la latence/coût. docs.daily.co
2. Le client React rejoint la room et publie le micro. Le SDK permet de lister les participants/pistes. docs.daily.co+1
3. Webhook meeting.started déclenche le lancement du Bot Worker (s’il n’est pas déjà en veille). docs.daily.co
4. Le Bot rejoint la même room (auth côté serveur), souscrit à la piste audio de l’utilisateur.
5. Le Bot envoie l’audio à OpenAI ASR, appelle le LLM (avec function calling/tools pour vos services), puis TTS.
6. Le Bot publie sa piste audio de réponse dans la room. Le client la joue automatiquement (ex. <DailyAudioTrack/>). docs.daily.co
7. (Optionnel) Activez startTranscription() pour obtenir un transcript natif Daily + webhooks transcript.*. docs.daily.co+1

C- Squelettes de code (très concis)

Front React (audio-only minimal)

import DailyIframe from "@daily-co/daily-js";
import { useEffect, useRef } from "react";

export default function VoiceClient() {
  const callRef = useRef<any>(null);

  useEffect(() => {
    const call = DailyIframe.createCallObject({ audioSource: true, videoSource: false });
    callRef.current = call;
    (async () => {
      await call.join({ url: "https://<votre-sous-domaine>.daily.co/<room>" });
      await call.setLocalAudio(true);
    })();
    return () => call.leave();
  }, []);

  // Côté UI, abonnez-vous aux events "participant-updated" et
  // attachez la piste audio du bot via <audio> ou DailyAudioTrack.
  return null;
}

Docs : Get started, participants(), DailyAudioTrack. docs.daily.co+2docs.daily.co+2

Webhook (Node) — démarrage Bot sur meeting

app.post("/webhooks/daily", async (req, res) => {
  const event = req.body;
  if (event.type === "meeting.started") {
    // Démarrer/attacher le Bot Worker sur event.data.room
  }
  res.sendStatus(200);
});

Docs : Webhooks & events. docs.daily.co+1

Bot Worker — options d’implémentation

• Option A (Node pur) : @daily-co/daily-js + node-webrtc pour rejoindre la room côté serveur, souscrire la piste, puis publier l’audio TTS en retour.
• Option B (Python) : daily-python (blog officiel) pour accélérer l’intégration avec pipelines IA. Daily
• Option C (framework bot) : Pipecat avec DailyTransport (gère l’aller/retour audio et le branchement STT/LLM/TTS). docs.pipecat.ai

E- Checklist sécurité & prod

• Tokens courts côté client, règles de room minimales (audio-only, pas d’invités anonymes en prod). docs.daily.co
• Webhook signature + rate limiting.
• Isolation du Bot (une instance par room, auto-shutdown sur meeting.ended). docs.daily.co
• Fallback : si ASR/TTS indispo, bascule sur transcription Daily + TTS local/temporaire.