ChatGPT ਵਿੱਚ ਘੱਟ ਲੇਟੈਂਸੀ ਵਾਲੇ ਵੌਇਸ ਮੋਡ ਲਈ Silero VAD v6 ਨੂੰ ਕਿਵੇਂ ਇੰਟੀਗ੍ਰੇਟ ਕਰਨਾ ਹੈ

ਨਿਰਵਿਘਨ ਮਨੁੱਖ-ਏਆਈ ਵੌਇਸ ਇੰਟਰੈਕਸ਼ਨ ਦਾ ਸੁਪਨਾ ਹਮੇਸ਼ਾ ਇੱਕ ਲਗਾਤਾਰ ਰੁਕਾਵਟ ਕਾਰਨ ਰੁਕਿਆ ਰਿਹਾ ਹੈ: ਲੇਟੈਂਸੀ। ਸਾਲਾਂ ਤੋਂ, ਵੌਇਸ-ਯੋਗ ChatGPT ਇੰਟਰਫੇਸ ਬਣਾਉਣ ਵਾਲੇ ਡਿਵੈਲਪਰ “ਅਜੀਬ ਵਿਰਾਮ” ਨਾਲ ਜੂਝ ਰਹੇ ਸਨ—ਉਹ ਅੱਧੀ ਸਕਿੰਟ ਦਾ ਅੰਤਰਾਲ ਜਿੱਥੇ ਏਆਈ ਇਹ ਤੈਅ ਕਰਨ ਲਈ ਇੰਤਜ਼ਾਰ ਕਰਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਬੋਲਣਾ ਖਤਮ ਕਰ ਦਿੱਤਾ ਹੈ ਜਾਂ ਸਿਰਫ਼ ਸਾਹ ਲੈਣ ਲਈ ਰੁਕੇ ਹੋ। 2026 ਵਿੱਚ, Silero VAD v6 (ਵੌਇਸ ਐਕਟੀਵਿਟੀ ਡਿਟੈਕਸ਼ਨ) ਦੇ ਵਿਆਪਕ ਅਪਣਾਏ ਜਾਣ ਕਾਰਨ ਇਹ ਅੰਤਰਾਲ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਖਤਮ ਹੋ ਗਿਆ ਹੈ।

ਜੇ ਤੁਸੀਂ ਇੱਕ ਵੌਇਸ ਏਜੰਟ, ਇੱਕ ਰੀਅਲ-ਟਾਈਮ ਚੈਟਬੋਟ, ਜਾਂ ਇੱਕ ਕਸਟਮ ChatGPT ਇੰਟਰਫੇਸ ਬਣਾ ਰਹੇ ਹੋ, ਤਾਂ Silero VAD ਨੂੰ ਇੰਟੀਗ੍ਰੇਟ ਕਰਨਾ ਹੁਣ ਵਿਕਲਪਿਕ ਨਹੀਂ ਰਿਹਾ; 500ms ਤੋਂ ਘੱਟ ਟਰਨਅਰਾਊਂਡ ਸਮਾਂ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ ਇਹ ਮਿਆਰ ਬਣ ਗਿਆ ਹੈ। ਇਹ ਗਾਈਡ ਤੁਹਾਨੂੰ ਆਪਣੀ ਵੌਇਸ ਪਾਈਪਲਾਈਨ ਵਿੱਚ Silero VAD v6 ਨੂੰ ਇੰਟੀਗ੍ਰੇਟ ਕਰਨ, ChatGPT ਲਈ ਇਸਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਅਤੇ ਆਮ ਗਲਤੀਆਂ ਤੋਂ ਬਚਣ ਦੇ ਵਿਹਾਰਕ ਕਦਮ ਦੱਸਦੀ ਹੈ ਜੋ ਯੂਜ਼ਰ ਤਜਰਬੇ ਨੂੰ ਖ਼ਰਾਬ ਕਰ ਦਿੰਦੀਆਂ ਹਨ।

Silero VAD v6 ਉਦਯੋਗ ਦਾ ਮਿਆਰ ਕਿਉਂ ਹੈ

ਕੋਡ ਵਿੱਚ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ, ਇਹ ਸਮਝਣਾ ਲਾਜ਼ਮੀ ਹੈ ਕਿ Silero VAD ਨੇ ਖੇਤਰ 'ਤੇ ਕਿਉਂ ਦਬਦਬਾ ਬਣਾਇਆ ਹੈ। ਪਰੰਪਰਾਗਤ ਊਰਜਾ-ਅਧਾਰਿਤ VADs, ਜੋ ਬੈਕਗ੍ਰਾਉਂਡ ਸ਼ੋਰ ਨਾਲ ਜੂਝਦੇ ਹਨ, ਜਾਂ ਭਾਰੀ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲ, ਜੋ ਆਪਣੀ ਲੇਟੈਂਸੀ ਪੇਸ਼ ਕਰਦੇ ਹਨ, ਦੇ ਉਲਟ, Silero VAD ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਸੰਤੁਲਨ ਬਣਾਉਂਦਾ ਹੈ। ਇਹ ਇੱਕ ਪ੍ਰੀ-ਟ੍ਰੇਨਡ, ਐਂਟਰਪ੍ਰਾਈਜ਼-ਗ੍ਰੇਡ ਮਾਡਲ ਹੈ ਜੋ ਇੰਨਾ ਹਲਕਾ ਹੈ ਕਿ ਇਹ ਐਜ ਡਿਵਾਈਸਾਂ 'ਤੇ ਚੱਲ ਸਕੇ ਅਤੇ ਇੰਨਾ ਸਹੀ ਹੈ ਕਿ ਇਹ ਸ਼ੋਰ ਵਾਲੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਬੋਲਚਾਲ ਅਤੇ ਚੁੱਪ ਵਿੱਚ ਫਰਕ ਕਰ ਸਕੇ।

ਵੌਇਸ ਏਆਈ ਵਿੱਚ ਹਾਲੀਆ ਆਰਕੀਟੈਕਚਰ ਬਦਲਾਅ, ਖਾਸ ਤੌਰ 'ਤੇ Pipecat ਵਰਗੇ ਫ੍ਰੇਮਵਰਕਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ, ਇਹ ਦਰਸਾਉਂਦੇ ਹਨ ਕਿ Silero VAD ਨੂੰ WhisperX ਵਰਗੇ ਤੇਜ਼ ASR (ਆਟੋਮੈਟਿਕ ਸਪੀਚ ਰਿਕਗਨੀਸ਼ਨ) ਇੰਜਣਾਂ ਨਾਲ ਮਿਲਾ ਕੇ, ਐਂਡ-ਟੂ-ਐਂਡ ਵੌਇਸ ਟਰਨਅਰਾਊਂਡ ਸਮਾਂ 1.8 ਸਕਿੰਟ ਤੋਂ ਘਟਾ ਕੇ 500 ਮਿਲੀਸਕਿੰਟ ਤੋਂ ਘੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਇਹ ਉਹ ਥ੍ਰੈਸ਼ਹੋਲਡ ਹੈ ਜਿੱਥੇ ਗੱਲਬਾਤ “ਰੋਬੋਟਿਕ” ਦੀ ਬਜਾਏ “ਕੁਦਰਤੀ” ਲੱਗਦੀ ਹੈ।

ਖਾਸ ਤੌਰ 'ਤੇ ChatGPT ਇੰਟੀਗ੍ਰੇਸ਼ਨਾਂ ਲਈ, ਇਹ ਗਤੀ ਗੈਰ-ਬਾਤ-ਚੀਤ ਹੈ। ਯੂਜ਼ਰ ਉਮੀਦ ਕਰਦੇ ਹਨ ਕਿ ਏਆਈ ਉਹਨਾਂ ਦੇ ਬੋਲਣਾ ਬੰਦ ਕਰਦਿਆਂ ਹੀ ਲਗਭਗ ਤੁਰੰਤ ਜਵਾਬ ਦੇ ਦੇਵੇ। ਜੇ ਤੁਹਾਡਾ VAD ਵਾਕ ਦੇ ਅੰਤ ਦਾ ਪਤਾ ਲਗਾਉਣ ਵਿੱਚ ਹੌਲੀ ਹੈ, ਤਾਂ ਏਆਈ ਚੁੱਪ ਰਹੇਗਾ, ਜਿਸ ਨਾਲ ਇੱਕ ਝਟਕਾਦਾਰ ਵਿਛੋੜਾ ਪੈਦਾ ਹੋਵੇਗਾ। Silero VAD v6 ਪਿਛਲੇ ਸੰਸਕਰਣਾਂ ਨਾਲੋਂ ਚੰਗਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਛੋਟੇ ਉਚਾਰਨਾਂ ਦੇ ਬਿਹਤਰ ਪ੍ਰਬੰਧਨ ਅਤੇ ਖੰਘ ਜਾਂ ਕੀਬੋਰਡ ਕਲਿੱਕਸ ਵਰਗੀਆਂ ਗੈਰ-ਬੋਲਚਾਲ ਆਵਾਜ਼ਾਂ ਤੋਂ ਘੱਟ ਝੂਠੇ ਪਾਜ਼ੀਟਿਵ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਮੁੱਖ ਬਣਤਰ: VAD ਕਿੱਥੇ ਫਿੱਟ ਹੁੰਦਾ ਹੈ

Silero VAD ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਜੋੜਨ ਲਈ, ਤੁਹਾਨੂੰ ਵੌਇਸ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਇਸਦੀ ਸਥਿਤੀ ਨੂੰ ਸਮਝਣਾ ਚਾਹੀਦਾ ਹੈ। ਇੱਕ ਆਮ ਘੱਟ-ਲੇਟੈਂਸੀ ਵੌਇਸ ਏਜੰਟ ਬਣਤਰ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ:

1. ਆਡੀਓ ਇਨਪੁੱਟ: ਮਾਈਕ੍ਰੋਫੋਨ ਕੱਚੇ ਆਡੀਓ ਚੰਕ (ਜਿਵੇਂ ਕਿ 30ms ਫ੍ਰੇਮ) ਕੈਪਚਰ ਕਰਦਾ ਹੈ।
2. VAD (Silero): ਬੋਲਚਾਲ ਮੌਜੂਦ ਹੈ ਜਾਂ ਨਹੀਂ, ਇਹ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਚੰਕਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦਾ ਹੈ।
3. ASR (WhisperX/Deepgram): VAD ਦੁਆਰਾ ਪਛਾਣੇ ਗਏ ਬੋਲਚਾਲ ਦੇ ਹਿੱਸੇ ਦਾ ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ ਕਰਦਾ ਹੈ।
4. LLM (ChatGPT): ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਦੇ ਆਧਾਰ 'ਤੇ ਇੱਕ ਜਵਾਬ ਤਿਆਰ ਕਰਦਾ ਹੈ।
5. TTS (ElevenLabs/PlayHT): ਜਵਾਬ ਨੂੰ ਆਡੀਓ ਵਿੱਚ ਬਦਲਦਾ ਹੈ।
6. ਆਡੀਓ ਆਉਟਪੁੱਟ: ਆਡੀਓ ਨੂੰ ਯੂਜ਼ਰ ਲਈ ਵਾਪਸ ਚਲਾਉਂਦਾ ਹੈ।

VAD ਗੇਟਕੀਪਰ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਤੈਅ ਕਰਦਾ ਹੈ ਕਦੋਂ ਆਡੀਓ ਨੂੰ ASR ਵੱਲ ਭੇਜਣਾ ਹੈ ਅਤੇ ਕਦੋਂ ਸੁਣਨਾ ਬੰਦ ਕਰਨਾ ਹੈ। ਜੇਕਰ VAD ਬਹੁਤ ਜ਼ਿਆਦਾ ਸੰਵੇਦਨਸ਼ੀਲ ਹੈ, ਤਾਂ ਇਹ ਯੂਜ਼ਰ ਨੂੰ ਵਾਕ ਦੇ ਵਿਚਕਾਰ ਹੀ ਕੱਟ ਦੇਵੇਗਾ। ਜੇਕਰ ਇਹ ਬਹੁਤ ਢਿੱਲਾ ਹੈ, ਤਾਂ ਇਹ ASR ਨੂੰ ਚਾਲੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਬਹੁਤ ਦੇਰ ਤੱਕ ਇੰਤਜ਼ਾਰ ਕਰੇਗਾ, ਜਿਸ ਨਾਲ ਲੇਟੈਂਸੀ ਵਧੇਗੀ।

Silero VAD v6 ਦੀਆਂ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ

• ਘੱਟ CPU ਫੁੱਟਪ੍ਰਿੰਟ: ਸਿਰਫ਼ CPU ਵਾਲੇ ਸਰਵਰਾਂ 'ਤੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਚੱਲ ਸਕਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਇਸਨੂੰ ਵਧਾਉਣਾ (scaling) ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਬਣਦਾ ਹੈ।
• ਉੱਚ ਸ਼ੁੱਧਤਾ: ਉਚਾਰਨਾਂ, ਪਿਛੋਕੜ ਦੇ ਸ਼ੋਰ ਅਤੇ ਵੱਖ-ਵੱਖ ਬੋਲਣ ਦੀ ਗਤੀ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਵੱਖ-ਵੱਖ ਡਾਟਾਸੈੱਟਾਂ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਕੀਤੀ ਗਈ ਹੈ।
• ਕਨਫਿਗਰੇਬਲ ਥ੍ਰੈਸ਼ਹੋਲਡ: ਗਲਤ ਸਕਾਰਾਤਮਕ (false positives) ਅਤੇ ਛੁੱਟੇ ਹੋਏ ਪਤਾ ਲਗਾਉਣ (missed detections) ਦੇ ਵਿਚਕਾਰ ਸੰਤੁਲਨ ਬਣਾਉਣ ਲਈ ਸੰਵੇਦਨਸ਼ੀਲਤਾ ਨੂੰ ਬਰੀਕੀ ਨਾਲ ਟਿਊਨ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।
• ਐਂਡਪੁਆਇੰਟਿੰਗ ਸਪੋਰਟ: ਬੋਲਚਾਲ ਵਿੱਚ ਕੁਦਰਤੀ ਵਿਰਾਮਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਬਿਲਟ-ਇਨ ਤਰਕ, ਜੋ ਕਿ ਬਾਰੀ ਬਦਲਣ (turn-taking) ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ।

ਕਦਮ-ਦਰ-ਕਦਮ ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਗਾਈਡ

Python-ਅਧਾਰਤ ਵੌਇਸ ਪਾਈਪਲਾਈਨ ਵਿੱਚ Silero VAD ਨੂੰ ਜੋੜਨਾ ਸਿੱਧਾ-ਸਾਦਾ ਹੈ, ਪਰ ਇਸ ਲਈ ਆਡੀਓ ਬਫਰਿੰਗ ਅਤੇ ਸਟੇਟ ਮੈਨੇਜਮੈਂਟ 'ਤੇ ਧਿਆਨ ਦੇਣ ਦੀ ਲੋੜ ਹੈ। ਹੇਠਾਂ ChatGPT ਵੌਇਸ ਏਜੰਟ ਲਈ ਇਸਨੂੰ ਲਾਗੂ ਕਰਨ ਦਾ ਇੱਕ ਧਾਰਨਾਤਮਕ ਵਾਕਥਰੂ ਦਿੱਤਾ ਗਿਆ ਹੈ।

1. ਇੰਸਟਾਲੇਸ਼ਨ ਅਤੇ ਸੈੱਟਅੱਪ

ਸਭ ਤੋਂ ਪਹਿਲਾਂ, ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਲੋੜੀਂਦੀਆਂ ਲਾਇਬ੍ਰੇਰੀਆਂ ਹਨ। ਤੁਹਾਨੂੰ silero-vad, torch, ਅਤੇ pyaudio ਜਾਂ sounddevice ਵਰਗੀ ਆਡੀਓ ਪ੍ਰੋਸੈਸਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਦੀ ਲੋੜ ਪਵੇਗੀ।

pip install silero-vad torch pyaudio

2. ਮਾਡਲ ਲੋਡ ਕਰਨਾ

Silero VAD PyTorch Hub ਰਾਹੀਂ ਜਾਂ ਇੱਕ ਸਟੈਂਡਅਲੋਨ ਪੈਕੇਜ ਵਜੋਂ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ। ਪ੍ਰੋਡਕਸ਼ਨ ਵਾਤਾਵਰਣਾਂ ਲਈ, ਦੁਬਾਰਾ ਸ਼ੁਰੂਆਤੀ ਓਵਰਹੈੱਡ ਤੋਂ ਬਚਣ ਲਈ ਸਟਾਰਟਅੱਪ 'ਤੇ ਮਾਡਲ ਨੂੰ ਇੱਕ ਵਾਰ ਲੋਡ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

from silero_vad import load_silero_vad, VADIterator

# Load the model (v6 is the default in recent versions)
model = load_silero_vad()

3. VAD ਇਟਰੇਟਰ ਨੂੰ ਕਨਫਿਗਰ ਕਰਨਾ

VADIterator ਮੁੱਖ ਘਟਕ ਹੈ ਜੋ ਆਡੀਓ ਚੰਕਾਂ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਇਸਨੂੰ ਉਚਿਤ ਸੈਂਪਲਿੰਗ ਦਰਾਂ ਅਤੇ ਥ੍ਰੈਸ਼ਹੋਲਡ ਦੇ ਨਾਲ ਕਨਫਿਗਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ChatGPT ਵੌਇਸ ਮੋਡ ਲਈ, 16kHz ਦੀ ਸੈਂਪਲਿੰਗ ਦਰ ਮਿਆਰੀ ਹੈ।

vad_iterator = VADIterator(
    model,
    sampling_rate=16000,
    threshold=0.5,  # Adjust based on noise environment
    min_silence_duration_ms=500,  # Wait 500ms of silence before ending speech
    speech_pad_ms=30  # Pad speech segments to avoid cutting off words
)

ਮਹੱਤਵਪੂਰਨ ਪੈਰਾਮੀਟਰ ਟਿਊਨਿੰਗ:

• ਥ੍ਰੈਸ਼ਹੋਲਡ: 0.4 ਅਤੇ 0.6 ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਮੁੱਲ ਆਮ ਹੈ। ਘੱਟ ਮੁੱਲ ਵਧੇਰੇ ਸੰਵੇਦਨਸ਼ੀਲ ਹੁੰਦੇ ਹਨ (ਹੌਲੀ ਬੋਲਚਾਲ ਨੂੰ ਫੜਦੇ ਹਨ ਪਰ ਵਧੇਰੇ ਸ਼ੋਰ ਵੀ); ਵੱਧ ਮੁੱਲ ਵਧੇਰੇ ਸਖ਼ਤ ਹੁੰਦੇ ਹਨ।
• ਘੱਟੋ-ਘੱਟ ਚੁੱਪ ਦੀ ਮਿਆਦ: ਇਹ ਲੈਟੈਂਸੀ ਲਈ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਪੈਰਾਮੀਟਰ ਹੈ। ਇਸਨੂੰ ਬਹੁਤ ਵੱਧ ਸੈੱਟ ਕਰਨ ਨਾਲ (ਉਦਾਹਰਨ ਵਜੋਂ, 1000ms) AI ਹੌਲੀ ਮਹਿਸੂਸ ਹੁੰਦਾ ਹੈ। ਇਸਨੂੰ ਬਹੁਤ ਘੱਟ ਸੈੱਟ ਕਰਨ ਨਾਲ (ਉਦਾਹਰਨ ਵਜੋਂ, 200ms) AI ਯੂਜ਼ਰ ਨੂੰ ਵਿਚਾਲੇ ਰੋਕ ਦਿੰਦਾ ਹੈ। ਕੁਦਰਤੀ ਗੱਲਬਾਤ ਲਈ, 400–600ms ਸਭ ਤੋਂ ਵਧੀਆ ਹੈ।

4. ਆਡੀਓ ਚੰਕਸ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ

ਆਪਣੇ ਮੁੱਖ ਲੂਪ ਵਿੱਚ, ਤੁਸੀਂ ਆਡੀਓ ਚੰਕਸ ਨੂੰ VAD ਇਟਰੇਟਰ ਵਿੱਚ ਖੁਆਓਗੇ। ਜਦੋਂ VAD ਬੋਲਚਾਲ ਦੇ ਅੰਤ ਦਾ ਪਤਾ ਲਗਾਉਂਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ASR ਅਤੇ LLM ਪਾਈਪਲਾਈਨ ਨੂੰ ਚਾਲੂ ਕਰਦੇ ਹੋ।

import numpy as np

def process_audio_chunk(audio_chunk):
    # Convert audio chunk to float32 numpy array if necessary
    speech_dict = vad_iterator(audio_chunk)
    
    if speech_dict:
        if 'start' in speech_dict:
            print("Speech started")
            # Start buffering audio for ASR
        elif 'end' in speech_dict:
            print("Speech ended")
            # Send buffered audio to ASR (e.g., WhisperX)
            # Trigger ChatGPT response generation

5. ਬਾਰਜ-ਇਨ ਦਾ ਪ੍ਰਬੰਧਨ

ਇੱਕ ਵਧੀਆ ਵੌਇਸ ਏਜੰਟ ਦੀਆਂ ਸਭ ਤੋਂ ਐਡਵਾਂਸਡ ਫੀਚਰਾਂ ਵਿੱਚੋਂ ਇੱਕ “ਬਾਰਜ-ਇਨ” ਹੈ—ਯੂਜ਼ਰ ਦੀ AI ਨੂੰ ਬੋਲਦੇ ਸਮੇਂ ਵਿਚਾਲੇ ਰੋਕਣ ਦੀ ਯੋਗਤਾ। Silero VAD v6 ਇਸਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ TTS ਚੱਲ ਰਿਹਾ ਹੋਣ ਦੇ ਬਾਵਜੂਦ ਬੋਲਚਾਲ ਲਈ ਸੁਣਦਾ ਰਹਿੰਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਲੌਜਿਕ ਲਾਗੂ ਕਰਨਾ ਪਵੇਗਾ ਤਾਂ ਜੋ ਜਦੋਂ VAD ਯੂਜ਼ਰ ਤੋਂ ਨਵੀਂ ਬੋਲਚਾਲ ਦਾ ਪਤਾ ਲਗਾਵੇ ਤਾਂ TTS ਪਲੇਬੈਕ ਨੂੰ ਰੋਕਿਆ ਜਾ ਸਕੇ।

if vad_iterator.is_speaking():
    # Pause TTS playback
    tts_player.pause()
    # Start listening for user input

ChatGPT ਨਾਲ ਘੱਟ ਲੈਟੈਂਸੀ ਲਈ ਅਨੁਕੂਲਤਾ

Silero VAD ਨੂੰ ਇੰਟੀਗ੍ਰੇਟ ਕਰਨਾ ਸਿਰਫ਼ ਅੱਧੀ ਲੜਾਈ ਹੈ। ਹਾਲੀਆ ਆਰਕੀਟੈਕਚਰ ਕੇਸ ਸਟੱਡੀਜ਼ ਵਿੱਚ ਦੱਸੀ ਗਈ 500ms ਤੋਂ ਘੱਟ ਲੈਟੈਂਸੀ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਪੂਰੇ ਪਾਈਪਲਾਈਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਪਵੇਗਾ।

ਸਟ੍ਰੀਮਿੰਗ ASR ਦੀ ਵਰਤੋਂ ਕਰੋ

ਪੂਰੇ ਵਾਕ ਨੂੰ ਟ੍ਰਾਂਸਕ੍ਰਾਈਬ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ChatGPT ਨੂੰ ਭੇਜਣ ਦੀ ਉਡੀਕ ਨਾ ਕਰੋ। ਇੱਕ ਸਟ੍ਰੀਮਿੰਗ ASR ਪ੍ਰੋਵਾਈਡਰ (ਜਿਵੇਂ ਕਿ Deepgram ਜਾਂ ਇੱਕ ਲੋਕਲ WhisperX ਸੈੱਟਅੱਪ) ਦੀ ਵਰਤੋਂ ਕਰੋ ਜੋ ਅੰਸ਼ਕ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਪ੍ਰਦਾਨ ਕਰ ਸਕੇ। ਇਸ ਨਾਲ LLM ਯੂਜ਼ਰ ਦੇ ਬੋਲਣ ਪੂਰਾ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਕੰਟੈਕਸਟ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ ਸ਼ੁਰੂ ਕਰ ਸਕਦਾ ਹੈ।

TTS ਅਤੇ LLM ਨੂੰ ਸਮਾਨਾਂਤਰ ਚਲਾਓ

ਜਦੋਂ VAD ਬੋਲਚਾਲ ਦੇ ਅੰਤ ਦਾ ਪਤਾ ਲਗਾਉਂਦਾ ਹੈ, ਤਾਂ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਨੂੰ ChatGPT ਅਤੇ TTS ਇੰਜਣ ਨੂੰ ਸਮਾਨਾਂਤਰ ਭੇਜੋ। ਜਿਵੇਂ ਹੀ ChatGPT ਜਵਾਬ ਦਾ ਪਹਿਲਾ ਵਾਕ ਤਿਆਰ ਕਰਦਾ ਹੈ, ਉਸ ਵਾਕ ਨੂੰ TTS ਨਾਲ ਸਿੰਥੇਸਾਈਜ਼ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰੋ। ਪੂਰੇ ਜਵਾਬ ਦੀ ਉਡੀਕ ਨਾ ਕਰੋ। ਇਹ “ਸਟ੍ਰੀਮਿੰਗ” ਅਪ੍ਰੋਚ ਅਨੁਭਵੀ ਗਤੀ ਲਈ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ।

ਨੈੱਟਵਰਕ ਹੌਪਸ ਨੂੰ ਘਟਾਓ

ਜੇ ਤੁਸੀਂ ਕਲਾਊਡ-ਅਧਾਰਿਤ VAD ਵਰਤ ਰਹੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਨੈੱਟਵਰਕ ਲੈਟੈਂਸੀ ਵਧਾ ਰਹੇ ਹੋ। Silero VAD ਲੋਕਲ ਤੌਰ 'ਤੇ ਚੱਲਣ ਲਈ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਆਪਣੇ ਵੌਇਸ ਏਜੰਟ ਨੂੰ ਆਪਣੇ ਯੂਜ਼ਰਾਂ ਦੇ ਨੇੜੇ ਇੱਕ ਸਰਵਰ 'ਤੇ ਹੋਸਟ ਕਰੋ, ਅਤੇ Silero VAD ਨੂੰ ਆਪਣੇ ASR ਅਤੇ LLM ਓਰਕੈਸਟ੍ਰੇਸ਼ਨ ਲੌਜਿਕ ਵਾਲੇ ਹੀ ਇੰਸਟੈਂਸ 'ਤੇ ਚਲਾਓ। ਇਹ ਆਡੀਓ ਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਕਦਮਾਂ ਲਈ ਨੈੱਟਵਰਕ ਰਾਊਂਡ-ਟ੍ਰਿਪਸ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕਰਦਾ ਹੈ।

ਤੁਲਨਾ: Silero VAD ਬਨਾਮ ਵਿਕਲਪ

ਹਾਲਾਂਕਿ Silero VAD ਮੌਜੂਦਾ ਲੀਡਰ ਹੈ, ਪਰ ChatGPT ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਦੇ ਸੰਦਰਭ ਵਿੱਚ ਹੋਰ ਆਮ VAD ਹੱਲਾਂ ਨਾਲ ਇਸਦੀ ਤੁਲਨਾ ਸਮਝਣਾ ਲਾਭਦਾਇਕ ਹੈ।

ਜਿਵੇਂ ਕਿ ਟੇਬਲ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ, ਜ਼ਿਆਦਾਤਰ ਡੈਵਲਪਰਾਂ ਲਈ ਸਹੀਤਾ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਸੰਤੁਲਨ Silero VAD ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਕਲਾਊਡ VAD ਸਹੀ ਹੁੰਦੇ ਹਨ ਪਰ ਰੀਅਲ-ਟਾਈਮ ਚੈਟ ਲਈ ਬਰਦਾਸ਼ਤ ਨਹੀਂ ਕੀਤੀ ਜਾ ਸਕਣ ਵਾਲੀ ਦੇਰੀ ਪੈਦਾ ਕਰਦੇ ਹਨ। ਊਰਜਾ-ਅਧਾਰਿਤ VAD ਤੇਜ਼ ਹੁੰਦੇ ਹਨ ਪਰ ਸ਼ੋਰ ਵਾਲੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਅਸਫਲ ਰਹਿੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਘੱਟ ਵਰਤੋਂਕਾਰ ਤਜਰਬਾ ਮਿਲਦਾ ਹੈ।

Silero VAD v6 ਦੇ ਫਾਇਦੇ ਅਤੇ ਨੁਕਸਾਨ

ਫਾਇਦੇ

• 500ms ਤੋਂ ਘੱਟ ਦੇਰੀ: ਜਦੋਂ ਇਸਨੂੰ ਸਟ੍ਰੀਮਿੰਗ ASR ਅਤੇ TTS ਨਾਲ ਸਹੀ ਢੰਗ ਨਾਲ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ Silero VAD ਲਗਭਗ ਤੁਰੰਤ ਬਾਰੀ ਬਦਲਣ (turn-taking) ਦੀ ਸਹੂਲਤ ਦਿੰਦਾ ਹੈ।
• ਕੀਮਤ-ਕੁਸ਼ਲ: ਓਪਨ-ਸੋਰਸ ਅਤੇ ਹਲਕਾ ਹੋਣ ਕਾਰਨ, ਇਹ ਮਹਿੰਗੇ ਕਲਾਊਡ VAD API ਦੀ ਲੋੜ ਨੂੰ ਖਤਮ ਕਰ ਦਿੰਦਾ ਹੈ।
• ਉੱਚ ਸਹੀਤਾ: ਪਿਛੋਕੜ ਦੇ ਸ਼ੋਰ ਤੋਂ ਬੋਲਚਾਲ ਨੂੰ ਵੱਖ ਕਰਨ ਵਿੱਚ ਰਵਾਇਤੀ ਊਰਜਾ-ਅਧਾਰਿਤ ਤਰੀਕਿਆਂ ਨਾਲੋਂ ਕਾਫੀ ਵੱਧ।
• ਸਰਗਰਮ ਭਾਈਚਾਰਾ: ਨਿਯਮਿਤ ਅੱਪਡੇਟ ਅਤੇ PyTorch ਲਈ ਮਜ਼ਬੂਤ ਸਹਾਇਤਾ ਇਸਨੂੰ ਬਣਾਈ ਰੱਖਣ ਅਤੇ ਡੀਬੱਗ ਕਰਨ ਵਿੱਚ ਆਸਾਨ ਬਣਾਉਂਦੀ ਹੈ।

ਨੁਕਸਾਨ

• ਟਿਊਨਿੰਗ ਦੀ ਲੋੜ: ਡਿਫੌਲਟ ਸੈਟਿੰਗ ਹਰ ਵਾਤਾਵਰਣ ਲਈ ਕੰਮ ਨਹੀਂ ਕਰ ਸਕਦੀਆਂ। ਤੁਹਾਨੂੰ ਆਪਣੇ ਖਾਸ ਵਰਤੋਂ ਦੇ ਮਕਸਦ ਲਈ threshold ਅਤੇ min_silence_duration_ms ਨੂੰ ਟਿਊਨ ਕਰਨਾ ਪਵੇਗਾ।
• ਝੂਠੇ ਪੌਜ਼ੀਟਿਵ: ਬਹੁਤ ਜ਼ਿਆਦਾ ਸ਼ੋਰ ਵਾਲੇ ਵਾਤਾਵਰਣ ਵਿੱਚ (ਉਦਾਹਰਨ ਵਜੋਂ, ਨਿਰਮਾਣ ਸਥਾਨ), ਇਹ ਅਜੇ ਵੀ ਝੂਠੇ ਪੌਜ਼ੀਟਿਵ ਟ੍ਰਿਗਰ ਕਰ ਸਕਦਾ ਹੈ, ਜਿਸ ਲਈ ਵਾਧੂ ਸ਼ੋਰ ਦਬਾਉਣ ਵਾਲੀ ਪ੍ਰੀ-ਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
• ਬਾਰਜ-ਇਨ ਵਿੱਚ ਜਟਿਲਤਾ: ਮਜ਼ਬੂਤ ਬਾਰਜ-ਇਨ ਲੌਜਿਕ ਨੂੰ ਲਾਗੂ ਕਰਨ ਲਈ TTS ਪਲੇਬੈਕ ਅਤੇ VAD ਡਿਟੈਕਸ਼ਨ ਵਿਚਕਾਰ ਰੇਸ ਕੰਡੀਸ਼ਨ ਤੋਂ ਬਚਣ ਲਈ ਸਾਵਧਾਨੀ ਨਾਲ ਸਟੇਟ ਮੈਨੇਜਮੈਂਟ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਪ੍ਰੋਡਕਸ਼ਨ ਤਾਇਨਾਤੀ ਲਈ ਵਧੀਆ ਅਭਿਆਸ

1. ਆਡੀਓ ਨੂੰ ਪ੍ਰੀ-ਪ੍ਰੋਸੈਸ ਕਰੋ: Silero VAD ਵਿੱਚ ਆਡੀਓ ਭੇਜਣ ਤੋਂ ਪਹਿਲਾਂ ਹਮੇਸ਼ਾ ਸ਼ੋਰ ਦਬਾਉਣ (ਉਦਾਹਰਨ ਵਜੋਂ, RNNoise ਜਾਂ WebRTC AEC) ਲਾਗੂ ਕਰੋ। ਇਹ ਸਹੀਤਾ ਨੂੰ ਕਾਫੀ ਵਧਾਉਂਦਾ ਹੈ।
2. ਝੂਠੇ ਪੌਜ਼ੀਟਿਵ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ: ਉਹਨਾਂ ਹਾਲਾਤਾਂ ਨੂੰ ਲੌਗ ਕਰੋ ਜਿੱਥੇ VAD ਟ੍ਰਿਗਰ ਹੁੰਦਾ ਹੈ ਪਰ ASR ਖਾਲੀ ਜਾਂ ਘੱਟ ਭਰੋਸੇਯੋਗ ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ ਵਾਪਸ ਕਰਦਾ ਹੈ। ਆਪਣੀ ਥ੍ਰੈਸ਼ਹੋਲਡ ਨੂੰ ਸਮਾਯੋਜਿਤ ਕਰਨ ਲਈ ਇਸ ਡਾਟਾ ਦੀ ਵਰਤੋਂ ਕਰੋ।
3. ਅਸਲ ਵਰਤੋਂਕਾਰਾਂ ਨਾਲ ਟੈਸਟ ਕਰੋ: ਲੈਬ ਟੈਸਟ ਕਾਫੀ ਨਹੀਂ ਹਨ। ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਉਚਾਰਨ, ਮਾਈਕ੍ਰੋਫੋਨ ਦੀ ਗੁਣਵੱਤਾ ਅਤੇ ਪਿਛੋਕੜ ਦਾ ਸ਼ੋਰ ਬਹੁਤ ਵੱਖਰਾ ਹੁੰਦਾ ਹੈ। ਆਪਣੇ ਵਰਤੋਂਕਾਰ ਅਧਾਰ ਲਈ ਅਨੁਕੂਲ ਸੰਰਚਨਾ ਲੱਭਣ ਲਈ ਵੱਖ-ਵੱਖ VAD ਸੈਟਿੰਗਾਂ ਨਾਲ A/B ਟੈਸਟਿੰਗ ਕਰੋ।
4. ਫਾਲਬੈਕ ਮਕੈਨਿਜ਼ਮ: ਇੱਕ ਟਾਈਮਆਊਟ ਲਾਗੂ ਕਰੋ। ਜੇਕਰ VAD ਇੱਕ ਉਚਿਤ ਸਮੇਂ (ਉਦਾਹਰਨ ਵਜੋਂ, 5 ਸਕਿੰਟ) ਵਿੱਚ ਬੋਲੀ ਦੇ ਖਤਮ ਹੋਣ ਦਾ ਪਤਾ ਨਹੀਂ ਲਗਾਉਂਦਾ, ਤਾਂ ਸਿਸਟਮ ਨੂੰ ਹੈਂਗ ਹੋਣ ਤੋਂ ਬਚਾਉਣ ਲਈ ASR ਟ੍ਰਾਂਸਕ੍ਰਿਪਸ਼ਨ ਨੂੰ ਮਜਬੂਰ ਕਰੋ।

FAQ

ਸਵਾਲ: ਕੀ Silero VAD v6 ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ 'ਤੇ ਚੱਲ ਸਕਦਾ ਹੈ? ਜਵਾਬ: ਹਾਂ, Silero VAD ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ 'ਤੇ ਚੱਲਣ ਲਈ ਕਾਫ਼ੀ ਹਲਕਾ ਹੈ। ਹਾਲਾਂਕਿ, ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਲਈ, ਮਾਡਲ ਦੇ ONNX ਰੰਟਾਈਮ ਵਰਜਨ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜੋ ਮੋਬਾਈਲ ਇਨਫਰੈਂਸ ਲਈ ਅਨੁਕੂਲਿਤ ਹੈ।

ਸਵਾਲ: Silero VAD ਦੀ ਤੁਲਨਾ Whisper ਦੇ ਬਿਲਟ-ਇਨ VAD ਨਾਲ ਕਿਵੇਂ ਹੈ? ਜਵਾਬ: Whisper ਕੋਲ ਇੱਕ ਬੁਨਿਆਦੀ VAD ਹੈ, ਪਰ ਇਹ ਰੀਅਲ-ਟਾਈਮ ਸਟ੍ਰੀਮਿੰਗ ਲਈ ਅਨੁਕੂਲਿਤ ਨਹੀਂ ਹੈ। Silero VAD ਖਾਸ ਤੌਰ 'ਤੇ ਘੱਟ ਲੇਟੈਂਸੀ, ਚੰਕ-ਅਧਾਰਤ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਜਿਸ ਨਾਲ ਇਹ ਲਾਈਵ ਵੌਇਸ ਏਜੰਟਾਂ ਲਈ ਵਧੀਆ ਹੈ।

ਸਵਾਲ: ChatGPT ਵੌਇਸ ਮੋਡ ਲਈ ਆਦਰਸ਼ min_silence_duration_ms ਕੀ ਹੈ? ਜਵਾਬ: ਕੋਈ ਇੱਕ “ਆਦਰਸ਼” ਮੁੱਲ ਨਹੀਂ ਹੈ, ਪਰ ਜ਼ਿਆਦਾਤਰ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ 400–600ms ਜਵਾਬਦੇਹੀ ਅਤੇ ਕੁਦਰਤੀ ਬਾਰੀ ਬਦਲਣ ਦੇ ਵਿਚਕਾਰ ਸਭ ਤੋਂ ਵਧੀਆ ਸੰਤੁਲਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਘੱਟ ਮੁੱਲ ਵਿਘਨ ਪੈਦਾ ਕਰ ਸਕਦੇ ਹਨ; ਵੱਧ ਮੁੱਲ ਧੀਮੇ ਲੱਗਦੇ ਹਨ।

ਸਵਾਲ: ਕੀ Silero VAD ਚਲਾਉਣ ਲਈ ਮੈਨੂੰ GPU ਦੀ ਲੋੜ ਹੈ? ਜਵਾਬ: ਨਹੀਂ। Silero VAD CPU 'ਤੇ ਕੁਸ਼ਲਤਾ ਨਾਲ ਚੱਲਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। GPU ਸਿਰਫ਼ ਤਦ ਹੀ ਲੋੜੀਂਦਾ ਹੈ ਜੇਕਰ ਤੁਸੀਂ ਇੱਕੋ ਮਸ਼ੀਨ 'ਤੇ Whisper ਵਰਗਾ ਭਾਰੀ ASR ਮਾਡਲ ਵੀ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾ ਰਹੇ ਹੋ।

ਸਿੱਟਾ

Silero VAD v6 ਨੂੰ ਜੋੜਨਾ ਇੱਕ ਧੀਮੇ ChatGPT ਵੌਇਸ ਇੰਟਰਫੇਸ ਨੂੰ ਇੱਕ ਜਵਾਬਦੇਹ, ਕੁਦਰਤੀ ਆਵਾਜ਼ ਵਾਲੇ ਗੱਲਬਾਤੀ ਏਜੰਟ ਵਿੱਚ ਬਦਲਣ ਲਈ ਤੁਹਾਡਾ ਸਭ ਤੋਂ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਕਦਮ ਹੈ। ਇਸਦੀ ਘੱਟ ਲੇਟੈਂਸੀ ਖੋਜ ਸਮਰੱਥਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਤੇ ਇਸਨੂੰ ਸਟ੍ਰੀਮਿੰਗ ASR ਅਤੇ TTS ਨਾਲ ਮਿਲਾ ਕੇ, ਤੁਸੀਂ 500ms ਤੋਂ ਘੱਟ ਟਰਨਅਰਾਊਟ ਸਮੇਂ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਯੂਜ਼ਰ ਹੁਣ ਪ੍ਰੀਮੀਅਮ ਵੌਇਸ AI ਉਤਪਾਦਾਂ ਤੋਂ ਉਮੀਦ ਕਰਦੇ ਹਨ।

ਡਿਫ਼ੌਲਟ ਸੈਟਿੰਗਾਂ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰੋ, ਆਪਣੇ ਖਾਸ ਵਾਤਾਵਰਣ ਲਈ ਚੁੱਪ ਦੀ ਮਿਆਦ ਨੂੰ ਟਿਊਨ ਕਰੋ, ਅਤੇ ਆਪਣੀ ਪਾਈਪਲਾਈਨ ਦੇ ਬਾਕੀ ਹਿੱਸੇ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰਨ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰੋ। ਨਤੀਜਾ ਇੱਕ ਅਜਿਹਾ ਵੌਇਸ ਏਜੰਟ ਹੋਵੇਗਾ ਜੋ ਇੱਕ ਟੂਲ ਤੋਂ ਵੱਧ ਗੱਲਬਾਤ ਵਿੱਚ ਇੱਕ ਸਾਥੀ ਵਾਂਗ ਮਹਿਸੂਸ ਹੋਵੇਗਾ।