SafeAgents ਸਮੀਖਿਆ: ਓਪਨ-ਸੋਰਸ ਪ੍ਰਾਕਸੀ ਜੋ ਤੁਹਾਡੇ AI ਕੋਡਿੰਗ ਏਜੰਟਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਦੀ ਹੈ

ਪਿਛਲੇ ਦੋ ਸਾਲਾਂ ਵਿੱਚ AI-ਸਹਾਇਕ ਵਿਕਾਸ ਦਾ ਖੇਤਰ ਨਾਟਕੀ ਢੰਗ ਨਾਲ ਬਦਲ ਗਿਆ ਹੈ। ਅਸੀਂ ਸਧਾਰਨ ਆਟੋਕੰਪਲੀਟ ਟੂਲਾਂ ਤੋਂ ਆਟੋਨੋਮਸ ਕੋਡਿੰਗ ਏਜੰਟਾਂ ਵੱਲ ਵਧ ਗਏ ਹਾਂ ਜੋ ਸ਼ੈੱਲ ਕਮਾਂਡਾਂ ਨੂੰ ਚਲਾ ਸਕਦੇ ਹਨ, ਫਾਈਲ ਸਿਸਟਮਾਂ ਨੂੰ ਬਦਲ ਸਕਦੇ ਹਨ ਅਤੇ ਬਾਹਰੀ API ਨਾਲ ਗੱਲਬਾਤ ਕਰ ਸਕਦੇ ਹਨ। ਹਾਲਾਂਕਿ ਇਹ ਆਟੋਨੋਮੀ ਉਤਪਾਦਕਤਾ ਵਧਾਉਂਦੀ ਹੈ, ਪਰ ਇਹ ਸੁਰੱਖਿਆ ਦੇ ਨਵੇਂ ਖਤਰਿਆਂ ਨੂੰ ਜਨਮ ਦਿੰਦੀ ਹੈ। ਜੇਕਰ ਕੋਈ ਏਜੰਟ ਇੱਕ ਖਤਰਨਾਕ rm -rf ਕਮਾਂਡ ਦੀ ਕਲਪਨਾ ਕਰ ਲਵੇ ਤਾਂ ਕੀ ਹੋਵੇਗਾ? ਜੇਕਰ ਕੋਈ ਦੁਸ਼ਟ ਪ੍ਰੌਂਪਟ ਇੰਜੈਕਸ਼ਨ ਤੁਹਾਡੇ ਏਜੰਟ ਨੂੰ ਵਾਤਾਵਰਣ ਵੇਰੀਏਬਲਜ਼ (environment variables) ਲੀਕ ਕਰਨ ਲਈ ਧੋਖਾ ਦੇ ਦੇਵੇ ਤਾਂ?

ਇੱਥੇ SafeAgents ਆਉਂਦਾ ਹੈ, Hugging Face ਦੁਆਰਾ ਇੱਕ ਓਪਨ-ਸੋਰਸ ਹੱਲ ਜੋ ਤੁਹਾਨੂੰ ਆਪਣੇ ਪੂਰੇ ਏਜੰਟ ਹਾਰਨੈੱਸ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖੇ ਬਿਨਾਂ ਇਹਨਾਂ ਖਤਰਿਆਂ ਨੂੰ ਘਟਾਉਣ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ। ਹਾਲੀਆ ਡਿਵੈਲਪਰ ਚਰਚਾਵਾਂ ਅਤੇ GitHub ਰਿਪੋਜ਼ੀਟਰੀਆਂ ਅਨੁਸਾਰ, SafeAgents ਇੱਕ ਹਲਕੀ ਲੋਕਲ ਪ੍ਰਾਕਸੀ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ ਜੋ ਤੁਹਾਡੇ ਕੋਡਿੰਗ ਏਜੰਟ ਅਤੇ ਉਸਦੇ ਮਾਡਲ ਸਰਵਰ ਦੇ ਵਿਚਕਾਰ ਬੈਠਦਾ ਹੈ। ਇਹ ਹਾਰਨੈੱਸ ਵੱਲੋਂ ਦੇਖੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਮਾਡਲ ਵੱਲੋਂ ਭੇਜੇ ਗਏ ਹਰ ਟੂਲ ਕਾਲ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ, ਜੋ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਇੱਕ ਸੁਰੱਖਿਆ ਗੇਟਕੀਪਰ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।

ਇਸ ਸਮੀਖਿਆ ਵਿੱਚ, ਅਸੀਂ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦੇ ਹਾਂ ਕਿ SafeAgents ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, 2026 ਵਿੱਚ ਆਟੋਨੋਮਸ ਏਜੰਟ ਤਾਇਨਾਤ ਕਰ ਰਹੀਆਂ ਟੀਮਾਂ ਲਈ ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ, ਅਤੇ ਕੀ ਇਹ ਤੁਹਾਡੇ AI ਵਿਕਾਸ ਸਟੈਕ ਲਈ ਸਹੀ ਸੁਰੱਖਿਆ ਪਰਤ ਹੈ।

SafeAgents ਕੀ ਹੈ?

SafeAgents ਖੁਦ ਕੋਈ ਨਵਾਂ AI ਮਾਡਲ ਨਹੀਂ ਹੈ; ਇਹ ਇੱਕ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਟੂਲ ਹੈ। ਜਿਵੇਂ ਕਿ ਇਸਦੀ ਅਧਿਕਾਰਤ ਰਿਪੋਜ਼ੀਟਰੀ ਵਿੱਚ ਵਰਣਨ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ExplainX ਅਤੇ EveryDev ਵਰਗੇ ਤਕਨੀਕੀ ਬਲੌਗਾਂ ਦੁਆਰਾ ਕਵਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਇਹ ਇੱਕ “ਲੋਕਲ ਪ੍ਰਾਕਸੀ” ਹੈ ਜੋ ਇੱਕ ਏਜੰਟ ਹਾਰਨੈੱਸ (ਜਿਵੇਂ ਕਿ Claude Code, Cursor, ਜਾਂ ਕਸਟਮ LangChain ਏਜੰਟ) ਅਤੇ ਅਧਾਰਤ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ (LLM) ਵਿਚਕਾਰ ਸੰਚਾਰ ਨੂੰ ਰੋਕਦੀ ਹੈ।

ਇਸ ਦੁਆਰਾ ਹੱਲ ਕੀਤੀ ਜਾ ਰਹੀ ਮੁੱਖ ਸਮੱਸਿਆ ਆਟੋਨੋਮਸ ਏਜੰਟਾਂ ਵਿੱਚ ਟੂਲ ਕਾਲਾਂ ਉੱਤੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਅਤੇ ਨਿਯੰਤਰਣ ਦੀ ਘਾਟ ਹੈ। ਰਵਾਇਤੀ ਏਜੰਟ ਫ੍ਰੇਮਵਰਕ ਅਕਸਰ ਮਾਡਲ ਦੇ ਜਨਰੇਸ਼ਨ ਤੋਂ ਤੁਰੰਤ ਬਾਅਦ ਟੂਲ ਚਲਾਉਂਦੇ ਹਨ। ਜੇਕਰ ਮਾਡਲ ਇੱਕ ਡਾਇਰੈਕਟਰੀ ਨੂੰ ਮਿਟਾਉਣ ਜਾਂ ਇੱਕ ਸੰਵੇਦਨਸ਼ੀਲ API ਐਂਡਪੁਆਇੰਟ ਤੱਕ ਪਹੁੰਚਣ ਲਈ ਕਮਾਂਡ ਜਨਰੇਟ ਕਰਦਾ ਹੈ, ਤਾਂ ਹਾਰਨੈੱਸ ਉਸਨੂੰ ਚਲਾ ਦਿੰਦਾ ਹੈ। SafeAgents ਇਸ ਪ੍ਰਵਾਹ ਨੂੰ ਰੋਕਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਪਾਰਸ ਕਰਦਾ ਹੈ, ਟੂਲ ਕਾਲਾਂ ਦੀ ਪਛਾਣ ਕਰਦਾ ਹੈ, ਅਤੇ ਸੁਰੱਖਿਆ ਨਿਯਮ ਲਾਗੂ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਕੋਈ ਕਾਲ ਜੋਖਮ ਭਰੀ ਮੰਨੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਉਸਨੂੰ ਬਲੌਕ ਕਰ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਇੱਕ ਟੈਕਸਟ ਨੋਟਿਸ ਨਾਲ ਬਦਲ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਏਜੰਟ ਨੂੰ ਤਰਕ ਕਰਨਾ ਜਾਰੀ ਰੱਖਣ ਦੀ ਆਗਿਆ ਮਿਲਦੀ ਹੈ ਪਰ ਐਕਸੀਕਿਊਸ਼ਨ ਰੁਕ ਜਾਂਦਾ ਹੈ।

ਇਹ ਅੰਦਰੂਨੀ ਤੌਰ 'ਤੇ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ

ਆਰਕੀਟੈਕਚਰ ਜਾਣ-ਬੁੱਝ ਕੇ ਘੱਟੋ-ਘੱਟ ਰੱਖਿਆ ਗਿਆ ਹੈ ਤਾਂ ਜੋ ਘੱਟ ਲੇਟੈਂਸੀ (latency) ਯਕੀਨੀ ਬਣਾਈ ਜਾ ਸਕੇ। SafeAgents ਇੱਕ ਮਿਡਲਵੇਅਰ ਲੇਅਰ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ:

1. ਰੁਕਾਵਟ (Interception): ਏਜੰਟ LLM ਨੂੰ ਇੱਕ ਬੇਨਤੀ ਭੇਜਦਾ ਹੈ। ਜਵਾਬ ਸਿੱਧਾ ਹਾਰਨੈੱਸ (harness) ਕੋਲ ਜਾਣ ਦੀ ਬਜਾਏ SafeAgents ਪ੍ਰਾਕਸੀ ਕੋਲ ਵਾਪਸ ਆਉਂਦਾ ਹੈ।
2. ਜਾਂਚ (Inspection): ਪ੍ਰਾਕਸੀ ਬਣਤਰਬੱਧ ਟੂਲ ਕਾਲਾਂ (ਜਿਵੇਂ ਕਿ JSON ਫੰਕਸ਼ਨ ਕਾਲਾਂ ਜਾਂ ਖਾਸ XML ਟੈਗ) ਲਈ ਜਵਾਬ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਦੀ ਹੈ।
3. ਨੀਤੀ ਮੁਲਾਂਕਣ (Policy Evaluation): ਇਹ ਇਹਨਾਂ ਕਾਲਾਂ ਦੀ ਜਾਂਚ ਪਹਿਲਾਂ ਤੋਂ ਤੈਅ ਕੀਤੇ ਗਏ ਜਾਂ ਕਸਟਮ ਸੁਰੱਖਿਆ ਨਿਯਮਾਂ ਦੇ ਇੱਕ ਸੈੱਟ ਨਾਲ ਕਰਦਾ ਹੈ। ਇਹ ਨਿਯਮ ਖਾਸ ਕਮਾਂਡਾਂ ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ, ਫਾਈਲ ਪਾਥਾਂ ਨੂੰ ਸੀਮਿਤ ਕਰ ਸਕਦੇ ਹਨ, ਜਾਂ ਨੈੱਟਵਰਕ ਐਕਸੈਸ ਨੂੰ ਸੀਮਿਤ ਕਰ ਸਕਦੇ ਹਨ।
4. ਸੈਨੀਟਾਈਜ਼ੇਸ਼ਨ (Sanitization): ਜੇਕਰ ਕੋਈ ਕਾਲ ਪਾਸ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਇਹ ਹਾਰਨੈੱਸ ਕੋਲ ਭੇਜੀ ਜਾਂਦੀ ਹੈ। ਜੇਕਰ ਇਹ ਫੇਲ੍ਹ ਹੁੰਦੀ ਹੈ, ਤਾਂ ਪ੍ਰਾਕਸੀ ਖਤਰਨਾਕ ਕਾਲ ਨੂੰ ਇੱਕ ਸੁਰੱਖਿਅਤ ਟੈਕਸਟ ਨੋਟਿਸ (ਜਿਵੇਂ ਕਿ “Tool call blocked by policy”) ਨਾਲ ਬਦਲ ਦਿੰਦੀ ਹੈ ਅਤੇ ਇਸਨੂੰ ਏਜੰਟ ਕੋਲ ਵਾਪਸ ਭੇਜ ਦਿੰਦੀ ਹੈ।

ਇਹ ਪਹੁੰਚ ਟੀਮਾਂ ਨੂੰ ਕੋਰ ਹਾਰਨੈੱਸ ਕੋਡ ਨੂੰ ਬਦਲੇ ਬਿਨਾਂ ਮੌਜੂਦਾ ਏਜੰਟਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ, ਜੋ ਕਿ ਲੈਗਸੀ ਏਜੰਟ ਇੰਪਲੀਮੈਂਟੇਸ਼ਨ ਵਾਲੇ ਉੱਦਮਾਂ ਲਈ ਇੱਕ ਵੱਡਾ ਫਾਇਦਾ ਹੈ।

ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਅਤੇ ਸਮਰੱਥਾਵਾਂ

ਹਾਲਾਂਕਿ SafeAgents ਇੱਕ ਨਿਸ਼ਚਿਤ (niche) ਟੂਲ ਹੈ, ਪਰ ਇਸਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਏਜੰਟਿਕ ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਖਾਸ ਦਰਦ ਦੇ ਬਿੰਦੂਆਂ ਨੂੰ ਹੱਲ ਕਰਨ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹਨ।

1. ਹਾਰਨੈੱਸ-ਅਗਨੋਸਟਿਕ ਇੰਟੀਗ੍ਰੇਸ਼ਨ

SafeAgents ਦੇ ਸਭ ਤੋਂ ਵੱਧ ਪ੍ਰਸ਼ੰਸਾਯੋਗ ਪਹਿਲੂਆਂ ਵਿੱਚੋਂ ਇੱਕ ਇਸਦੀ ਅਨੁਕੂਲਤਾ ਹੈ। ਕਿਉਂਕਿ ਇਹ ਪ੍ਰਾਕਸੀ ਪੱਧਰ 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ, ਇਸਨੂੰ ਪਰਵਾਹ ਨਹੀਂ ਕਿ ਤੁਸੀਂ ਕਿਹੜਾ ਫ੍ਰੇਮਵਰਕ ਵਰਤ ਰਹੇ ਹੋ। ਚਾਹੇ ਤੁਸੀਂ Autogen, LangGraph, ਜਾਂ ਕੋਈ ਪ੍ਰਾਈਵੇਟ ਅੰਦਰੂਨੀ ਟੂਲ ਵਰਤ ਰਹੇ ਹੋ, ਜੇਕਰ ਤੁਹਾਡਾ ਏਜੰਟ ਇੱਕ ਮਾਡਲ ਸਰਵਰ ਨਾਲ ਸਟੈਂਡਰਡ HTTP APIs ਰਾਹੀਂ ਸੰਚਾਰ ਕਰਦਾ ਹੈ, ਤਾਂ SafeAgents ਵਿਚਕਾਰ ਬੈਠ ਸਕਦਾ ਹੈ। ਇਹ “ਇੱਕ ਵਾਰ ਲਿਖੋ, ਹਰ ਥਾਂ ਸੁਰੱਖਿਅਤ ਕਰੋ” ਸਮਰੱਥਾ ਉਹਨਾਂ ਟੀਮਾਂ ਲਈ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ ਜੋ ਕਈ ਏਜੰਟ ਆਰਕੀਟੈਕਚਰਾਂ ਨਾਲ ਪ੍ਰਯੋਗ ਕਰ ਰਹੀਆਂ ਹਨ।

2. ਰੀਅਲ-ਟਾਈਮ ਟੂਲ ਕਾਲ ਜਾਂਚ

ਪੋਸਟ-ਐਕਜ਼ੀਕਿਊਸ਼ਨ ਲੌਗਾਂ ਦੇ ਉਲਟ, ਜੋ ਸਿਰਫ਼ ਇਹ ਦੱਸਦੇ ਹਨ ਕਿ ਬਾਅਦ ਵਿੱਚ ਕੀ ਗਲਤ ਹੋਇਆ, SafeAgents ਪ੍ਰੀ-ਐਕਜ਼ੀਕਿਊਸ਼ਨ ਸੁਰੱਖਿਆ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਹ ਹਾਰਨੈੱਸ ਦੇ ਕਾਰਵਾਈ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਟੂਲ ਕਾਲ ਦੇ ਇਰਾਦੇ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ। ਇਹ ਡੇਟਾਬੇਸ ਡਿਲੀਸ਼ਨ ਜਾਂ ਬਿਨਾਂ ਅਧਿਕਾਰ ਵਾਲੇ API ਲਿਖਣ ਵਰਗੀਆਂ ਅਪਰਤਿਵਰਤਨੀ (irreversible) ਕਾਰਵਾਈਆਂ ਨੂੰ ਰੋਕਣ ਲਈ ਬਹੁਤ ਜ਼ਰੂਰੀ ਹੈ।

3. ਓਪਨ-ਸੋਰਸ ਅਤੇ ਲੋਕਲ-ਫਰਸਟ

Hugging Face ਦੁਆਰਾ GitHub 'ਤੇ ਹੋਸਟ ਕੀਤਾ ਗਿਆ, SafeAgents ਓਪਨ-ਸੋਰਸ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਸੀਂ ਕੋਡ ਦਾ ਆਡਿਟ ਕਰ ਸਕਦੇ ਹੋ, ਬਲੌਕਿੰਗ ਨਿਯਮਾਂ ਨੂੰ ਕਸਟਮਾਈਜ਼ ਕਰ ਸਕਦੇ ਹੋ, ਅਤੇ ਇਸਨੂੰ ਲੋਕਲੀ ਚਲਾ ਸਕਦੇ ਹੋ। ਗੋਪਨੀਅਤਾ ਬਾਰੇ ਸੋਚਣ ਵਾਲੀਆਂ ਟੀਮਾਂ ਲਈ, ਪ੍ਰਾਕਸੀ ਨੂੰ ਲੋਕਲੀ ਚਲਾਉਣ ਨਾਲ ਇਹ ਯਕੀਨੀ ਬਣਦਾ ਹੈ ਕਿ ਸੰਵੇਦਨਸ਼ੀਲ ਪ੍ਰੌਂਪਟ ਅਤੇ ਟੂਲ ਆਉਟਪੁੱਟ ਤੀਜੇ-ਧਿਰ ਦੇ ਸੁਰੱਖਿਆ SaaS ਪ੍ਰੋਵਾਈਡਰਾਂ ਰਾਹੀਂ ਲੰਘਣ ਦੀ ਲੋੜ ਨਹੀਂ ਪੈਂਦੀ। ਇਹ ਸੁਰੱਖਿਆ ਲੇਅਰ ਨੂੰ ਤੁਹਾਡੇ ਆਪਣੇ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਵਿੱਚ ਰੱਖਦਾ ਹੈ।

4. ਹਲਕਾ ਫੁੱਟਪ੍ਰਿੰਟ

ਪ੍ਰਾਕਸੀ ਨੂੰ ਹਲਕਾ-ਫੁਲਕਾ ਬਣਾਇਆ ਗਿਆ ਹੈ। ਇਹ ਏਜੰਟ ਲੂਪ ਵਿੱਚ ਘੱਟੋ-ਘੱਟ ਦੇਰੀ ਜੋੜਦਾ ਹੈ, ਜੋ ਕਿ ਇੰਟਰਐਕਟਿਵ ਕੋਡਿੰਗ ਸੈਸ਼ਨਾਂ ਲਈ ਜ਼ਰੂਰੀ ਹੈ ਜਿੱਥੇ ਤੁਰੰਤ ਜਵਾਬ ਦੇਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਇਸਨੂੰ ਇੰਸਪੈਕਸ਼ਨ ਲੇਅਰ ਲਈ ਭਾਰੀ GPU ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ, ਕਿਉਂਕਿ ਇਹ ਮੁੱਖ ਤੌਰ 'ਤੇ ਪਾਰਸਿੰਗ ਅਤੇ ਨਿਯਮ-ਮੇਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਨਾ ਕਿ ਹਰੇਕ ਜਾਂਚ ਲਈ ਦੂਜਾ LLM ਚਲਾਉਂਦਾ ਹੈ (ਹਾਲਾਂਕਿ ਉੱਨਤ ਸੰਰਚਨਾਵਾਂ LLM-ਅਧਾਰਿਤ ਦੂਜੀਆਂ ਜਾਂਚਾਂ ਦੀ ਆਗਿਆ ਦੇ ਸਕਦੀਆਂ ਹਨ)।

SafeAgents ਬਨਾਮ Microsoft SafeAgents: ਖੇਤਰ ਨੂੰ ਸਪਸ਼ਟ ਕਰਨਾ

Hugging Face safeagents ਪ੍ਰਾਕਸੀ ਅਤੇ microsoft/SafeAgents ਫ੍ਰੇਮਵਰਕ ਵਿਚਕਾਰ ਅੰਤਰ ਸਮਝਣਾ ਜ਼ਰੂਰੀ ਹੈ। ਹਾਲਾਂਕਿ ਦੋਵੇਂ ਏਜੰਟ ਸੁਰੱਖਿਆ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ ਦਾ ਟੀਚਾ ਰੱਖਦੇ ਹਨ, ਪਰ ਇਹ ਵੱਖ-ਵੱਖ ਮਕਸਦਾਂ ਲਈ ਹਨ।

ਨੋਟ: Microsoft ਪ੍ਰੋਜੈਕਟ ਮਲਟੀ-ਏਜੰਟ ਸਿਸਟਮਾਂ (MAS) ਵਿੱਚ ਸੁਰੱਖਿਆ ਦਾ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਇੱਕ ਵਿਸ਼ਾਲ “ਇਕਸਾਰ ਫ੍ਰੇਮਵਰਕ” 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਹੈ, ਜਿਸ ਵਿੱਚ ਹਮਲੇ ਦੀ ਪਛਾਣ ਅਤੇ Autogen ਅਤੇ LangGraph ਵਰਗੇ ਫ੍ਰੇਮਵਰਕਾਂ ਲਈ ਸਮਰਥਨ ਸ਼ਾਮਲ ਹੈ। Hugging Face ਟੂਲ ਟੂਲ ਚਲਾਉਣ ਦੀ ਖਾਸ ਓਪਰੇਸ਼ਨਲ ਸੁਰੱਖਿਆ 'ਤੇ ਵਧੇਰੇ ਕੇਂਦ੍ਰਿਤ ਹੈ।

ਫਾਇਦੇ ਅਤੇ ਨੁਕਸਾਨ

ਫਾਇਦੇ

• ਗੈਰ-ਦਖਲਅੰਦਾਜ਼ ਸੁਰੱਖਿਆ: ਤੁਹਾਨੂੰ ਆਪਣੇ ਏਜੰਟ ਦੇ ਤਰਕ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਇਹ ਇੱਕ ਪਾਰਦਰਸ਼ੀ ਪ੍ਰਾਕਸੀ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।
• ਪ੍ਰੀ-ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਬਲੌਕਿੰਗ: ਖਤਰਨਾਕ ਕਾਰਵਾਈਆਂ ਨੂੰ ਹੋਣ ਤੋਂ ਪਹਿਲਾਂ ਰੋਕਦਾ ਹੈ, ਨਾ ਕਿ ਬਾਅਦ ਵਿੱਚ ਉਹਨਾਂ ਨੂੰ ਲੌਗ ਕਰਦਾ ਹੈ।
• ਓਪਨ-ਸੋਰਸ ਪਾਰਦਰਸ਼ਤਾ: ਕੋਡ ਤੱਕ ਪੂਰੀ ਪਹੁੰਚ ਕਸਟਮ ਨਿਯਮ ਬਣਾਉਣ ਅਤੇ ਸੁਰੱਖਿਆ ਆਡਿਟ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।
• ਘੱਟ ਦੇਰੀ: ਹਲਕਾ-ਫੁਲਕਾ ਬਣਾਇਆ ਗਿਆ ਹੈ, ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਇਹ ਏਜੰਟ ਇੰਟਰਐਕਸ਼ਨਾਂ ਨੂੰ ਕਾਫ਼ੀ ਧੀਮਾ ਨਾ ਕਰੇ।
• ਵੈਂਡਰ ਨਿਰਪੱਖ: ਕਿਸੇ ਵੀ ਮਾਡਲ ਪ੍ਰੋਵਾਈਡਰ (OpenAI, Anthropic, ਲੋਕਲ Llama ਮਾਡਲ) ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ ਜਦੋਂ ਤੱਕ API ਅਨੁਕੂਲ ਹੈ।

ਨੁਕਸਾਨ

• ਨਿਯਮ ਪ੍ਰਬੰਧਨ ਓਵਰਹੈੱਡ: ਤੁਹਾਨੂੰ ਇਹ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਪਵੇਗਾ ਕਿ ਤੁਹਾਡੇ ਖਾਸ ਵਾਤਾਵਰਣ ਲਈ “ਖਤਰਨਾਕ” ਦਾ ਕੀ ਮਤਲਬ ਹੈ। ਡਿਫੌਲਟ ਨਿਯਮ ਬਹੁਤ ਸਖ਼ਤ ਜਾਂ ਬਹੁਤ ਢਿੱਲੇ ਹੋ ਸਕਦੇ ਹਨ।
• ਗਲਤ ਸਕਾਰਾਤਮਕ (False Positives): ਹਮਲਾਵਰ ਬਲਾਕਿੰਗ ਵਾਜਬ ਏਜੰਟ ਕਾਰਵਾਈਆਂ ਵਿੱਚ ਰੁਕਾਵਟ ਪਾ ਸਕਦੀ ਹੈ, ਜਿਸ ਲਈ ਸਾਵਧਾਈ ਨਾਲ ਟਿਊਨਿੰਗ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
• ਸੀਮਿਤ ਸੰਦਰਭ ਜਾਗਰੂਕਤਾ: ਇੱਕ ਪ੍ਰਾਕਸੀ ਹੋਣ ਕਾਰਨ, ਇਹ ਹਮੇਸ਼ਾ ਪੂਰੇ ਸੰਵਾਦ ਦੇ ਸੰਦਰਭ ਨੂੰ ਨਹੀਂ ਸਮਝ ਪਾਉਂਦਾ, ਜਿਸ ਨਾਲ ਸੂਖਮ ਪ੍ਰੌਂਪਟ ਇੰਜੈਕਸ਼ਨਾਂ ਖੁੰਝ ਸਕਦੀਆਂ ਹਨ ਜੋ ਖਾਸ ਟੂਲ ਕਾਲ ਪੈਟਰਨ ਨੂੰ ਟ੍ਰਿਗਰ ਨਹੀਂ ਕਰਦੀਆਂ।
• ਨਿਸ਼ਚਿਤ ਵਰਤੋਂ ਦਾ ਮਕਸਦ: ਇਹ ਖਾਸ ਤੌਰ 'ਤੇ ਟੂਲ-ਕਾਲਿੰਗ ਏਜੰਟਾਂ ਲਈ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਟੂਲ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਤੋਂ ਬਿਨਾਂ ਸਧਾਰਨ ਚੈਟ ਜਾਂ ਰੀਟ੍ਰੀਵਲ ਲਈ ਏਜੰਟ ਵਰਤ ਰਹੇ ਹੋ, ਤਾਂ ਲਾਭ ਘੱਟ ਹਨ।

ਕੌਣ SafeAgents ਵਰਤਣਾ ਚਾਹੀਦਾ ਹੈ?

SafeAgents ਇੰਜੀਨੀਅਰਿੰਗ ਟੀਮਾਂ ਅਤੇ ਸੁਰੱਖਿਆ-ਸੁਚੇਤ ਡਿਵੈਲਪਰਾਂ ਲਈ ਆਦਰਸ਼ ਹੈ ਜੋ ਪਹਿਲਾਂ ਹੀ ਉਤਪਾਦਨ ਜਾਂ ਪ੍ਰੀ-ਉਤਪਾਦਨ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਸਵੈ-ਚਾਲਿਤ ਕੋਡਿੰਗ ਏਜੰਟ ਤਾਇਨਾਤ ਕਰ ਰਹੇ ਹਨ।

1. DevOps ਟੀਮਾਂ: ਜੇਕਰ ਤੁਹਾਡੇ ਏਜੰਟਾਂ ਕੋਲ CI/CD ਪਾਈਪਲਾਈਨਾਂ ਜਾਂ ਕਲਾਊਡ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਤੱਕ ਪਹੁੰਚ ਹੈ, ਤਾਂ SafeAgents ਗਲਤੀ ਨਾਲ ਜਾਂ ਦੁਸ਼ਟ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਬਦਲਾਵਾਂ ਨੂੰ ਰੋਕਣ ਲਈ ਇੱਕ ਲੋੜੀਂਦਾ ਗਾਰਡਰੇਲ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
2. ਐਂਟਰਪ੍ਰਾਈਜ਼ ਡਿਵੈਲਪਰ: ਸਖ਼ਤ ਅਨੁਕੂਲਤਾ ਲੋੜਾਂ (HIPAA, SOC2) ਵਾਲੀਆਂ ਕੰਪਨੀਆਂ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ SafeAgents ਵਰਤ ਸਕਦੀਆਂ ਹਨ ਕਿ ਏਜੰਟ ਟੂਲ ਕਾਲਾਂ ਰਾਹੀਂ PII ਲੀਕ ਨਾ ਕਰਨ ਜਾਂ ਬਿਨਾਂ ਅਧਿਕਾਰ ਵਾਲੇ ਡਾਟਾ ਸਰੋਤਾਂ ਤੱਕ ਪਹੁੰਚ ਨਾ ਕਰਨ।
3. ਓਪਨ-ਸੋਰਸ ਮੇਂਟੇਨਰ: ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਓਪਨ-ਸੋਰਸ ਏਜੰਟ ਫ੍ਰੇਮਵਰਕ ਬਣਾ ਰਹੇ ਹੋ, ਤਾਂ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਅਪਣਾਉਣ ਲਈ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਵਿਕਰੀ ਬਿੰਦੂ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਤੁਸੀਂ SafeAgents ਨੂੰ ਇੱਕ ਵਿਕਲਪਿਕ ਸੁਰੱਖਿਆ ਪਰਤ ਵਜੋਂ ਇੰਟੀਗ੍ਰੇਟ ਕਰੋ।

ਇਹ ਸ਼ੌਕੀਨਾਂ ਲਈ ਘੱਟ ਢੁਕਵਾਂ ਹੈ ਜੋ ਫਾਈਲ ਸਿਸਟਮ ਪਹੁੰਚ ਤੋਂ ਬਿਨਾਂ ਸਧਾਰਨ ਕੋਡ ਜਨਰੇਸ਼ਨ ਲਈ ਏਜੰਟ ਵਰਤਦੇ ਹਨ, ਜਾਂ ਟੀਮਾਂ ਲਈ ਜੋ UI ਅਤੇ ਡੈਸ਼ਬੋਰਡ ਵਾਲੇ ਇੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਪ੍ਰਬੰਧਿਤ ਸੁਰੱਖਿਆ ਹੱਲ ਨੂੰ ਤਰਜੀਹ ਦਿੰਦੇ ਹਨ।

ਸੈੱਟਅੱਪ ਅਤੇ ਕਨਫਿਗਰੇਸ਼ਨ

ਹਾਲਾਂਕਿ ਖਾਸ ਕੋਡ ਸਨਿਪੇਟ ਭਾਸ਼ਾ ਅਨੁਸਾਰ ਵੱਖਰੇ ਹੁੰਦੇ ਹਨ, ਪਰ ਆਮ ਸੈੱਟਅੱਪ ਵਿੱਚ ਤਿੰਨ ਕਦਮ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ:

1. ਪ੍ਰਾਕਸੀ ਇੰਸਟਾਲ ਕਰੋ: Hugging Face safeagents ਰਿਪੋਜ਼ਿਟਰੀ ਕਲੋਨ ਕਰੋ ਅਤੇ ਨਿਰਭਰਤਾਵਾਂ (dependencies) ਇੰਸਟਾਲ ਕਰੋ। ਇਹ ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ Python-ਅਧਾਰਿਤ ਸੇਵਾ ਹੁੰਦੀ ਹੈ।
2. ਨਿਯਮ ਕਨਫਿਗਰ ਕਰੋ: ਆਪਣੀਆਂ ਸੁਰੱਖਿਆ ਨੀਤੀਆਂ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ। ਉਦਾਹਰਣ ਵਜੋਂ, ਤੁਸੀਂ ਸਾਰੇ bash ਕਮਾਂਡਾਂ ਨੂੰ ਬਲਾਕ ਕਰ ਸਕਦੇ ਹੋ ਜਿਨ੍ਹਾਂ ਵਿੱਚ sudo ਸ਼ਾਮਲ ਹੋਵੇ ਜਾਂ ਫਾਈਲ ਲਿਖਣ ਨੂੰ ਇੱਕ ਖਾਸ /workspace ਡਾਇਰੈਕਟਰੀ ਤੱਕ ਸੀਮਿਤ ਕਰ ਸਕਦੇ ਹੋ।
3. ਆਪਣੇ ਏਜੰਟ ਨੂੰ ਦਿਸ਼ਾ ਦਿਓ: ਆਪਣੇ ਏਜੰਟ ਦੇ API ਐਂਡਪੁਆਇੰਟ ਨੂੰ ਬਦਲੋ ਤਾਂ ਜੋ ਇਹ ਸਿੱਧੇ ਮਾਡਲ ਸਰਵਰ URL ਦੀ ਬਜਾਏ ਸਥਾਨਕ SafeAgents ਪ੍ਰਾਕਸੀ URL ਵੱਲ ਇਸ਼ਾਰਾ ਕਰੇ। ਫਿਰ ਪ੍ਰਾਕਸੀ ਵੈਧ ਬੇਨਤੀਆਂ ਨੂੰ ਅਸਲ ਮਾਡਲ ਸਰਵਰ ਵੱਲ ਭੇਜ ਦੇਵੇਗਾ।

FAQ

ਕੀ SafeAgents ਵਰਤਣ ਲਈ ਮੁਫ਼ਤ ਹੈ? ਹਾਂ, ਇਹ GitHub 'ਤੇ ਹੋਸਟ ਕੀਤਾ ਓਪਨ-ਸੋਰਸ ਸਾਫਟਵੇਅਰ ਹੈ। ਕੋਈ ਲਾਇਸੈਂਸ ਫੀਸ ਨਹੀਂ ਹੈ। ਹਾਲਾਂਕਿ, ਤੁਹਾਨੂੰ ਅਧਾਰਤ LLM API ਵਰਤੋਂ ਅਤੇ ਪ੍ਰਾਕਸੀ ਨੂੰ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਹੋਸਟ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਲਈ ਖਰਚੇ ਆਉਣਗੇ।

ਕੀ SafeAgents Llama 3 ਵਰਗੇ ਸਥਾਨਕ LLMs ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ? ਹਾਂ। ਕਿਉਂਕਿ ਇਹ ਇੱਕ ਪ੍ਰਾਕਸੀ ਹੈ ਜੋ ਹਾਰਨੈੱਸ ਅਤੇ ਮਾਡਲ ਸਰਵਰ ਦੇ ਵਿਚਕਾਰ ਬੈਠਦੀ ਹੈ, ਇਹ ਕਿਸੇ ਵੀ ਮਾਡਲ ਨਾਲ ਕੰਮ ਕਰਦਾ ਹੈ ਜੋ ਇੱਕ ਸਟੈਂਡਰਡ API ਐਂਡਪੁਆਇੰਟ ਪ੍ਰਗਟ ਕਰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ Ollama, vLLM, ਜਾਂ Hugging Face TGI ਰਾਹੀਂ ਸੇਵ ਕੀਤੇ ਗਏ ਸਥਾਨਕ ਮਾਡਲ ਸ਼ਾਮਲ ਹਨ।

ਕੀ ਮੈਂ ਬਲਾਕਿੰਗ ਨਿਯਮਾਂ ਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰ ਸਕਦਾ ਹਾਂ? ਹਾਂ। ਪ੍ਰੋਜੈਕਟ ਦੀ ਓਪਨ-ਸੋਰਸ ਪ੍ਰਕਿਰਤੀ ਤੁਹਾਨੂੰ ਨਿਰੀਖਣ ਤਰਕ ਨੂੰ ਬਦਲਣ ਅਤੇ ਤੁਹਾਡੀ ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨਾਲ ਸੰਬੰਧਿਤ ਖਾਸ ਟੂਲਾਂ ਜਾਂ ਕਮਾਂਡ ਪੈਟਰਨਾਂ ਲਈ ਕਸਟਮ ਨਿਯਮ ਜੋੜਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।

ਕੀ ਇਹ Claude Code ਨਾਲ ਅਨੁਕੂਲ ਹੈ? ਹਾਲੀਆ ਗਾਈਡਾਂ ਅਨੁਸਾਰ, ਹਾਂ। SafeAgents ਨੂੰ “ਕਿਸੇ ਵੀ ਕੋਡਿੰਗ ਹਾਰਨੈੱਸ” ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਜਿਸ ਵਿੱਚ Claude Code ਵਰਗੇ ਲੋਕਪ੍ਰਿਯ ਟੂਲ ਸ਼ਾਮਲ ਹਨ, ਬਸ਼ਰਤੇ ਕਿ ਤੁਸੀਂ API ਐਂਡਪੁਆਇੰਟ ਨੂੰ ਪ੍ਰਾਕਸੀ ਰਾਹੀਂ ਰੂਟ ਕਰਨ ਲਈ ਕਨਫ਼ੀਗਰ ਕਰ ਸਕੋ।

ਕੀ ਇਹ ਪ੍ਰੌਂਪਟ ਇੰਜੀਨੀਅਰਿੰਗ ਦੀ ਥਾਂ ਲੈਂਦਾ ਹੈ? ਨਹੀਂ। SafeAgents ਇੱਕ ਸੁਰੱਖਿਆ ਜਾਲ ਹੈ, ਚੰਗੇ ਪ੍ਰੌਂਪਟ ਡਿਜ਼ਾਈਨ ਦਾ ਬਦਲ ਨਹੀਂ। ਇਹ ਖਤਰਨਾਕ ਟੂਲ ਕਾਲਾਂ ਨੂੰ ਫੜਦਾ ਹੈ, ਪਰ ਇਹ ਗਲਤ ਪਰ ਸੁਰੱਖਿਅਤ ਆਉਟਪੁੱਟਾਂ ਦਾ ਕਾਰਨ ਬਣਨ ਵਾਲੀ ਗਰੀਬ ਤਰਕ ਜਾਂ ਹਾਲੂਸੀਨੇਸ਼ਨ ਨੂੰ ਠੀਕ ਨਹੀਂ ਕਰਦਾ।

ਅੰਤਿਮ ਨਤੀਜਾ

SafeAgents 2026 ਵਿੱਚ AI ਏਜੰਟ ਸੁਰੱਖਿਆ ਲਈ ਇੱਕ ਵਿਹਾਰਕ ਪਹੁੰਚ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਮਾਡਲ ਪੱਧਰ 'ਤੇ AI ਅਲਾਈਨਮੈਂਟ ਅਤੇ ਸੁਰੱਖਿਆ ਦੀ ਪੂਰੀ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਦੀ ਬਜਾਏ, ਇਹ ਇੱਕ ਵਿਹਾਰਕ, ਓਪਰੇਸ਼ਨਲ ਪਰਤ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜੋ ਤੁਹਾਡੇ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਨੂੰ ਆਟੋਨੋਮਸ ਟੂਲ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਦੇ ਤੁਰੰਤ ਖਤਰਿਆਂ ਤੋਂ ਬਚਾਉਂਦਾ ਹੈ।

ਪਹਿਲਾਂ ਹੀ ਏਜੰਟਿਕ ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆਵਾਂ ਵਿੱਚ ਨਿਵੇਸ਼ ਕਰ ਚੁੱਕੀਆਂ ਟੀਮਾਂ ਲਈ, ਕੋਡ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖੇ ਬਿਨਾਂ ਇੱਕ ਸੁਰੱਖਿਆ ਪਰਤ ਜੋੜਨ ਦੀ ਯੋਗਤਾ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਲਾਭ ਹੈ। ਹਾਲਾਂਕਿ ਨਿਯਮਾਂ ਨੂੰ ਟਿਊਨ ਕਰਨ ਲਈ ਕੁਝ ਸ਼ੁਰੂਆਤੀ ਕਨਫ਼ੀਗਰੇਸ਼ਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਪਰ ਇਹ ਦਿੱਤੀ ਗਈ ਮਨ ਦੀ ਸ਼ਾਂਤੀ—ਇਹ ਜਾਣਦੇ ਹੋਏ ਕਿ ਇੱਕ ਹਾਲੂਸੀਨੇਟਡ rm -rf ਤੁਹਾਡੇ ਸਰਵਰ ਨੂੰ ਮਿਟਾਵੇਗਾ ਨਹੀਂ—ਮਿਹਨਤ ਦੇ ਬਰਾਬਰ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਅਜਿਹੇ ਏਜੰਟ ਤਾਇਨਾਤ ਕਰ ਰਹੇ ਹੋ ਜੋ ਅਸਲ-ਸੰਸਾਰ ਦੇ ਸਿਸਟਮਾਂ ਨੂੰ ਛੂਹਦੇ ਹਨ, ਤਾਂ SafeAgents ਇੱਕ ਟੂਲ ਹੈ ਜਿਸਦਾ ਤੁਹਾਨੂੰ ਤੁਰੰਤ ਮੁਲਾਂਕਣ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।