ਆਪਣੇ Mac 'ਤੇ ਪੂਰੀ ਤਰ੍ਹਾਂ Perplexity AI ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਿਵੇਂ ਚਲਾਉਣੀ ਹੈ: ਲੋਕਲ ਸੈੱਟਅੱਪ ਗਾਈਡ

ਕਈ ਸਾਲਾਂ ਤੋਂ, “ਲੋਕਲ AI” ਦਾ ਵਾਅਦਾ ਉਹਨਾਂ ਡਿਵੈਲਪਰਾਂ ਲਈ ਇੱਕ ਖਾਸ ਸ਼ੌਕ ਵਾਂਗ ਸੀ ਜਿਨ੍ਹਾਂ ਦੇ ਬੇਸਮੈਂਟ ਵਿੱਚ ਸਰਵਰ ਰੈਕ ਹੁੰਦੇ ਸਨ। 2026 ਦੇ ਅੰਤ ਤੱਕ, ਹਾਲਾਤ ਬਦਲ ਗਏ ਹਨ। Apple Silicon ਦੀ ਪਰਿਪੱਕਤਾ ਅਤੇ ਕੁਸ਼ਲ ਛੋਟੇ ਭਾਸ਼ਾਈ ਮਾਡਲਾਂ (SLMs) ਦੇ ਉਭਾਰ ਨਾਲ, ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ, Perplexity-ਸ਼ੈਲੀ ਦੇ ਖੋਜ ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਆਪਣੇ Mac 'ਤੇ ਚਲਾਉਣਾ ਹੁਣ ਸਿਰਫ਼ ਸੰਭਵ ਹੀ ਨਹੀਂ ਹੈ—ਇਹ ਵਿਹਾਰਕ, ਨਿੱਜੀ ਅਤੇ ਹੈਰਾਨੀਜਨਕ ਤੌਰ 'ਤੇ ਤੇਜ਼ ਹੈ।

ਪਰ ਆਓ ਸਪਸ਼ਟ ਕਰੀਏ: ਇਹ ਕਲਾਊਡ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਬਦਲਣ ਬਾਰੇ ਨਹੀਂ ਹੈ। ਇਹ ਨਿਯੰਤਰਣ ਬਾਰੇ ਹੈ। ਇਹ ਸੰਵੇਦਨਸ਼ੀਲ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਬਾਰੇ ਹੈ ਬਿਨਾਂ ਆਪਣਾ ਡਾਟਾ ਕਿਸੇ ਤੀਜੀ-ਧਿਰ ਦੇ ਸਰਵਰ 'ਤੇ ਭੇਜੇ। ਇਹ ਜਹਾਜ਼ ਵਿੱਚ, ਸੁਰੰਗ ਵਿੱਚ ਕੰਮ ਕਰਨ ਬਾਰੇ, ਜਾਂ ਸਿਰਫ਼ ਆਪਣੀ ਸਬਸਕ੍ਰਿਪਸ਼ਨ ਥਕਾਵਟ ਨੂੰ ਘਟਾਉਣ ਬਾਰੇ ਹੈ।

ਜੇ ਤੁਸੀਂ ਇੱਕ Mac ਯੂਜ਼ਰ ਹੋ ਅਤੇ ਸੋਚ ਰਹੇ ਹੋ ਕਿ “ਜਵਾਬ ਇੰਜਣ” ਦਾ ਤਜਰਬਾ ਲੋਕਲ ਤੌਰ 'ਤੇ ਕਿਵੇਂ ਦੁਹਰਾਉਣਾ ਹੈ, ਤਾਂ ਇਹ ਗਾਈਡ ਤੁਹਾਨੂੰ ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ, ਸਾਫਟਵੇਅਰ ਸਟੈਕ, ਅਤੇ ਇਸਨੂੰ ਕੰਮ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਬਦਲਾਵਾਂ ਬਾਰੇ ਦੱਸੇਗੀ।

ਲੋਕਲ ਕਿਉਂ ਜਾਣਾ ਹੈ? ਆਫ਼ਲਾਈਨ ਖੋਜ ਦਾ ਕਾਰਨ

ਸੈੱਟਅੱਪ ਵਿੱਚ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ, ਇਹ ਸਮਝਣਾ ਜ਼ਰੂਰੀ ਹੈ ਕਿ ਤੁਸੀਂ ਕਿਉਂ ਮਿਹਨਤ ਕਰੋਗੇ। Perplexity AI ਦੀ ਕਲਾਊਡ ਸੇਵਾ ਸ਼ਾਨਦਾਰ ਹੈ, ਪਰ ਇਸ ਨਾਲ ਕੁਝ ਅੰਦਰੂਨੀ ਸਮਝੌਤੇ ਆਉਂਦੇ ਹਨ।

1. ਪਹਿਲਾਂ ਨਿੱਜਤਾ: ਜਦੋਂ ਤੁਸੀਂ ਕਲਾਊਡ-ਅਧਾਰਤ AI ਨੂੰ ਸਵਾਲ ਪੁੱਛਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਡਾ ਪ੍ਰੌਂਪਟ (ਅਤੇ ਅਕਸਰ ਸੰਦਰਭ) ਤੁਹਾਡੇ ਡਿਵਾਈਸ ਤੋਂ ਬਾਹਰ ਜਾਂਦਾ ਹੈ। ਪੱਤਰਕਾਰਾਂ, ਵਕੀਲਾਂ, ਜਾਂ ਗੁਪਤ ਡਾਟਾ ਸੰਭਾਲਣ ਵਾਲੇ ਖੋਜਕਰਤਾਵਾਂ ਲਈ, ਲੋਕਲ ਚਲਾਉਣਾ ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਇਨਪੁਟ ਕਦੇ ਵੀ ਤੁਹਾਡੇ Mac ਤੋਂ ਬਾਹਰ ਨਾ ਜਾਣ।
2. ਸਧਾਰਨ ਕੰਮਾਂ ਲਈ ਜ਼ੀਰੋ ਦੇਰੀ: ਜਦੋਂ ਇੱਕ ਮਾਡਲ ਮੈਮੋਰੀ ਵਿੱਚ ਲੋਡ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਅਨੁਮਾਨ ਤੁਰੰਤ ਹੋ ਸਕਦਾ ਹੈ। ਕੋਈ ਨੈੱਟਵਰਕ ਰਾਊਂਡ-ਟ੍ਰਿਪ ਸਮਾਂ ਨਹੀਂ ਹੁੰਦਾ।
3. ਕੀਮਤ ਦੀ ਭਵਿੱਖਬਾਣੀਯੋਗਤਾ: ਤੁਸੀਂ ਹਾਰਡਵੇਅਰ ਲਈ ਇੱਕ ਵਾਰ ਪੈਸੇ ਦਿੰਦੇ ਹੋ। ਜੇ ਤੁਸੀਂ ਆਪਣੇ ਲੋਕਲ ਮਾਡਲ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦੇ ਅੰਦਰ ਰਹਿੰਦੇ ਹੋ, ਤਾਂ ਚਿੰਤਾ ਕਰਨ ਲਈ ਕੋਈ ਮਹੀਨਾਵਾਰ API ਫੀਸਾਂ ਜਾਂ ਸਬਸਕ੍ਰਿਪਸ਼ਨ ਯੋਜਨਾਵਾਂ ਨਹੀਂ ਹਨ।
4. ਆਫ਼ਲਾਈਨ ਸਮਰੱਥਾ: ਤੁਸੀਂ ਬਿਨਾਂ ਇੰਟਰਨੈੱਟ ਕਨੈਕਸ਼ਨ ਦੇ ਖੋਜ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਯਾਤਰੀਆਂ ਜਾਂ ਅਸਥਿਰ ਕਨੈਕਟੀਵਿਟੀ ਵਾਲੇ ਖੇਤਰਾਂ ਵਿੱਚ ਰਹਿਣ ਵਾਲਿਆਂ ਲਈ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੈ।

ਪਰੰਤੂ, ਲੋਕਲ AI ਦੀਆਂ ਕੁਝ ਸੀਮਾਵਾਂ ਹਨ। ਤੁਹਾਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਵੈੱਬ ਬ੍ਰਾਊਜ਼ਿੰਗ ਦੀ ਪਹੁੰਚ ਨਹੀਂ ਮਿਲੇਗੀ, ਜਦੋਂ ਤੱਕ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਬ੍ਰਾਊਜ਼ਰ ਨਾਲ ਜੋੜਨ ਲਈ ਇੱਕ ਜਟਿਲ ਬ੍ਰਿਜ ਨਹੀਂ ਬਣਾਉਂਦੇ। ਤੁਹਾਡੇ ਕੋਲ GPT-5 ਜਾਂ Claude 4.5 ਵਰਗੇ ਕਲਾਊਡ ਜਾਇੰਟਸ ਵਾਲੇ ਵੱਡੇ ਪੈਰਾਮੀਟਰ ਗਿਣਤੀ ਵੀ ਨਹੀਂ ਹੋਣਗੇ। ਇੱਥੇ ਮਕਸਦ ਕੁਸ਼ਲਤਾ ਅਤੇ ਗੋਪਨੀਯਤਾ ਹੈ, ਕੱਚੀ ਅਤੇ ਅਸੀਮਤ ਬੁੱਧੀ ਨਹੀਂ।

ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ: ਕੀ ਤੁਹਾਡਾ Mac ਇਸਨੂੰ ਸੰਭਾਲ ਸਕਦਾ ਹੈ?

ਸਾਰੇ Mac ਲੋਕਲ AI ਲਈ ਬਰਾਬਰ ਨਹੀਂ ਹਨ। ਬਾਟਲਨੈੱਕ (bottleneck) ਘੱਟ ਹੀ CPU ਹੁੰਦਾ ਹੈ; ਇਹ ਯੂਨੀਫਾਈਡ ਮੈਮੋਰੀ ਆਰਕੀਟੈਕਚਰ (UMA) ਅਤੇ GPU ਕੋਰ ਹੁੰਦੇ ਹਨ।

ਸਹੀ ਬਿੰਦੂ: Apple Silicon (M1/M2/M3/M4)

ਜੇ ਤੁਸੀਂ ਇੱਕ Intel-ਅਧਾਰਤ Mac ਵਰਤ ਰਹੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਮੁਸ਼ਕਲ ਆਵੇਗੀ। ਆਧੁਨਿਕ ਟਰਾਂਸਫਾਰਮਰ ਮਾਡਲਾਂ ਲਈ GPU ਤੇਜ਼ੀ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ। ਤੁਹਾਨੂੰ Apple Silicon ਦੀ ਲੋੜ ਹੈ।

• ਘੱਟੋ-ਘੱਟ ਵਧੀਆ ਸੈੱਟਅੱਪ: 16GB RAM ਵਾਲਾ M1/M2।
  • ਤੁਸੀਂ ਕੀ ਚਲਾ ਸਕਦੇ ਹੋ: 4-ਬਿੱਟ ਤੱਕ ਕੁਆਂਟਾਈਜ਼ ਕੀਤੇ ਛੋਟੇ ਮਾਡਲ (3B–7B ਪੈਰਾਮੀਟਰ)।
  • ਪ੍ਰਦਰਸ਼ਨ: ਛੋਟੇ ਸਵਾਲਾਂ ਲਈ ਸਵੀਕਾਰਯੋਗ। ਲੰਬੇ ਕੰਟੈਕਸਟ ਵਿੰਡੋਜ਼ ਨਾਲ ਮੁਸ਼ਕਲ ਆ ਸਕਦੀ ਹੈ।
• ਸਿਫ਼ਾਰਸ਼ ਕੀਤਾ ਸੈੱਟਅੱਪ: 32GB–64GB RAM ਵਾਲਾ M3/M4 Pro/Max।
  • ਤੁਸੀਂ ਕੀ ਚਲਾ ਸਕਦੇ ਹੋ: ਵੱਧ ਸ਼ੁੱਧਤਾ (8-ਬਿੱਟ) ਵਾਲੇ ਦਰਮਿਆਨੇ ਆਕਾਰ ਦੇ ਮਾਡਲ (7B–13B ਪੈਰਾਮੀਟਰ) ਜਾਂ ਭਾਰੀ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਵਾਲੇ ਵੱਡੇ ਮਾਡਲ (30B+)।
  • ਪ੍ਰਦਰਸ਼ਨ: ਸਮੂਥ, ਜਵਾਬਦੇਹ, ਅਤੇ ਮਲਟੀ-ਡੌਕੂਮੈਂਟ ਵਿਸ਼ਲੇਸ਼ਣ ਨੂੰ ਸੰਭਾਲਣ ਦੇ ਯੋਗ।
• ਪਾਵਰ ਯੂਜ਼ਰ ਸੈੱਟਅੱਪ: 96GB+ RAM ਵਾਲਾ M4 Max/Ultra।
  • ਤੁਸੀਂ ਕੀ ਚਲਾ ਸਕਦੇ ਹੋ: ਐਗਰੈਸਿਵ ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਵਾਲੇ ਵੱਡੇ ਮਾਡਲ (70B+)।
  • ਪ੍ਰਦਰਸ਼ਨ: ਕਈ ਕੰਮਾਂ ਲਈ ਲਗਭਗ ਕਲਾਊਡ ਗੁਣਵੱਤਾ, ਹਾਲਾਂਕਿ ਛੋਟੇ ਮਾਡਲਾਂ ਨਾਲੋਂ ਧੀਮਾ।

ਮੁੱਖ ਅੰਤਰਦ੍ਰਿਸ਼ਟੀ: RAM ਰਾਜਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਬ੍ਰਾਊਜ਼ਰ ਅਤੇ IDE ਖੁੱਲ੍ਹੇ ਰੱਖਦੇ ਹੋਏ 13B ਮਾਡਲ ਨੂੰ ਆਰਾਮ ਨਾਲ ਲੋਡ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਘੱਟੋ-ਘੱਟ 32GB ਯੂਨੀਫਾਈਡ ਮੈਮੋਰੀ ਦੀ ਲੋੜ ਹੈ। 16GB ਤੰਗ ਹੈ ਅਤੇ ਅਕਸਰ ਸਵੈਪਿੰਗ ਵੱਲ ਲੈ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਖ਼ਤਮ ਹੋ ਜਾਂਦਾ ਹੈ।

ਸਾਫਟਵੇਅਰ ਸਟੈਕ: ਆਪਣਾ ਲੋਕਲ ਜਵਾਬ ਇੰਜਣ ਬਣਾਉਣਾ

Perplexity ਦੀ ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਦੁਹਰਾਉਣ ਲਈ, ਤੁਹਾਨੂੰ ਤਿੰਨ ਹਿੱਸਿਆਂ ਦੀ ਲੋੜ ਹੈ:

1. ਮਾਡਲ ਰਨਰ: ਸਾਫਟਵੇਅਰ ਜੋ LLM ਨੂੰ ਲੋਡ ਅਤੇ ਚਲਾਉਂਦਾ ਹੈ।
2. ਮਾਡਲ: ਅਸਲ AI ਦਿਮਾਗ (ਉਦਾਹਰਨ ਵਜੋਂ, Llama 3, Mistral, Gemma)।
3. ਇੰਟਰਫੇਸ: ਇੱਕ UI ਜੋ ਤੁਹਾਨੂੰ ਗੱਲਬਾਤ ਕਰਨ, ਡੌਕੂਮੈਂਟ ਅੱਪਲੋਡ ਕਰਨ ਅਤੇ ਇਤਿਹਾਸ ਨੂੰ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਕਦਮ 1: ਆਪਣਾ ਮਾਡਲ ਰਨਰ ਚੁਣੋ

macOS ਲਈ ਕਈ ਉੱਤਮ ਓਪਨ-ਸੋਰਸ ਰਨਰ ਮੌਜੂਦ ਹਨ। ਅਸੀਂ ਇਹਨਾਂ ਦੋਵਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਇੱਕ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰਨ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦੇ ਹਾਂ:

ਵਿਕਲਪ A: Ollama (ਸਭ ਤੋਂ ਆਸਾਨ)

Mac 'ਤੇ ਲੋਕਲ LLMs ਲਈ Ollama ਹੁਣ ਅਧਿਕਾਰਤ ਮਿਆਰ ਬਣ ਗਿਆ ਹੈ। ਇਹ ਇੱਕ ਸਿੰਪਲ API ਵਾਲਾ ਕਮਾਂਡ-ਲਾਈਨ ਟੂਲ ਹੈ, ਪਰ ਇਸਦੇ ਕਮਿਊਨਿਟੀ ਦੁਆਰਾ ਬਣਾਏ ਗਏ GUIs ਵੀ ਹਨ।

• ਫਾਇਦੇ: ਇੰਸਟਾਲ ਕਰਨਾ ਬਹੁਤ ਆਸਾਨ (brew install ollama), ਪਹਿਲਾਂ ਤੋਂ ਕੁਆਂਟਾਈਜ਼ਡ ਮਾਡਲਾਂ ਦਾ ਵੱਡਾ ਭੰਡਾਰ, ਘੱਟ ਰਿਸੋਰਸ ਖਪਤ।
• ਨੁਕਸਾਨ: ਕੋਈ ਨੇਟਿਵ GUI ਨਹੀਂ (ਚੈਟ ਕਰਨ ਲਈ ਤੁਹਾਨੂੰ ਤੀਜੀ-ਧਿਰ ਦੀ ਐਪ ਚਾਹੀਦੀ ਹੈ)।

ਵਿਕਲਪ B: LM Studio (ਸਭ ਤੋਂ ਵਧੀਆ GUI)

LM Studio ਇੱਕ ਪਾਲਿਸ਼ਡ, ਨੇਟਿਵ macOS ਐਪਲੀਕੇਸ਼ਨ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਡਾਊਨਲੋਡ ਕਰਨਾ, ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਚੋਣ ਅਤੇ ਚੈਟ ਇੰਟਰਫੇਸ ਇੱਕੋ ਪੈਕੇਜ ਵਿੱਚ ਸੰਭਾਲਦਾ ਹੈ।

• ਫਾਇਦੇ: ਯੂਜ਼ਰ-ਫ੍ਰੈਂਡਲੀ, ਵਿਜ਼ੂਅਲ ਮਾਡਲ ਮੈਨੇਜਰ, ਲੋਕਲ embeddings ਅਤੇ RAG (Retrieval-Augmented Generation) ਨੂੰ ਬਿਨਾਂ ਕਿਸੇ ਵਾਧੂ ਸੈਟਅਪ ਦੇ ਸਪੋਰਟ ਕਰਦਾ ਹੈ।
• ਨੁਕਸਾਨ: Ollama ਨਾਲੋਂ ਥੋੜ੍ਹੀ ਵੱਧ ਰਿਸੋਰਸ ਖਪਤ, ਸਕ੍ਰਿਪਟਿੰਗ ਲਈ ਘੱਟ ਲਚਕਤਾ।

ਸਿਫਾਰਸ਼: LM Studio ਦੀ ਵਰਤੋਂ ਕਰੋ ਜੇਕਰ ਤੁਸੀਂ ਘੱਟ ਤੋਂ ਘੱਟ ਮੁਸ਼ਕਲ ਦੇ ਨਾਲ “Perplexity-ਜਿਹਾ” ਤਜਰਬਾ ਚਾਹੁੰਦੇ ਹੋ। Ollama ਦੀ ਵਰਤੋਂ ਕਰੋ ਜੇਕਰ ਤੁਸੀਂ ਡਿਵੈਲਪਰ ਹੋ ਜਾਂ ਆਪਣੇ ਸਕ੍ਰਿਪਟਾਂ ਵਿੱਚ AI ਨੂੰ ਇੰਟੀਗ੍ਰੇਟ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ।

ਕਦਮ 2: ਸਹੀ ਮਾਡਲਾਂ ਦੀ ਚੋਣ ਕਰੋ

ਤੁਸੀਂ ਹਰ ਮਾਡਲ ਨਹੀਂ ਚਲਾ ਸਕਦੇ। ਤੁਹਾਨੂੰ ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਪਾਲਣਾ ਅਤੇ RAG ਲਈ ਅਨੁਕੂਲਿਤ ਮਾਡਲਾਂ ਦੀ ਲੋੜ ਹੈ।

• ਆਮ ਖੋਜ ਲਈ: Llama-3.1-8B-Instruct ਜਾਂ Mistral-7B-Instruct-v0.3। ਇਹ ਸੰਤੁਲਿਤ, ਤੇਜ਼ ਹਨ ਅਤੇ ਸਾਰਾਂਸ਼ ਕਰਨ ਵਿੱਚ ਵਧੀਆ ਹਨ।
• ਕੋਡਿੰਗ/ਤਕਨੀਕੀ ਕੰਮ ਲਈ: DeepSeek-Coder-V2-Lite (ਜੇਕਰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਹੋਵੇ) ਜਾਂ CodeLlama।
• ਲੰਬੇ ਕੰਟੈਕਸਟ (ਦਸਤਾਵੇਜ਼ ਵਿਸ਼ਲੇਸ਼ਣ) ਲਈ: Gemini-1.5-Flash ਦੇ ਬਰਾਬਰ ਵਾਲੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਖੁੱਲ੍ਹੇ ਨਹੀਂ ਹਨ, ਪਰ Llama-3.1-70B (ਕੁਆਂਟਾਈਜ਼ਡ) ਜਾਂ ਲੰਬੇ ਕੰਟੈਕਸਟ ਵਾਲੇ ਫਾਈਨ-ਟਿਊਨ ਵਾਲੇ Qwen-14B ਮਜ਼ਬੂਤ ਦਾਅਵੇਦਾਰ ਹਨ।

ਨੋਟ: ਹਮੇਸ਼ਾ ਮਾਡਲਾਂ ਦੇ “Instruct” ਵਰਜ਼ਨ ਲੱਭੋ। ਬੇਸ ਮਾਡਲ ਅਗਲੇ ਟੋਕਨ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਦੇ ਹਨ; Instruct ਮਾਡਲ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਲਈ ਟਿਊਨ ਕੀਤੇ ਗਏ ਹਨ।

ਕਦਮ 3: “Perplexity-ਸਟਾਈਲ” RAG ਨੂੰ ਲਾਗੂ ਕਰਨਾ

Perplexity ਦਾ ਜਾਦੂ ਇਸਦੇ ਸਰੋਤਾਂ ਦਾ ਹਵਾਲਾ ਦੇਣ ਦੀ ਯੋਗਤਾ ਹੈ। ਲੋਕਲ ਤੌਰ 'ਤੇ, ਤੁਸੀਂ Retrieval-Augmented Generation (RAG) ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸਦਾ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦੇ ਹੋ।

1. ਆਪਣੇ ਡਾਟਾ ਨੂੰ ਤਿਆਰ ਕਰੋ: ਆਪਣੇ PDFs, Markdown ਫਾਈਲਾਂ, ਜਾਂ ਨੋਟਸ ਨੂੰ ਇੱਕ ਲੋਕਲ ਫੋਲਡਰ ਵਿੱਚ ਸੇਵ ਕਰੋ।
2. Embedding: ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਵੈਕਟਰ embeddings ਵਿੱਚ ਬਦਲਣ ਲਈ ਇੱਕ ਲੋਕਲ embedding ਮਾਡਲ (ਜਿਵੇਂ ਕਿ Ollama ਜਾਂ LM Studio ਵਿੱਚ nomic-embed-text) ਦੀ ਵਰਤੋਂ ਕਰੋ।
3. Vector Database: ਇਹ embeddings ਨੂੰ ਇੱਕ ਲੋਕਲ vector store ਵਿੱਚ ਸਟੋਰ ਕਰੋ (LM Studio ਵਿੱਚ ਇਹ ਸੰਭਾਲਣ ਲਈ ਇੱਕ ਬਿਲਟ-ਇਨ “Local Server” ਫੀਚਰ ਹੈ; ਵਿਕਲਪਕ ਤੌਰ 'ਤੇ, ਜੇਕਰ ਕੋਡਿੰਗ ਕਰ ਰਹੇ ਹੋ ਤਾਂ ChromaDB ਜਾਂ LanceDB ਦੀ ਵਰਤੋਂ ਕਰੋ)।
4. Query: ਜਦੋਂ ਤੁਸੀਂ ਕੋਈ ਸਵਾਲ ਪੁੱਛਦੇ ਹੋ, ਤਾਂ ਸਿਸਟਮ ਸੰਬੰਧਿਤ ਚੰਕਾਂ ਲਈ ਆਪਣੇ ਲੋਕਲ vector store ਵਿੱਚ ਖੋਜ ਕਰਦਾ ਹੈ, ਉਹਨਾਂ ਨੂੰ ਕੰਟੈਕਸਟ ਵਜੋਂ LLM ਨੂੰ ਭੇਜਦਾ ਹੈ, ਅਤੇ LLM ਨੂੰ ਕੇਵਲ ਉਸ ਕੰਟੈਕਸਟ ਦੇ ਆਧਾਰ 'ਤੇ ਜਵਾਬ ਦੇਣ ਲਈ ਕਹਿੰਦਾ ਹੈ।

ਇਹ Perplexity ਦੇ “ਖੋਜ ਫਿਰ ਜਵਾਬ” ਵਾਲੇ ਵਹਾਅ ਦੀ ਨਕਲ ਕਰਦਾ ਹੈ, ਪਰ ਤੁਹਾਡੇ ਆਪਣੇ ਨਿੱਜੀ ਡਾਟਾ ਨਾਲ।

ਤੁਲਨਾ: ਸਥਾਨਕ ਬਨਾਮ ਕਲਾਊਡ ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ

ਤੁਹਾਨੂੰ ਇਹ ਤੈਅ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਨ ਲਈ ਕਿ ਤੁਹਾਨੂੰ ਆਪਣਾ ਸਮਾਂ ਅਤੇ ਹਾਰਡਵੇਅਰ ਕਿੱਥੇ ਲਗਾਉਣਾ ਚਾਹੀਦਾ ਹੈ, ਇੱਥੇ ਇੱਕ ਵਾਸਤਵਿਕ ਤੁਲਨਾ ਹੈ।

ਸਥਾਨਕ ਤਰੀਕੇ ਦੇ ਫਾਇਦੇ ਅਤੇ ਨੁਕਸਾਨ

ਫਾਇਦੇ

• ਪੂਰਾ ਕੰਟਰੋਲ: ਤੁਸੀਂ ਤੈਅ ਕਰਦੇ ਹੋ ਕਿ ਕਿਹੜੇ ਮਾਡਲ ਵਰਤਣੇ ਹਨ। ਜੇ ਕੋਈ ਨਵਾਂ ਓਪਨ-ਸੋਰਸ ਮਾਡਲ ਆਉਂਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਉਸਨੂੰ ਮਿੰਟਾਂ ਵਿੱਚ ਡਾਊਨਲੋਡ ਕਰ ਸਕਦੇ ਹੋ।
• ਕੋਈ ਸੈਂਸਰਸ਼ਿਪ ਫਿਲਟਰ ਨਹੀਂ: ਸਥਾਨਕ ਮਾਡਲਾਂ ਵਿੱਚ ਅਕਸਰ ਕਲਾਊਡ APIਜ਼ ਨਾਲੋਂ ਘੱਟ ਸੁਰੱਖਿਆ ਗਾਰਡਰੇਲ ਹੁੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਵਧੇਰੇ ਬਰੀਕ ਜਾਂ ਰਚਨਾਤਮਕ ਆਉਟਪੁੱਟ ਮਿਲਦੇ ਹਨ (ਜ਼ਿੰਮੇਵਾਰੀ ਨਾਲ ਵਰਤੋਂ ਕਰੋ)।
• ਇੰਟੀਗ੍ਰੇਸ਼ਨ: ਤੁਸੀਂ ਸਥਾਨਕ AI ਨੂੰ ਆਪਣੇ Obsidian ਨੋਟਸ, VS Code, ਜਾਂ ਟਰਮੀਨਲ ਸਕ੍ਰਿਪਟਾਂ ਵਿੱਚ ਬਿਨਾਂ ਕਿਸੇ ਰੁਕਾਵਟ ਦੇ ਜੋੜ ਸਕਦੇ ਹੋ।
• ਟਿਕਾਊਤਾ: ਤੁਹਾਡੇ ਨਿੱਜੀ ਸਵਾਲਾਂ ਲਈ ਕੋਈ ਸਰਵਰ ਫਾਰਮ ਊਰਜਾ ਖਰਚਾ ਨਹੀਂ।

ਨੁਕਸਾਨ

• ਹਾਰਡਵੇਅਰ-ਗੰਭੀਰ: ਤੁਹਾਡੇ Mac ਦੇ ਪੰਖੇ ਘੁੰਮਣਗੇ। ਭਾਰੀ ਇਨਫਰੈਂਸ ਦੌਰਾਨ ਬੈਟਰੀ ਲਾਈਫ਼ ਪ੍ਰਭਾਵਿਤ ਹੋਵੇਗੀ।
• ਕੋਈ ਲਾਈਵ ਇੰਟਰਨੈੱਟ ਨਹੀਂ: ਤੁਸੀਂ “ਹੁਣ Apple ਦਾ ਸਟਾਕ ਪ੍ਰਾਈਸ ਕੀ ਹੈ?” ਨਹੀਂ ਪੁੱਛ ਸਕਦੇ, ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਡਾਟਾ ਲਿਆ ਕੇ LLM ਨੂੰ ਭੇਜਣ ਵਾਲਾ ਕਸਟਮ ਟੂਲ ਨਹੀਂ ਬਣਾਉਂਦੇ।
• ਗੁਣਵੱਤਾ ਦੀ ਸੀਮਾ: ਤੁਸੀਂ ਸਿਖਰਲੇ ਕਲਾਊਡ ਮਾਡਲਾਂ ਦੀ ਤੁਲਨਾ ਵਿੱਚ ਭਰਮ (hallucinations) ਅਤੇ ਕਮਜ਼ੋਰ ਤਰਕ ਦੇਖੋਗੇ, ਖਾਸ ਕਰਕੇ ਜਟਿਲ ਤਰਕ ਵਾਲੇ ਪਹੇਲੀਆਂ 'ਤੇ।
• ਰੱਖ-ਰਖਾਅ: ਤੁਸੀਂ ਆਪਣੇ ਆਪ ਵਿੱਚ ਹੀ ਆਈ.ਟੀ. ਵਿਭਾਗ ਹੋ। ਅੱਪਡੇਟ, ਮਾਡਲ ਦੇ ਟੁੱਟਣੇ, ਅਤੇ ਕਨਫ਼ਿਗਰੇਸ਼ਨ ਗਲਤੀਆਂ ਤੁਹਾਡੀ ਜ਼ਿੰਮੇਵਾਰੀ ਹਨ।

ਵੱਧ ਤੋਂ ਵੱਧ ਕੁਸ਼ਲਤਾ ਲਈ ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ ਦੇ ਸੁਝਾਅ

1. ਕੁਆਂਟਾਈਜ਼ੇਸ਼ਨ ਮੁੱਖ ਹੈ: ਹਮੇਸ਼ਾ ਕੁਆਂਟਾਈਜ਼ਡ ਮਾਡਲ (Q4_K_M ਜਾਂ Q5_K_M) ਵਰਤੋ। 4-ਬਿੱਟ ਕੁਆਂਟਾਈਜ਼ਡ ਮਾਡਲ ਪੂਰੀ ਸ਼ੁੱਧਤਾ ਵਾਲੇ ਮਾਡਲ ਦੇ ~40% ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ ਅਤੇ ਗੁਣਵੱਤਾ ਵਿੱਚ ਘੱਟੋ-ਘੱਟ ਕਮੀ ਆਉਂਦੀ ਹੈ।
2. ਕੰਟੈਕਸਟ ਵਿੰਡੋਜ਼ ਛੋਟੀ ਰੱਖੋ: ਸਥਾਨਕ ਮਾਡਲ ਵੱਡੇ ਕੰਟੈਕਸਟ ਨਾਲ ਸੰਘਰਸ਼ ਕਰਦੇ ਹਨ। ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਛੋਟੇ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡੋ। ਖਾਸ ਸਵਾਲ ਪੁੱਛੋ, “ਇਸ 100-ਪੰਨਿਆਂ ਦੇ PDF ਦਾ ਸਾਰ ਦਿਓ” ਨਹੀਂ।
3. ਸਿਸਟਮ ਪ੍ਰੌਂਪਟ ਵਰਤੋ: LM Studio/Ollama ਵਿੱਚ ਇੱਕ ਸਖ਼ਤ ਪਰਸੋਨਾ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ। ਉਦਾਹਰਣ: “ਤੁਸੀਂ ਇੱਕ ਸੰਖੇਪ ਖੋਜ ਸਹਾਇਕ ਹੋ। ਸਿਰਫ਼ ਦਿੱਤੇ ਗਏ ਸੰਦਰਭ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਜਵਾਬ ਦਿਓ। ਜੇ ਜਵਾਬ ਸੰਦਰਭ ਵਿੱਚ ਨਹੀਂ ਹੈ, ਤਾਂ ‘ਮੈਨੂੰ ਨਹੀਂ ਪਤਾ’ ਕਹੋ।” ਇਸ ਨਾਲ ਹਾਲੂਸੀਨੇਸ਼ਨ ਘਟਦੇ ਹਨ।
4. ਕਲਾਉਡ ਨਾਲ ਮਿਲਾ ਕੇ ਵਰਤੋ: ਖਰੜੇ ਤਿਆਰ ਕਰਨ, ਨਿੱਜੀ ਨੋਟਾਂ ਦਾ ਸਾਰ ਦੇਣ ਅਤੇ ਕੋਡਿੰਗ ਲਈ ਲੋਕਲ AI ਵਰਤੋ। ਤਾਜ਼ਾ ਖ਼ਬਰਾਂ ਅਤੇ ਵਿਸ਼ਾਲ, ਗ਼ੈਰ-ਸੰਵੇਦਨਸ਼ੀਲ ਖੋਜ ਲਈ Perplexity Cloud ਵਰਤੋ।

FAQ

ਸ: ਕੀ ਮੈਂ Perplexity AI ਨੂੰ ਖੁਦ ਲੋਕਲ ਚਲਾ ਸਕਦਾ ਹਾਂ? ਜ: ਨਹੀਂ। Perplexity ਇੱਕ ਪ੍ਰਾਈਵੇਟ ਸੇਵਾ ਹੈ। ਹਾਲਾਂਕਿ, ਤੁਸੀਂ ਓਪਨ-ਸੋਰਸ ਮਾਡਲ (ਜਿਵੇਂ Llama ਜਾਂ Mistral) ਚਲਾ ਸਕਦੇ ਹੋ ਜੋ ਸਮਾਨ ਕੰਮ ਕਰਦੇ ਹਨ। “Perplexity ਕੰਮ ਦੀ ਪ੍ਰਕਿਰਿਆ” ਦਾ ਮਤਲਬ ਹੈ ਹਵਾਲਿਆਂ ਦੇ ਨਾਲ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਦਾ ਤਰੀਕਾ, ਜਿਸਨੂੰ ਤੁਸੀਂ RAG ਨਾਲ ਲੋਕਲ ਤੌਰ 'ਤੇ ਦੁਹਰਾ ਸਕਦੇ ਹੋ।

ਸ: ਕੀ ਮੈਨੂੰ ਵੱਖਰੇ GPU ਦੀ ਲੋੜ ਹੈ? ਜ: ਨਹੀਂ। Apple Silicon ਦੀ ਯੂਨੀਫਾਈਡ ਮੈਮੋਰੀ ਆਰਕੀਟੈਕਚਰ CPU ਅਤੇ GPU ਨੂੰ ਮੈਮੋਰੀ ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸਾਂਝਾ ਕਰਨ ਦਿੰਦੀ ਹੈ। ਤੁਹਾਨੂੰ ਵੱਖਰੇ NVIDIA GPU ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਸ: 2026 ਵਿੱਚ Mac ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਮਾਡਲ ਕਿਹੜਾ ਹੈ? ਜ: ਜ਼ਿਆਦਾਤਰ ਯੂਜ਼ਰਾਂ ਲਈ, Llama-3.1-8B-Instruct (ਕੁਆਂਟਾਈਜ਼ਡ) ਗਤੀ ਅਤੇ ਬੁੱਧੀ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਸੰਤੁਲਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਜੇ ਤੁਹਾਡੇ ਕੋਲ 32GB+ RAM ਹੈ, ਤਾਂ ਬਿਹਤਰ ਤਰਕ ਲਈ Mistral-7B ਜਾਂ Qwen-14B ਅਜ਼ਮਾਓ।

ਸ: ਕੀ ਇਹਨਾਂ ਮਾਡਲਾਂ ਨੂੰ ਵਪਾਰਕ ਤੌਰ 'ਤੇ ਵਰਤਣਾ ਕਾਨੂੰਨੀ ਹੈ? ਜ: ਹਰੇਕ ਮਾਡਲ ਦੀ ਲਾਇਸੈਂਸ ਦੀ ਜਾਂਚ ਕਰੋ। Llama ਵਿੱਚ ਜ਼ਿਆਦਾਤਰ ਵਪਾਰਕ ਵਰਤੋਂ ਲਈ ਇੱਕ ਉਦਾਰ ਲਾਇਸੈਂਸ ਹੈ (ਵੱਡੀਆਂ ਕੰਪਨੀਆਂ ਲਈ ਕੁਝ ਪਾਬੰਦੀਆਂ ਦੇ ਨਾਲ)। Mistral ਅਤੇ Gemma ਦੇ ਆਪਣੇ ਨਿਯਮ ਹਨ। ਵਪਾਰਕ ਉਤਪਾਦ ਵਿੱਚ ਆਉਟਪੁੱਟ ਵਰਤਣ ਤੋਂ ਪਹਿਲਾਂ ਹਮੇਸ਼ਾ ਲਾਇਸੈਂਸ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ।

ਸ: ਸੈੱਟਅੱਪ ਦੀ ਕੀਮਤ ਕਿੰਨੀ ਹੈ? ਜ: ਸਾਫਟਵੇਅਰ ਮੁਫ਼ਤ ਹੈ (ਓਪਨ ਸੋਰਸ)। ਲਾਗਤ ਤੁਹਾਡਾ Mac ਹੈ। ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਹੀ 16GB+ RAM ਵਾਲਾ M-series Mac ਹੈ, ਤਾਂ ਤੁਹਾਡੀ ਸ਼ੁਰੂਆਤੀ ਲਾਗਤ $0 ਹੈ। ਜੇ ਤੁਹਾਨੂੰ ਅੱਪਗ੍ਰੇਡ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ ਇੱਕ ਸਮਰੱਥ ਮਸ਼ੀਨ ਲਈ $1,500–$3,000 ਖਰਚਣ ਦੀ ਉਮੀਦ ਕਰੋ।

ਅੰਤਿਮ ਵਿਚਾਰ

ਆਪਣੇ Mac 'ਤੇ Perplexity-ਸ਼ੈਲੀ ਦੀਆਂ ਕੰਮ ਦੀਆਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਲੋਕਲ ਚਲਾਉਣਾ ਕਲਾਉਡ ਨੂੰ ਹਰਾਉਣ ਬਾਰੇ ਨਹੀਂ ਹੈ; ਇਹ ਇਸਦੀ ਪੂਰਕਤਾ ਬਾਰੇ ਹੈ। ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ, ਆਫ਼ਲਾਈਨ ਕੰਮ ਅਤੇ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਰੁਟੀਨ ਕੰਮਾਂ ਲਈ, ਲੋਕਲ AI ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ, ਨਿੱਜੀ ਅਤੇ ਲਾਗਤ-ਪ੍ਰਭਾਵੀ ਸਾਧਨ ਹੈ।

ਛੋਟੀ ਸ਼ੁਰੂਆਤ ਕਰੋ। LM Studio ਇੰਸਟਾਲ ਕਰੋ, ਇੱਕ 7B ਮਾਡਲ ਡਾਊਨਲੋਡ ਕਰੋ, ਅਤੇ ਆਪਣੇ ਕੁਝ ਦਸਤਾਵੇਜ਼ਾਂ ਦਾ ਸਾਰ ਦੇਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋ। ਤੁਸੀਂ ਜਲਦੀ ਹੀ ਦੇਖੋਗੇ ਕਿ ਲੋਕਲ AI ਕਿੱਥੇ ਚਮਕਦਾ ਹੈ ਅਤੇ ਕਿੱਥੇ ਤੁਹਾਨੂੰ ਅਜੇ ਵੀ ਕਲਾਉਡ ਦੀ ਲੋੜ ਹੈ। 2026 ਵਿੱਚ, ਸਭ ਤੋਂ ਸਮਝਦਾਰ AI ਯੂਜ਼ਰ ਲੋਕਲ ਅਤੇ ਕਲਾਉਡ ਵਿੱਚੋਂ ਚੋਣ ਨਹੀਂ ਕਰ ਰਹੇ—ਉਹ ਦੋਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹਨ।