AI ਨੂੰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਕਿਉਂ ਚਲਾਉਣਾ ਹੈ?
AI ਮਾਡਲਾਂ ਨੂੰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾਉਣ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਆਪਣੇ ਡਾਟਾ ਅਤੇ ਗਣਨਾ ਨੂੰ ਆਪਣੇ ਮਸ਼ੀਨ 'ਤੇ ਰੱਖਣਾ, ਬਜਾਏ ਕਲਾਊਡ ਸੇਵਾਵਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਨ ਦੇ। ਇਹ ਤਰੀਕਾ ਤੇਜ਼ੀ ਨਾਲ ਲੋਕਪ੍ਰਿਯ ਹੋਇਆ ਹੈ ਕਿਉਂਕਿ ਓਪਨ ਸੋਰਸ ਮਾਡਲਾਂ ਵਿੱਚ ਕਾਫ਼ੀ ਸੁਧਾਰ ਆਇਆ ਹੈ ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਲੋੜੀਂਦਾ ਹਾਰਡਵੇਅਰ ਵੀ ਕਾਫ਼ੀ ਸਸਤਾ ਹੋ ਗਿਆ ਹੈ।
ਇਸ ਦੀ ਖਿੱਚ ਸਪੱਸ਼ਟ ਹੈ: ਤੁਸੀਂ ਪ੍ਰਤੀ ਟੋਕਨ ਕੋਈ ਫੀਸ ਨਹੀਂ ਦਿੰਦੇ, ਤੁਹਾਡਾ ਡਾਟਾ ਤੁਹਾਡੇ ਡਿਵਾਈਸ ਤੋਂ ਬਾਹਰ ਨਹੀਂ ਜਾਂਦਾ, ਅਤੇ ਤੁਸੀਂ ਮਾਡਲਾਂ ਨੂੰ ਆਫ਼ਲਾਈਨ ਵਰਤ ਸਕਦੇ ਹੋ। ਲੇਖਕਾਂ, ਡਿਵੈਲਪਰਾਂ, ਖੋਜਕਰਤਾਵਾਂ ਅਤੇ ਉਨ੍ਹਾਂ ਸਾਰਿਆਂ ਲਈ ਜੋ ਰੋਜ਼ਾਨਾ ਟੈਕਸਟ ਜਾਂ ਕੋਡ ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ, ਲੋਕਲ AI ਸਬਸਕ੍ਰਿਪਸ਼ਨ 'ਤੇ ਅਧਾਰਤ ਸੇਵਾਵਾਂ ਦਾ ਇੱਕ ਵਿਹਾਰਕ ਬਦਲਵਾਂ ਰਾਹ ਪੇਸ਼ ਕਰਦਾ ਹੈ।
ਤੁਹਾਡੇ ਹਾਰਡਵੇਅਰ ਦੀ ਲੋੜ
ਕੁਝ ਵੀ ਇੰਸਟਾਲ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ, ਆਓ ਗੱਲ ਕਰੀਏ ਕਿ ਤੁਹਾਡੀ ਮਸ਼ੀਨ ਨੂੰ ਕੀ ਚਾਹੀਦਾ ਹੈ। ਚੰਗੀ ਗੱਲ ਇਹ ਹੈ ਕਿ ਬਹੁਤ ਸਾਰੇ ਆਧੁਨਿਕ ਕੰਪਿਊਟਰ ਬਿਨਾਂ ਵੱਖਰੇ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਦੇ ਵੀ AI ਮਾਡਲ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾ ਸਕਦੇ ਹਨ।
ਘੱਟੋ-ਘੱਟ ਲੋੜਾਂ
- ਸਿਰਫ਼ CPU ਵਾਲੀ ਸੈਟਅਪ: ਘੱਟੋ-ਘੱਟ 8 GB RAM, 16 GB ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ
- GPU ਨਾਲ: ਛੋਟੇ ਮਾਡਲਾਂ ਲਈ ਘੱਟੋ-ਘੱਟ 4 GB VRAM, ਵੱਡੇ ਮਾਡਲਾਂ ਲਈ 8 GB ਜਾਂ ਵੱਧ
- ਸਟੋਰੇਜ: 10-50 GB, ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਤੁਸੀਂ ਕਿਹੜੇ ਮਾਡਲ ਡਾਊਨਲੋਡ ਕਰਦੇ ਹੋ
ਜੇ ਤੁਹਾਡੇ ਕੋਲ Apple Silicon ਚਿਪ (M1, M2, ਜਾਂ ਨਵਾਂ) ਵਾਲਾ Mac ਹੈ, ਤਾਂ ਤੁਸੀਂ ਬਹੁਤ ਵਧੀਆ ਸਥਿਤੀ ਵਿੱਚ ਹੋ। Apple 'ਸ ਯੂਨੀਫਾਈਡ ਮੈਮੋਰੀ ਆਰਕੀਟੈਕਚਰ CPU ਅਤੇ GPU ਨੂੰ RAM ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸਾਂਝਾ ਕਰਨ ਦਿੰਦਾ ਹੈ, ਜੋ ਕਿ ਬਿਲਕੁਲ ਉਹੀ ਹੈ ਜੋ AI ਮਾਡਲਾਂ ਨੂੰ ਚਾਹੀਦਾ ਹੈ।
Windows ਅਤੇ Linux ਯੂਜ਼ਰਜ਼
Windows ਯੂਜ਼ਰਜ਼ ਨੂੰ NVIDIA ਤੋਂ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਲੱਭਣਾ ਚਾਹੀਦਾ ਹੈ, ਆਦਰਸ਼ਕ ਤੌਰ 'ਤੇ ਘੱਟੋ-ਘੱਟ 4 GB VRAM ਵਾਲਾ। AMD ਕਾਰਡ ਵੀ ਕੰਮ ਕਰਦੇ ਹਨ ਪਰ ਉਨ੍ਹਾਂ ਨੂੰ ਵਾਧੂ ਸੈਟਅਪ ਦੀ ਲੋੜ ਪੈ ਸਕਦੀ ਹੈ। Linux ਯੂਜ਼ਰਜ਼ ਕੋਲ ਹਾਰਡਵੇਅਰ ਸਪੋਰਟ ਦਾ ਸਭ ਤੋਂ ਵਿਸ਼ਾਲ ਦਾਇਰਾ ਅਤੇ GPU ਐਕਸਲਰੇਸ਼ਨ ਲਈ ਸਭ ਤੋਂ ਵੱਧ ਵਿਕਲਪ ਹੁੰਦੇ ਹਨ।
AI ਨੂੰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾਉਣ ਲਈ ਸਿਖਰਲੇ ਟੂਲ
ਕਈ ਟੂਲ ਤੁਹਾਡੀ ਮਸ਼ੀਨ 'ਤੇ AI ਮਾਡਲ ਚਲਾਉਣਾ ਆਸਾਨ ਬਣਾਉਂਦੇ ਹਨ, ਹਰੇਕ ਦੀਆਂ ਵੱਖਰੀਆਂ ਤਾਕਤਾਂ ਹਨ।
Ollama
Ollama ਸ਼ਾਇਦ ਸਭ ਤੋਂ ਆਸਾਨ ਸ਼ੁਰੂਆਤੀ ਬਿੰਦੂ ਹੈ। ਤੁਸੀਂ ਇੱਕ ਵਾਰ ਇੰਸਟਾਲ ਕਰਦੇ ਹੋ, ਅਤੇ ਇਹ ਮਾਡਲ ਡਾਊਨਲੋਡ ਅਤੇ ਪ੍ਰਬੰਧਨ ਆਪਣੇ ਆਪ ਸੰਭਾਲ ਲੈਂਦਾ ਹੈ। ਇਹ Mac, Windows ਅਤੇ Linux 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ, ਅਤੇ ਤੁਸੀਂ ਕਮਾਂਡ ਲਾਈਨ ਜਾਂ ਵੈੱਬ ਇੰਟਰਫੇਸ ਰਾਹੀਂ ਮਾਡਲ ਚਲਾ ਸਕਦੇ ਹੋ। ਇਹ Llama 3, Mistral ਅਤੇ Gemma ਵਰਗੇ ਲੋਕਪ੍ਰਿਯ ਮਾਡਲਾਂ ਨੂੰ ਬਾਕਸ ਤੋਂ ਬਾਹਰ ਹੀ ਸਪੋਰਟ ਕਰਦਾ ਹੈ।
LM Studio
LM Studio ਇੱਕ ਗ੍ਰਾਫਿਕਲ ਇੰਟਰਫੇਸ ਪੇਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਕਿਸੇ ਵੀ ਆਮ ਐਪਲੀਕੇਸ਼ਨ ਵਰਤਣ ਵਾਲੇ ਲਈ ਜਾਣਿਆ-ਪਛਾਣਿਆ ਲੱਗਦਾ ਹੈ। ਤੁਸੀਂ ਮਾਡਲ ਬ੍ਰਾਊਜ਼ ਕਰਦੇ ਹੋ, ਇੱਕ ਕਲਿੱਕ ਨਾਲ ਡਾਊਨਲੋਡ ਕਰਦੇ ਹੋ, ਅਤੇ ਤੁਰੰਤ ਉਨ੍ਹਾਂ ਨਾਲ ਗੱਲਬਾਤ ਕਰਦੇ ਹੋ। ਇਹ Windows ਯੂਜ਼ਰਜ਼ ਲਈ ਖਾਸ ਤੌਰ 'ਤੇ ਵਧੀਆ ਹੈ ਜੋ ਕਮਾਂਡ ਲਾਈਨ ਨੂੰ ਛੂਹਣਾ ਪਸੰਦ ਨਹੀਂ ਕਰਦੇ। LM Studio ਤੁਹਾਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਵੱਖ-ਵੱਖ ਮਾਡਲ ਵਰਜ਼ਨਾਂ ਨੂੰ ਖੋਜਣ ਅਤੇ ਤੁਲਨਾ ਕਰਨ ਦੀ ਆਗਿਆ ਵੀ ਦਿੰਦਾ ਹੈ।
ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ ਵੈੱਬ UI
ਇਹ ਟੂਲ ਵਧੇਰੇ ਫੀਚਰਾਂ ਨਾਲ ਭਰਪੂਰ ਹੈ ਅਤੇ ਉਹਨਾਂ ਯੂਜ਼ਰਾਂ ਲਈ ਢੁਕਵਾਂ ਹੈ ਜੋ ਐਡਵਾਂਸਡ ਕੰਟਰੋਲ ਚਾਹੁੰਦੇ ਹਨ। ਇਹ ਕਈ ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਅਤੇ ਤਾਪਮਾਨ, ਟੌਪ-ਪ ਸੈਂਪਲਿੰਗ, ਅਤੇ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਸਾਈਜ਼ ਵਰਗੀਆਂ ਸੈਟਿੰਗਾਂ ਨੂੰ ਟਵੀਕ ਕਰਨ ਦੇ ਵਿਕਲਪ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਹ ਇੱਕ ਵੈੱਬ-ਅਧਾਰਿਤ ਇੰਟਰਫੇਸ ਵਜੋਂ ਉਪਲਬਧ ਹੈ ਜਿਸਨੂੰ ਤੁਸੀਂ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾਉਂਦੇ ਹੋ।
llama.cpp
llama.cpp ਬਹੁਤ ਸਾਰੇ ਹੋਰ ਟੂਲਾਂ ਦੇ ਪਿੱਛੇ ਦਾ ਇੰਜਣ ਹੈ। ਇਹ ਬਹੁਤ ਹੀ ਕੁਸ਼ਲ ਹੈ ਅਤੇ ਲਗਭਗ ਕਿਸੇ ਵੀ ਹਾਰਡਵੇਅਰ 'ਤੇ, ਜਿਸ ਵਿੱਚ ਪੁਰਾਣੀਆਂ ਮਸ਼ੀਨਾਂ ਵੀ ਸ਼ਾਮਲ ਹਨ, ਮਾਡਲ ਚਲਾ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਘੱਟੋ-ਘੱਟ ਰਿਸੋਰਸ ਵਰਤੋਂ ਨਾਲ ਵੱਧ ਤੋਂ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ ਇਹ ਸਭ ਤੋਂ ਵਧੀਆ ਚੋਣ ਹੈ। ਇਹ ਵਧੇਰੇ ਤਕਨੀਕੀ ਹੈ ਪਰ ਗਤੀ ਅਤੇ ਲਚਕਤਾ ਨਾਲ ਧੀਰਜ ਦਾ ਇਨਾਮ ਦਿੰਦਾ ਹੈ।
ਸਹੀ ਮਾਡਲ ਦੀ ਚੋਣ ਕਰਨਾ
ਸਾਰੇ AI ਮਾਡਲ ਬਰਾਬਰ ਨਹੀਂ ਬਣੇ ਹੁੰਦੇ, ਅਤੇ ਸਹੀ ਇੱਕ ਦੀ ਚੋਣ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਇੱਥੇ ਇੱਕ ਵਿਹਾਰਕ ਵਿਭਾਜਨ ਹੈ:
- 7B ਤੋਂ 8B ਪੈਰਾਮੀਟਰ ਵਾਲੇ ਮਾਡਲ — ਜ਼ਿਆਦਾਤਰ ਰੋਜ਼ਾਨਾ ਦੇ ਕੰਮਾਂ ਲਈ ਵਧੀਆ। ਤੇਜ਼ ਅਤੇ ਹਲਕੇ। ਉਦਾਹਰਣਾਂ: Llama 3 8B, Mistral 7B।
- 13B ਤੋਂ 20B ਪੈਰਾਮੀਟਰ ਵਾਲੇ ਮਾਡਲ — ਬਿਹਤਰ ਤਰਕ ਅਤੇ ਵਧੇਰੇ ਸਮਰੱਥ। ਅਜੇ ਵੀ ਜ਼ਿਆਦਾਤਰ ਆਧੁਨਿਕ ਮਸ਼ੀਨਾਂ 'ਤੇ ਚੰਗੀ ਤਰ੍ਹਾਂ ਚੱਲਦੇ ਹਨ। ਉਦਾਹਰਣਾਂ: Llama 3.1 70B (ਕੁਆਂਟਾਈਜ਼ਡ), Gemma 2 27B।
- 70B+ ਪੈਰਾਮੀਟਰ ਵਾਲੇ ਮਾਡਲ — ਸਭ ਤੋਂ ਵਧੀਆ ਗੁਣਵੱਤਾ ਪਰ ਵਧੇਰੇ RAM ਅਤੇ ਇੱਕ ਚੰਗੇ GPU ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਜਟਿਲ ਲਿਖਤ, ਕੋਡ ਜਨਰੇਸ਼ਨ, ਅਤੇ ਵਿਸਤ੍ਰਿਤ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਵਧੀਆ।
ਛੋਟੇ ਮਾਡਲ ਤੇਜ਼ੀ ਨਾਲ ਚੱਲਦੇ ਹਨ ਅਤੇ ਘੱਟ ਮੈਮੋਰੀ ਵਰਤਦੇ ਹਨ। ਵੱਡੇ ਮਾਡਲ ਬਿਹਤਰ ਗੁਣਵੱਤਾ ਵਾਲਾ ਆਉਟਪੁੱਟ ਪੈਦਾ ਕਰਦੇ ਹਨ। ਜ਼ਿਆਦਾਤਰ ਯੂਜ਼ਰਾਂ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਬਿੰਦੂ ਇੱਕ ਆਧੁਨਿਕ ਮਸ਼ੀਨ 'ਤੇ 7B ਤੋਂ 13B ਦਾ ਮਾਡਲ ਹੈ।
ਕਦਮ-ਦਰ-ਕਦਮ ਸੈੱਟਅੱਪ
Ollama, ਜੋ ਸਭ ਤੋਂ ਬਿਗਨਰ-ਫ੍ਰੈਂਡਲੀ ਵਿਕਲਪ ਹੈ, ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰਨ ਲਈ ਇੱਕ ਵਿਹਾਰਕ ਰਾਹ ਇੱਥੇ ਹੈ।
ਕਦਮ 1: Ollama ਇੰਸਟਾਲ ਕਰੋ
Ollama ਵੈੱਬਸਾਈਟ 'ਤੇ ਜਾਓ ਅਤੇ ਆਪਣੇ ਓਪਰੇਟਿੰਗ ਸਿਸਟਮ ਲਈ ਇੰਸਟਾਲਰ ਡਾਊਨਲੋਡ ਕਰੋ। ਇੰਸਟਾਲਰ ਚਲਾਓ ਅਤੇ ਪ੍ਰੌਂਪਟਸ ਦੀ ਪਾਲਣਾ ਕਰੋ। Mac 'ਤੇ, ਇਹ ਇੱਕ ਮੀਨੂ ਬਾਰ ਐਪ ਜੋੜਦਾ ਹੈ। Windows ਅਤੇ Linux 'ਤੇ, ਇਹ ਇੱਕ ਬੈਕਗ੍ਰਾਉਂਡ ਸਰਵਿਸ ਵਜੋਂ ਚੱਲਦਾ ਹੈ।
ਕਦਮ 2: ਆਪਣਾ ਪਹਿਲਾ ਮਾਡਲ ਚਲਾਓ
ਇੱਕ ਟਰਮੀਨਲ ਜਾਂ ਕਮਾਂਡ ਪ੍ਰੌਂਪਟ ਖੋਲ੍ਹੋ ਅਤੇ ਟਾਈਪ ਕਰੋ:
ollama run llama3
ਇਹ Llama 3 ਮਾਡਲ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਚੈਟ ਸੈਸ਼ਨ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ। ਤੁਸੀਂ ਸਵਾਲ ਟਾਈਪ ਕਰ ਸਕਦੇ ਹੋ ਅਤੇ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਜਵਾਬ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ। ਮਾਡਲ ਪਹਿਲੀ ਵਾਰ ਚਲਾਉਣ 'ਤੇ ਆਪਣੇ ਆਪ ਡਾਊਨਲੋਡ ਹੋ ਜਾਵੇਗਾ।
ਕਦਮ 3: ਹੋਰ ਮਾਡਲਾਂ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰੋ
ਵੱਖ-ਵੱਖ ਮਾਡਲਾਂ ਵਿੱਚ ਆਸਾਨੀ ਨਾਲ ਬਦਲੋ:
ollama run mistral
ollama run gemma
ollama run codellama
ਹਰ ਮਾਡਲ ਦੀ ਇੱਕ ਵੱਖਰੀ ਤਾਕਤ ਹੈ। Mistral ਆਮ ਕੰਮਾਂ ਲਈ ਮਜ਼ਬੂਤ ਹੈ। Gemma Google ਦਾ ਪ੍ਰਸਤਾਵ ਹੈ ਅਤੇ ਤਰਕ ਵਿੱਚ ਮਾਹਰ ਹੈ। CodeLlama ਪ੍ਰੋਗਰਾਮਿੰਗ ਕੰਮਾਂ ਲਈ ਅਨੁਕੂਲਿਤ ਹੈ।
ਕਦਮ 4: ਇੱਕ ਵੈੱਬ ਇੰਟਰਫੇਸ ਵਰਤੋ
ਵਧੇਰੇ ਜਾਣੇ-ਪਛਾਣੇ ਤਜਰਬੇ ਲਈ, ਇੱਕ ਵੈੱਬ-ਅਧਾਰਿਤ ਫਰੰਟ ਐਂਡ ਇੰਸਟਾਲ ਕਰੋ। LM Studio ਦਾ ਆਪਣਾ ਇੰਟਰਫੇਸ ਹੈ। ਵਿਕਲਪਿਕ ਤੌਰ 'ਤੇ, ਤੁਸੀਂ Open WebUI ਵਰਤ ਸਕਦੇ ਹੋ, ਜੋ ਲੋਕਪ੍ਰਿਯ ਕਲਾਊਡ ਸੇਵਾਵਾਂ ਦੇ ਸਮਾਨ ਇੱਕ ਸਾਫ਼ ਚੈਟ ਤਜਰਬਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
ਅਸਲ ਵਰਤੋਂ ਦੇ ਮਕਸਦ
ਲੋਕਲ AI ਕਈ ਵਿਹਾਰਕ ਸਥਿਤੀਆਂ ਵਿੱਚ ਚਮਕਦਾ ਹੈ:
- ਲਿਖਣਾ ਅਤੇ ਸੋਧਣਾ: ਵਿਚਾਰਾਂ ਨੂੰ ਬ੍ਰੇਨਸਟੋਰਮ ਕਰਨ, ਪੈਰਾਗ੍ਰਾਫ਼ ਦੁਬਾਰਾ ਲਿਖਣ, ਜਾਂ ਆਊਟਲਾਈਨ ਤਿਆਰ ਕਰਨ ਲਈ ਇੱਕ ਲੋਕਲ ਮਾਡਲ ਵਰਤੋ, ਬਿਨਾਂ ਆਪਣੇ ਡਰਾਫ਼ਟਾਂ ਨੂੰ ਕਲਾਊਡ ਸੇਵਾ 'ਤੇ ਭੇਜੇ।
- ਕੋਡ ਸਹਾਇਤਾ: CodeLlama ਅਤੇ ਇਸੇ ਤਰ੍ਹਾਂ ਦੇ ਮਾਡਲ ਤੁਹਾਡੇ ਐਡੀਟਰ ਵਿੱਚ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਡੀਬੱਗਿੰਗ, ਰੀਫੈਕਟਰਿੰਗ ਅਤੇ ਕੋਡ ਸਨਿੱਪਟਸ ਤਿਆਰ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੇ ਹਨ।
- ਦਸਤਾਵੇਜ਼ ਵਿਸ਼ਲੇਸ਼ਣ: ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਲੋਕਲ ਮਾਡਲ ਨੂੰ ਦਿਓ ਅਤੇ ਸਮੱਗਰੀ ਬਾਰੇ ਸਵਾਲ ਪੁੱਛੋ। ਤੁਹਾਡੀਆਂ ਫਾਈਲਾਂ ਤੁਹਾਡੇ ਮਸ਼ੀਨ 'ਤੇ ਹੀ ਰਹਿੰਦੀਆਂ ਹਨ।
- ਗੋਪਨੀਅਤਾ-ਸੰਵੇਦਨਸ਼ੀਲ ਕੰਮ: ਜਦੋਂ ਤੁਸੀਂ ਗੁਪਤ ਦਸਤਾਵੇਜ਼ਾਂ ਜਾਂ ਨਿੱਜੀ ਡਾਟਾ ਨਾਲ ਕੰਮ ਕਰ ਰਹੇ ਹੋਵੋ, ਤਾਂ ਲੋਕਲ AI ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ ਕੁਝ ਵੀ ਤੁਹਾਡੇ ਕੰਪਿਊਟਰ ਤੋਂ ਬਾਹਰ ਨਾ ਜਾਵੇ।
ਆਮ ਚੁਣੌਤੀਆਂ ਅਤੇ ਹੱਲ
AI ਨੂੰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਚਲਾਉਣਾ ਬਿਨਾਂ ਕੁਝ ਅਜੀਬਤਾਵਾਂ ਦੇ ਨਹੀਂ ਹੈ। ਇੱਥੇ ਸਭ ਤੋਂ ਆਮ ਸਮੱਸਿਆਵਾਂ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਸੰਭਾਲਣ ਦੇ ਤਰੀਕੇ ਹਨ।
ਹੌਲੀ ਪ੍ਰਦਰਸ਼ਨ: ਜੇਕਰ ਤੁਹਾਡਾ ਮਾਡਲ ਹੌਲੀ ਚੱਲਦਾ ਹੈ, ਤਾਂ ਕੁਆਂਟਾਈਜ਼ਡ ਵਰਜ਼ਨ ਆਜ਼ਮਾਓ। ਇਹ ਘੱਟ ਮੈਮੋਰੀ ਵਰਤਦੇ ਹਨ ਅਤੇ ਗੁਣਵੱਤਾ ਵਿੱਚ ਮਾਮੂਲੀ ਕਮੀ ਨਾਲ ਤੇਜ਼ੀ ਨਾਲ ਚੱਲਦੇ ਹਨ। ਨਾਮ ਵਿੱਚ "GGUF" ਜਾਂ "Q4" ਵਾਲੀਆਂ ਫਾਈਲਾਂ ਲੱਭੋ।
ਮੈਮੋਰੀ ਖਤਮ ਹੋਣਾ: ਵੱਡੇ ਮਾਡਲ ਚਲਾਉਂਦੇ ਸਮੇਂ ਹੋਰ ਐਪਲੀਕੇਸ਼ਨਾਂ ਬੰਦ ਕਰੋ। ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ 16 GB RAM ਹੈ, ਤਾਂ ਤੁਸੀਂ ਆਰਾਮ ਨਾਲ 13B ਮਾਡਲ ਚਲਾ ਸਕਦੇ ਹੋ ਅਤੇ ਥਾਂ ਵੀ ਬਚੇਗੀ।
ਮਾਡਲ ਅਨੁਕੂਲਤਾ: ਵੱਖ-ਵੱਖ ਟੂਲ ਵੱਖ-ਵੱਖ ਮਾਡਲ ਫਾਰਮੈਟਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ। Ollama GGUF ਫਾਈਲਾਂ ਵਰਤਦਾ ਹੈ। LM Studio GGUF ਅਤੇ ਹੋਰ ਫਾਰਮੈਟਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਡਾਊਨਲੋਡ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਆਪਣੇ ਟੂਲ ਦਾ ਡਾਕੂਮੈਂਟੇਸ਼ਨ ਚੈੱਕ ਕਰੋ।
ਸ਼ੁਰੂਆਤੀ ਮਾਡਲ ਡਾਊਨਲੋਡ: ਵੱਡੇ ਮਾਡਲ 4 GB ਤੋਂ 40 GB ਤੱਕ ਦੇ ਹੋ ਸਕਦੇ ਹਨ। ਸ਼ੁਰੂਆਤੀ ਡਾਊਨਲੋਡ ਲਈ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਵਧੀਆ ਇੰਟਰਨੈੱਟ ਕਨੈਕਸ਼ਨ ਹੈ। ਅਗਲੇ ਵਾਰ ਚੱਲਣਾ ਤੇਜ਼ ਹੁੰਦਾ ਹੈ।
ਲੋਕਲ ਬਨਾਮ ਕਲਾਊਡ: ਹਰੇਕ ਨੂੰ ਕਦੋਂ ਵਰਤਣਾ ਹੈ
ਲੋਕਲ AI ਹਮੇਸ਼ਾ ਸਭ ਤੋਂ ਵਧੀਆ ਵਿਕਲਪ ਨਹੀਂ ਹੁੰਦਾ। ਇੱਥੇ ਇੱਕ ਸਧਾਰਨ ਗਾਈਡ ਹੈ:
- ਲੋਕਲ AI ਵਰਤੋ ਜਦੋਂ ਤੁਸੀਂ ਗੋਪਨੀਅਤਾ ਨੂੰ ਮਹੱਤਵ ਦਿੰਦੇ ਹੋ, ਲਗਾਤਾਰ ਖਰਚਿਆਂ ਤੋਂ ਬਚਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਆਫ਼ਲਾਈਨ ਕੰਮ ਕਰਦੇ ਹੋ, ਜਾਂ ਆਪਣੇ ਟੂਲਾਂ 'ਤੇ ਪੂਰਾ ਕੰਟਰੋਲ ਪਸੰਦ ਕਰਦੇ ਹੋ।
- ਕਲਾਊਡ AI ਵਰਤੋ ਜਦੋਂ ਤੁਹਾਨੂੰ ਨਵੇਂ ਤੋਂ ਨਵੇਂ ਵੱਡੇ ਮਾਡਲਾਂ ਤੱਕ ਪਹੁੰਚ ਦੀ ਲੋੜ ਹੋਵੇ, ਵੱਧ ਤੋਂ ਵੱਧ ਪ੍ਰਦਰਸ਼ਨ ਚਾਹੀਦਾ ਹੋਵੇ, ਜਾਂ ਤੁਹਾਨੂੰ ਚਿੱਤਰ ਜਨਰੇਸ਼ਨ ਅਤੇ ਮਲਟੀਮੋਡਲ ਸਮਰੱਥਾਵਾਂ ਵਰਗੀਆਂ ਫੀਚਰਾਂ ਦੀ ਲੋੜ ਹੋਵੇ।
ਕਈ ਯੂਜ਼ਰ ਦੋਵੇਂ ਚਲਾਉਂਦੇ ਹਨ। ਰੋਜ਼ਾਨਾ ਦੇ ਕੰਮ ਲਈ ਲੋਕਲ ਮਾਡਲ ਅਤੇ ਵਿਸ਼ੇਸ਼ ਕੰਮਾਂ ਲਈ ਕਲਾਊਡ ਮਾਡਲ।
ਅੱਜ ਹੀ ਸ਼ੁਰੂਆਤ ਕਰੋ
ਜੇ ਤੁਸੀਂ ਕਦੇ ਵੀ AI ਨੂੰ ਲੋਕਲ ਤੌਰ 'ਤੇ ਨਹੀਂ ਚਲਾਇਆ, ਤਾਂ Ollama ਅਤੇ Llama 3 ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰੋ। ਇਸਨੂੰ ਸੈੱਟ ਅਪ ਕਰਨ ਵਿੱਚ ਦਸ ਮਿੰਟ ਤੋਂ ਵੀ ਘੱਟ ਸਮਾਂ ਲੱਗਦਾ ਹੈ, ਅਤੇ ਨਤੀਜੇ ਤੁਹਾਨੂੰ ਹੈਰਾਨ ਕਰ ਦੇਣਗੇ। ਓਪਨ ਸੋਰਸ ਈਕੋਸਿਸਟਮ ਤੇਜ਼ੀ ਨਾਲ ਵਧ ਰਿਹਾ ਹੈ, ਜਿੱਥੇ ਨਵੇਂ ਮਾਡਲ ਅਤੇ ਟੂਲ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਸਾਹਮਣੇ ਆਉਂਦੇ ਰਹਿੰਦੇ ਹਨ।
ਇਸਨੂੰ ਅਜ਼ਮਾ ਕੇ ਵੇਖੋ। ਸ਼ੁਰੂਆਤ ਦੀ ਰੁਕਾਵਟ ਜ਼ਿਆਦਾਤਰ ਲੋਕਾਂ ਦੇ ਅੰਦਾਜ਼ੇ ਨਾਲੋਂ ਘੱਟ ਹੈ, ਅਤੇ ਲਾਗਤ ਬਚਤ ਤੇ ਗੋਪਨੀਯਤਾ ਵਿੱਚ ਮਿਲਣ ਵਾਲਾ ਲਾਭ ਅਸਲ ਹੈ। ਜਦੋਂ ਤੁਹਾਨੂੰ ਇਹ ਸਮਝ ਆ ਜਾਵੇ ਕਿ ਤੁਹਾਡੇ ਲਈ ਕੀ ਚੰਗਾ ਕੰਮ ਕਰਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਹਮੇਸ਼ਾ ਹੋਰ ਐਡਵਾਂਸਡ ਵਿਕਲਪਾਂ ਨੂੰ ਖੋਜ ਸਕਦੇ ਹੋ।