AIን በአካባቢ (Locally) ለምን ማሽከርከር?
AI ሞዴሎችን በአካባቢ ማሽከርከር ማለት መረጃዎን እና ስሌትዎን በራስዎ ማሽን ላይ በማቆየት በደመና አገልግሎቶች (cloud services) ላይ እንዳይመሰረቱ ማድረግ ነው። ክፍት ምንጭ (open source) ሞዴሎች በከፍተኛ ደረጃ ስለተሻሻሉ እና ለማሽከርከር የሚያስፈልገው ሃርድዌር በጣም ተመራጭ ስለሆነ ይህ አቀራረብ ትልቅ ግስጋሴ አድርጓል።
ስሙክነቱ ቀላል ነው፡ በእያንዳንዱ ቶከን (token) ክፍያ አይከፍሉም፣ መረጃዎ ከመሣሪያዎ አይወጣም፣ እንዲሁም ሞዴሎችን በኦፍላይን መጠቀም ይችላሉ። ለጸሐፊዎች፣ ለፕሮግራሞች፣ ለጥናት ተመራማሪዎች እና በየቀኑ ከጽሑፍ ወይም ከኮድ ጋር ለሚሰሩ ሰዎች፣ አካባቢያዊ AI በመመዝገብ ላይ የተመሰረቱ አገልግሎቶችን ተግባራዊ አማራጭ ይሰጣል።
የሃርድዌር ፍላጎቶችዎ
ማንኛውንም ነገር ከመጫንዎ በፊት፣ ማሽንዎ ምን እንደሚያስፈልገው እንነጋገር። ጥሩው ዜና ብዙ ዘመናዊ ኮምፒውተሮች የተዘጋጀ ግራፊክስ ካርድ ሳይኖራቸው AI ሞዴሎችን በአካባቢ ማሽከርከር ይችላሉ።
ዝቅተኛ መስፈርቶች
- በCPU ብቻ የሚሰራ አደረጃጀት፡ ቢያንስ 8 GB RAM፣ 16 GB የሚመከር
- ከGPU ጋር፡ ለትንንሽ ሞዴሎች ቢያንስ 4 GB VRAM፣ ለትላልቅ ሞዴሎች 8 GB ወይም ከዚያ በላይ
- ማከማቻ፡ የሚያውርዱዋቸው ሞዴሎች በሚወሰኑበት መጠን 10-50 GB
ከApple Silicon ቺፕ (M1, M2, ወይም ከዚያ በላይ) ጋር Mac ካለዎት፣ በጣም ጥሩ ሁኔታ ላይ ነዎት። የApple ዩኒፋይድ ሜሞሪ አርክቴክቸር CPU እና GPU RAMን በብቃት እንዲጋሩ ያደርጋል፣ ይህም AI ሞዴሎች በትክክል የሚያስፈልጋቸው ነገር ነው።
የWindows እና Linux ተጠቃሚዎች
የWindows ተጠቃሚዎች ከNVIDIA የግራፊክስ ካርድ መፈለግ አለባቸው፣ በተመሳሳይ ጊዜ ቢያንስ 4 GB VRAM ያለው። የAMD ካርዶችም ይሰራሉ ነገር ግን ተጨማሪ አደረጃጀት ሊያስፈልጋቸው ይችላል። የLinux ተጠቃሚዎች ሰፊው የሃርድዌር ድጋፍ እና ለGPU ማፋጠን (acceleration) ከፍተኛው አማራጮች አሏቸው።
AIን በአካባቢ ለማሽከርከር ግንባር ቀደም መሳሪያዎች
በርካታ መሳሪያዎች AI ሞዴሎችን በማሽንዎ ላይ በቀላሉ እንዲያሽከረክሩ ያደርጋሉ፣ እያንዳንዱም የተለያዩ ጥንካሬዎች አሏቸው።
Ollama
Ollama ምናልባትም ለመጀመር በጣም ቀላሉ መንገድ ነው። አንድ ጊዜ ይጫኑታል፣ እና የሞዴል አውርዶችን እና አስተዳደርን በራስ-ሰር ያስተዳድራል። በMac፣ Windows እና Linux ላይ ይሰራል፣ እንዲሁም ሞዴሎችን ከትዕዛዝ መስመር (command line) ወይም በዌብ ወገብ በኩል ማሽከርከር ይችላሉ። Llama 3፣ Mistral እና Gemma የመሳሰሉ ታዋቂ ሞዴሎችን ከመጀመሪያው ድጋፍ ያደርጋል።
LM Studio
LM Studio በተለመደ መተግበሪያ ለተጠቀሙ ማንኛውም ሰው የሚለመድ ግራፊካል ወገብ ይሰጣል። ሞዴሎችን ይመልከታሉ፣ በአንድ ክሊክ ያውርዳሉ፣ እና ወዲያውኑ እንዲሁ ይነጋገሩታል። በተለይ ትዕዛዝ መስመርን (command line) መንካት የማይፈልጉ የWindows ተጠቃሚዎች ለሆኑ በጣም ጥሩ ነው። LM Studio እንዲሁ ከማውረድዎ በፊት የተለያዩ የሞዴል ስሪቶችን እንዲፈልጉ እና እንዲነጻጽሩ ያስችልዎታል።
Text Generation WebUI
ይህ መሳሪያ ብዙ ባህሪያት ያሉት ሲሆን የላቀ ቁጥጥር የሚፈልጉ ተጠቃሚዎችን ያሟላል። ብዙ የተለያዩ ሞዴሎችን ይደግፋል እንዲሁም እንደ የሙቀት መጠን (temperature)፣ top-p sampling እና የኮንቴክስ መስኮት መጠን ያሉ ቅንብሮችን ለማስተካከል አማራጮችን ይሰጣል። በአካባቢዎ (locally) የሚያስኬዱት የዌብ-ላይክ መሳሪያ (web-based interface) ሆኖ ይገኛል።
llama.cpp
llama.cpp በሌሎች ብዙ መሳሪያዎች ጀርባ ያለው ሞተር ነው። በጣም ቅልጥፍና ያለው ሲሆን ገዢ ማሽኖችን ጨምሮ በከፍተኛ ሃርድዌር ላይ ሞዴሎችን ማስኬድ ይችላል። ከፍተኛ አፈጻጸምን ከዝቅተኛ የሀብት ፍጆታ ጋር ከፈለጉ የመጀመሪያው ምርጫዎ ይሆናል። ቴክኒካዊ ቢሆንም በጽናት ፍጥነትን እና ተለዋዋጭነትን ይሰጥዎታል።
ትክክለኛውን ሞዴል መምረጥ
ሁሉም የ AI ሞዴሎች እኩል አይደሉም፤ ትክክለኛውን መምረጥ ወሳኝ ነው። እነሆ አግባብ ያለ ማብራሪያ፡
- ከ7B እስከ 8B ፓራሜትር ያላቸው ሞዴሎች — ለአብዛኛዎቹ የዕለት ተዕለት ተግባራችን ጥሩ ናቸው። ፈጣን እና ቀላል ናቸው። ምሳሌዎች፡ Llama 3 8B, Mistral 7B።
- ከ13B እስከ 20B ፓራሜትር ያላቸው ሞዴሎች — የተሻለ ምክንያት እና የበለጠ አቅም ያላቸው። አሁን ባሉ አብዛኛዎቹ ማሽኖች ላይ ገና ደንብ ያላቸውን ውጤት ይሰጣሉ። ምሳሌዎች፡ Llama 3.1 70B (quantized), Gemma 2 27B።
- ከ70B በላይ ፓራሜትር ያላቸው ሞዴሎች — ጥራታቸው ጥሩ ቢሆንም ተጨማሪ RAM እና ጥሩ GPU ይፈልጋሉ። ለውስብስብ ጽሑፍ፣ ለኮድ ማመንጨት እና ለዝርዝር ትንተና ጥሩ ናቸው።
ትንንሽ ሞዴሎች በፍጥነት ይሰራሉ እና ያነሰ ማህደረ ትውስታ ይጠቀማሉ። ትላልቅ ሞዴሎች የተሻለ ጥራት ያለው ውጤት ያመነጫሉ። ለአብዛኛዎቹ ተጠቃሚዎች በዘመናዊ ማሽን ላይ ያለ 7B እስከ 13B ሞዴል ተመራጭ ነው።
ደረጃ በደረጃ ዝግጅት
እነሆ ለ Ollama ለመጀመር አግባብ ያለ መንገድ፣ ይህም ለጀማሪዎች በጣም ተስማሚው አማራጭ ነው።
ደረጃ 1፡ Ollamaን ይጫኑ
ወደ Ollama ዌብሳይት ይሂዱ እና ለስርዓተ ክወናዎ መጫኛውን (installer) ያውርዱ። መጫኛውን ያስኬዱ እና መመሪያዎቹን ይከተሉ። በ Mac ላይ የማህበራዊ ሚዲያ አሞሌ መተግበሪያ ይጨምራል። በ Windows እና Linux ላይ እንደ ዳራ አገልግሎት ይሰራል።
ደረጃ 2፡ የመጀመሪያውን ሞዴልዎን ያስኬዱ
ቴርሚናል ወይም የትዕዛዝ ማስተዋወቂያ (command prompt) ክፈቱ እና ይጻፉ፡
ollama run llama3
ይህ የ Llama 3 ሞዴልን ያውርዳል እና የውይይት ክፍለ ጊዜ ይጀምራል። ጥያቄዎችን መጻፍ እና በቅጽበት መልሶችን ማግኘት ይችላሉ። ሞዴሉን ለመጀመሪያ ጊዜ ሲያስኬዱ በራስ-ሰር ይወርዳል።
ደረጃ 3፡ ሌሎችን ሞዴሎች ይሞክሩ
ወደ የተለያዩ ሞዴሎች በቀላሉ ይቀይሩ፡
ollama run mistral
ollama run gemma
ollama run codellama
እያንዳንዱ ሞዴል የተለየ ጥንካሬ አለው። Mistral ለአጠቃላይ ተግባራት ጠንካራ ነው። Gemma የ Google ምርት ሲሆን በምክንያት ማካሄድ ይበልጣል። CodeLlama ለፕሮግራሚንግ ተግባራት የተስተካከለ ነው።
ደረጃ 4፡ የዌብ መሳሪያ ይጠቀሙ
ለበለጠ ልምድ፣ የዌብ-ላይ ፊት-ኤንድ ይጫኑ። LM Studio የራሱ የሆነ መስተጋብር አለው። በሌላ በኩል፣ ከተወዳጅ የደመና አገልግሎቶች ጋር ተመሳሳይ የሆነ ንጹህ የውይይት ልምድ የሚሰጠውን Open WebUI መጠቀም ይችላሉ።
እውነተኛ የአጠቃቀም ሁኔታዎች
የአካባቢ AI በብዙ ተግባራዊ ሁኔታዎች ይበራል፡
- መጻፍ እና ማረም፡ ሀሳቦችን ለማግኘት፣ ማስታወሻዎችን ለመጻፍ ወይም ማብራሪያዎችን ለመፍጠር የአካባቢ ሞዴል ይጠቀሙ፣ ያለ የእርስዎን ማስታወሻዎች ወደ ደመና አገልግሎት ማስተላለፍ።
- የኮድ እርዳታ፡ CodeLlama እና ተመሳሳይ ሞዴሎች በቀጥታ በአርታዒዎ ውስጥ ስህተቶችን ለማስተካከል፣ ለማደስ እና የኮድ ክፍሎችን ለመፍጠር ሊረዱዎ ይችላሉ።
- የሰነድ ትንተና፡ የራስዎን ሰነዶች ወደ አካባቢ ሞዴል ያስገቡ እና ስለ ይዘቱ ጥያቄዎችን ይጠይቁ። ፋይሎችዎ በኮምፒውተርዎ ላይ ይቆያሉ።
- የግላዊነት ስሜት ያለው ስራ፡ ሚስጥራዊ ሰነዶችን ወይም የግል መረጃዎችን ሲሰሩ፣ የአካባቢ AI ምንም ነገር ከኮምፒውተርዎ እንዳይወጣ ያረጋግጣል።
የተለመዱ ተግዳሮቶች እና መፍትሄዎች
AIን በአካባቢ ማሽከርከር ከጥቂት ችግሮች ነጻ አይደለም። እነዚህ የተለመዱ ችግሮች እና እንዴት እንደሚያስተናገዱ ናቸው።
ዝግ ያለ አፈጻጸም፡ ሞዴልዎ በዝግታ ከሰራ፣ የተቀነሱ (quantized) ስሪቶችን ይሞክሩ። እነዚህ ያነሰ ማህደረ ትውስታ ይጠቀማሉ እና በጥቂት የጥራት መቀነስ ብቻ በፍጥነት ይሰራሉ። በስማቸው ውስጥ "GGUF" ወይም "Q4" ያላቸውን ፋይሎች ይፈልጉ።
ማህደረ ትውስታ መጠን ማለቅ፡ ትላልቅ ሞዴሎችን ሲያሽከርክሩ ሌሎችን መተግበሪያዎች ዝጉ። 16 GB RAM ካለዎት፣ 13B ሞዴልን በቀላሉ እና በቦታ ማስቀረት ይችላሉ።
የሞዴል ተስማሚነት፡ የተለያዩ መሳሪያዎች የተለያዩ የሞዴል ቅርጸቶችን ይደግፋሉ። Ollama GGUF ፋይሎችን ይጠቀማል። LM Studio GGUF እና ሌሎች ቅርጸቶችን ይደግፋል። ከማውረድዎ በፊት የመሳሪያዎን ሰነድ ይፈትሹ።
የመጀመሪያ የሞዴል ማውረድ፡ ትላልቅ ሞዴሎች ከ4 GB እስከ 40 GB ሊሆኑ ይችላሉ። ለመጀመሪያው ማውረድ ጥሩ የኢንተርኔት ግንኙነት እንዳለዎት ያረጋግጡ። ቀጣይ ማሽከርከሮች ፈጣን ናቸው።
የአካባቢ vs. ደመና፡ እያንዳንዱን መቼ መጠቀም እንዳለብዎት
የአካባቢ AI ሁልጊዜ ምርጫው አይደለም። እነሆ ቀላል መመሪያ፡
- የአካባቢ AIን የግላዊነትን ሲያከብሩ፣ ተደጋጋሚ ወጪዎችን ለማስወገድ፣ ያለ ኢንተርኔት ሲሰሩ፣ ወይም ሙሉ ቁጥጥር በመሳሪያዎችዎ ላይ ሲፈልጉ ይጠቀሙ።
- የደመና AIን የቅርብ ጊዜ ትላልቅ ሞዴሎችን መዳረሻ ሲፈልጉ፣ ከፍተኛ አፈጻጸም ሲፈልጉ፣ ወይም የምስል ማመንጨት እና ብዙ-ሞዳል ብቃቶችን ሲፈልጉ ይጠቀሙ።
ብዙ ተጠቃሚዎች ሁለቱንም ያሽከርክራሉ። ለዕለት ተዕለት ስራ የአካባቢ ሞዴሎች፣ ለልዩ ተግባራት ደግሞ የደመና ሞዴሎች።
ዛሬ መጀመር
AI በአካባቢዊ ማሽንዎ (locally) ከሌለዎት፣ ከ Ollama እና ከ Llama 3 ጀምሩ። ማዘጋጀቱ ከአሥር ደቂቃ በታች ይወስዳል፣ ውጤቶቹም ያስደምምዎታል። ክፍት ምንጭ (open source) ሥርዓት በፍጥነት እያደገ ሲሆን፣ አዳዲስ ሞዴሎች እና መሣሪያዎች በየጊዜው እየታዩ ነው።
ሞክሩት። የመግቢያ መስፈርቱ ከአብዛኛዎቹ ሰዎች ግምት ያነሰ ሲሆን፣ በወጪ ቁጠባ እና በግላዊነት (privacy) የሚገኘው ጥቅም እውነት ነው። ለእርስዎ የሚሰራውን ነገር ካወቁ በኋላ ሁልጊዜ የበለጠ የላቀ አማራጮችን መመርመር ይችላሉ።