AIን በአካባቢ (Locally) ለምን ማሽከርከር?

AI ሞዴሎችን በአካባቢ ማሽከርከር ማለት መረጃዎን እና ስሌትዎን በራስዎ ማሽን ላይ በማቆየት በደመና አገልግሎቶች (cloud services) ላይ እንዳይመሰረቱ ማድረግ ነው። ክፍት ምንጭ (open source) ሞዴሎች በከፍተኛ ደረጃ ስለተሻሻሉ እና ለማሽከርከር የሚያስፈልገው ሃርድዌር በጣም ተመራጭ ስለሆነ ይህ አቀራረብ ትልቅ ግስጋሴ አድርጓል።

ስሙክነቱ ቀላል ነው፡ በእያንዳንዱ ቶከን (token) ክፍያ አይከፍሉም፣ መረጃዎ ከመሣሪያዎ አይወጣም፣ እንዲሁም ሞዴሎችን በኦፍላይን መጠቀም ይችላሉ። ለጸሐፊዎች፣ ለፕሮግራሞች፣ ለጥናት ተመራማሪዎች እና በየቀኑ ከጽሑፍ ወይም ከኮድ ጋር ለሚሰሩ ሰዎች፣ አካባቢያዊ AI በመመዝገብ ላይ የተመሰረቱ አገልግሎቶችን ተግባራዊ አማራጭ ይሰጣል።

የሃርድዌር ፍላጎቶችዎ

ማንኛውንም ነገር ከመጫንዎ በፊት፣ ማሽንዎ ምን እንደሚያስፈልገው እንነጋገር። ጥሩው ዜና ብዙ ዘመናዊ ኮምፒውተሮች የተዘጋጀ ግራፊክስ ካርድ ሳይኖራቸው AI ሞዴሎችን በአካባቢ ማሽከርከር ይችላሉ።

ዝቅተኛ መስፈርቶች

ከApple Silicon ቺፕ (M1, M2, ወይም ከዚያ በላይ) ጋር Mac ካለዎት፣ በጣም ጥሩ ሁኔታ ላይ ነዎት። የApple ዩኒፋይድ ሜሞሪ አርክቴክቸር CPU እና GPU RAMን በብቃት እንዲጋሩ ያደርጋል፣ ይህም AI ሞዴሎች በትክክል የሚያስፈልጋቸው ነገር ነው።

የWindows እና Linux ተጠቃሚዎች

የWindows ተጠቃሚዎች ከNVIDIA የግራፊክስ ካርድ መፈለግ አለባቸው፣ በተመሳሳይ ጊዜ ቢያንስ 4 GB VRAM ያለው። የAMD ካርዶችም ይሰራሉ ነገር ግን ተጨማሪ አደረጃጀት ሊያስፈልጋቸው ይችላል። የLinux ተጠቃሚዎች ሰፊው የሃርድዌር ድጋፍ እና ለGPU ማፋጠን (acceleration) ከፍተኛው አማራጮች አሏቸው።

AIን በአካባቢ ለማሽከርከር ግንባር ቀደም መሳሪያዎች

በርካታ መሳሪያዎች AI ሞዴሎችን በማሽንዎ ላይ በቀላሉ እንዲያሽከረክሩ ያደርጋሉ፣ እያንዳንዱም የተለያዩ ጥንካሬዎች አሏቸው።

Ollama

Ollama ምናልባትም ለመጀመር በጣም ቀላሉ መንገድ ነው። አንድ ጊዜ ይጫኑታል፣ እና የሞዴል አውርዶችን እና አስተዳደርን በራስ-ሰር ያስተዳድራል። በMac፣ Windows እና Linux ላይ ይሰራል፣ እንዲሁም ሞዴሎችን ከትዕዛዝ መስመር (command line) ወይም በዌብ ወገብ በኩል ማሽከርከር ይችላሉ። Llama 3፣ Mistral እና Gemma የመሳሰሉ ታዋቂ ሞዴሎችን ከመጀመሪያው ድጋፍ ያደርጋል።

LM Studio

LM Studio በተለመደ መተግበሪያ ለተጠቀሙ ማንኛውም ሰው የሚለመድ ግራፊካል ወገብ ይሰጣል። ሞዴሎችን ይመልከታሉ፣ በአንድ ክሊክ ያውርዳሉ፣ እና ወዲያውኑ እንዲሁ ይነጋገሩታል። በተለይ ትዕዛዝ መስመርን (command line) መንካት የማይፈልጉ የWindows ተጠቃሚዎች ለሆኑ በጣም ጥሩ ነው። LM Studio እንዲሁ ከማውረድዎ በፊት የተለያዩ የሞዴል ስሪቶችን እንዲፈልጉ እና እንዲነጻጽሩ ያስችልዎታል።

Text Generation WebUI

ይህ መሳሪያ ብዙ ባህሪያት ያሉት ሲሆን የላቀ ቁጥጥር የሚፈልጉ ተጠቃሚዎችን ያሟላል። ብዙ የተለያዩ ሞዴሎችን ይደግፋል እንዲሁም እንደ የሙቀት መጠን (temperature)፣ top-p sampling እና የኮንቴክስ መስኮት መጠን ያሉ ቅንብሮችን ለማስተካከል አማራጮችን ይሰጣል። በአካባቢዎ (locally) የሚያስኬዱት የዌብ-ላይክ መሳሪያ (web-based interface) ሆኖ ይገኛል።

llama.cpp

llama.cpp በሌሎች ብዙ መሳሪያዎች ጀርባ ያለው ሞተር ነው። በጣም ቅልጥፍና ያለው ሲሆን ገዢ ማሽኖችን ጨምሮ በከፍተኛ ሃርድዌር ላይ ሞዴሎችን ማስኬድ ይችላል። ከፍተኛ አፈጻጸምን ከዝቅተኛ የሀብት ፍጆታ ጋር ከፈለጉ የመጀመሪያው ምርጫዎ ይሆናል። ቴክኒካዊ ቢሆንም በጽናት ፍጥነትን እና ተለዋዋጭነትን ይሰጥዎታል።

ትክክለኛውን ሞዴል መምረጥ

ሁሉም የ AI ሞዴሎች እኩል አይደሉም፤ ትክክለኛውን መምረጥ ወሳኝ ነው። እነሆ አግባብ ያለ ማብራሪያ፡

ትንንሽ ሞዴሎች በፍጥነት ይሰራሉ እና ያነሰ ማህደረ ትውስታ ይጠቀማሉ። ትላልቅ ሞዴሎች የተሻለ ጥራት ያለው ውጤት ያመነጫሉ። ለአብዛኛዎቹ ተጠቃሚዎች በዘመናዊ ማሽን ላይ ያለ 7B እስከ 13B ሞዴል ተመራጭ ነው።

ደረጃ በደረጃ ዝግጅት

እነሆ ለ Ollama ለመጀመር አግባብ ያለ መንገድ፣ ይህም ለጀማሪዎች በጣም ተስማሚው አማራጭ ነው።

ደረጃ 1፡ Ollamaን ይጫኑ

ወደ Ollama ዌብሳይት ይሂዱ እና ለስርዓተ ክወናዎ መጫኛውን (installer) ያውርዱ። መጫኛውን ያስኬዱ እና መመሪያዎቹን ይከተሉ። በ Mac ላይ የማህበራዊ ሚዲያ አሞሌ መተግበሪያ ይጨምራል። በ Windows እና Linux ላይ እንደ ዳራ አገልግሎት ይሰራል።

ደረጃ 2፡ የመጀመሪያውን ሞዴልዎን ያስኬዱ

ቴርሚናል ወይም የትዕዛዝ ማስተዋወቂያ (command prompt) ክፈቱ እና ይጻፉ፡

ollama run llama3

ይህ የ Llama 3 ሞዴልን ያውርዳል እና የውይይት ክፍለ ጊዜ ይጀምራል። ጥያቄዎችን መጻፍ እና በቅጽበት መልሶችን ማግኘት ይችላሉ። ሞዴሉን ለመጀመሪያ ጊዜ ሲያስኬዱ በራስ-ሰር ይወርዳል።

ደረጃ 3፡ ሌሎችን ሞዴሎች ይሞክሩ

ወደ የተለያዩ ሞዴሎች በቀላሉ ይቀይሩ፡

ollama run mistral
ollama run gemma
ollama run codellama

እያንዳንዱ ሞዴል የተለየ ጥንካሬ አለው። Mistral ለአጠቃላይ ተግባራት ጠንካራ ነው። Gemma የ Google ምርት ሲሆን በምክንያት ማካሄድ ይበልጣል። CodeLlama ለፕሮግራሚንግ ተግባራት የተስተካከለ ነው።

ደረጃ 4፡ የዌብ መሳሪያ ይጠቀሙ

ለበለጠ ልምድ፣ የዌብ-ላይ ፊት-ኤንድ ይጫኑ። LM Studio የራሱ የሆነ መስተጋብር አለው። በሌላ በኩል፣ ከተወዳጅ የደመና አገልግሎቶች ጋር ተመሳሳይ የሆነ ንጹህ የውይይት ልምድ የሚሰጠውን Open WebUI መጠቀም ይችላሉ።

እውነተኛ የአጠቃቀም ሁኔታዎች

የአካባቢ AI በብዙ ተግባራዊ ሁኔታዎች ይበራል፡

የተለመዱ ተግዳሮቶች እና መፍትሄዎች

AIን በአካባቢ ማሽከርከር ከጥቂት ችግሮች ነጻ አይደለም። እነዚህ የተለመዱ ችግሮች እና እንዴት እንደሚያስተናገዱ ናቸው።

ዝግ ያለ አፈጻጸም፡ ሞዴልዎ በዝግታ ከሰራ፣ የተቀነሱ (quantized) ስሪቶችን ይሞክሩ። እነዚህ ያነሰ ማህደረ ትውስታ ይጠቀማሉ እና በጥቂት የጥራት መቀነስ ብቻ በፍጥነት ይሰራሉ። በስማቸው ውስጥ "GGUF" ወይም "Q4" ያላቸውን ፋይሎች ይፈልጉ።

ማህደረ ትውስታ መጠን ማለቅ፡ ትላልቅ ሞዴሎችን ሲያሽከርክሩ ሌሎችን መተግበሪያዎች ዝጉ። 16 GB RAM ካለዎት፣ 13B ሞዴልን በቀላሉ እና በቦታ ማስቀረት ይችላሉ።

የሞዴል ተስማሚነት፡ የተለያዩ መሳሪያዎች የተለያዩ የሞዴል ቅርጸቶችን ይደግፋሉ። Ollama GGUF ፋይሎችን ይጠቀማል። LM Studio GGUF እና ሌሎች ቅርጸቶችን ይደግፋል። ከማውረድዎ በፊት የመሳሪያዎን ሰነድ ይፈትሹ።

የመጀመሪያ የሞዴል ማውረድ፡ ትላልቅ ሞዴሎች ከ4 GB እስከ 40 GB ሊሆኑ ይችላሉ። ለመጀመሪያው ማውረድ ጥሩ የኢንተርኔት ግንኙነት እንዳለዎት ያረጋግጡ። ቀጣይ ማሽከርከሮች ፈጣን ናቸው።

የአካባቢ vs. ደመና፡ እያንዳንዱን መቼ መጠቀም እንዳለብዎት

የአካባቢ AI ሁልጊዜ ምርጫው አይደለም። እነሆ ቀላል መመሪያ፡

ብዙ ተጠቃሚዎች ሁለቱንም ያሽከርክራሉ። ለዕለት ተዕለት ስራ የአካባቢ ሞዴሎች፣ ለልዩ ተግባራት ደግሞ የደመና ሞዴሎች።

ዛሬ መጀመር

AI በአካባቢዊ ማሽንዎ (locally) ከሌለዎት፣ ከ Ollama እና ከ Llama 3 ጀምሩ። ማዘጋጀቱ ከአሥር ደቂቃ በታች ይወስዳል፣ ውጤቶቹም ያስደምምዎታል። ክፍት ምንጭ (open source) ሥርዓት በፍጥነት እያደገ ሲሆን፣ አዳዲስ ሞዴሎች እና መሣሪያዎች በየጊዜው እየታዩ ነው።

ሞክሩት። የመግቢያ መስፈርቱ ከአብዛኛዎቹ ሰዎች ግምት ያነሰ ሲሆን፣ በወጪ ቁጠባ እና በግላዊነት (privacy) የሚገኘው ጥቅም እውነት ነው። ለእርስዎ የሚሰራውን ነገር ካወቁ በኋላ ሁልጊዜ የበለጠ የላቀ አማራጮችን መመርመር ይችላሉ።

← ወደ ሁሉም ጽሑፎች ተመለስ