Maaliif AI Naannoo Keessatti Fudhachuu?

Maamila AI naannoo keessatti fudhachuun jechuun daataa fi hojii herregaa kee meeshaa kee irratti haaqaa jiraachuu jechuudha, tajaajila duumessa irratti hirkachuu irraa. Karaan kun maamila banaa (open source) baay’ee fooyya’aa waan ta’anii fi meeshaan isaan fudhachuuf barbaachisu baay’ee qaalii hin taaneef humna guddaa argachaa jira.

Kan isatti nama hawwatu salphaadha: kaffaltii tokkoon tokkoon tokiniitiif hin kaffaltu, daataan kee meeshaa kee irraa hin ba’u, akkasumas maamila offline (interneetii malee) itti fayyadamuu dandeessa. Barreessitoota, misoomsitoota, qorattoota, fi namoota guyyaa guyyaan barruu ykn koodii waliin hojjetaniif, AI naannoo keessatti tajaajila kaffaltii guyyaa guyyaan (subscription) irratti hirkatuuf filannoo praktikaalii dha.

Barbaachisummaa Meeshaa Keeti

Wanti kamiyyuu dhaabuuf, meeshaan kee maali akka barbaachisu irratti haasofna. Oduu gaariin, kompiitara ammayyaa hedduun kaardii graafiksii addaa malee maamila AI naannoo keessatti fudhachuu danda’u.

Barbaachisummaa Gadi Fageenya (Minimum)

Yoo Mac Apple Silicon chip (M1, M2, ykn isaa ol) qabu qabaatte, haala gaarii keessa jirta. Sirna yaadaa walitti dhufeenya (unified memory) Apple CPU fi GPU RAM isaanii bu’aa gaariin akka qoodatan ni godha, kunis kan maamila AI barbaadanummaadha.

Fayyadamtoota Windows fi Linux

Fayyadamtoonni Windows kaardii graafiksii NVIDIA, yoo danda’ame VRAM 4 GB ykn isaa ol qabu, barbaachuu qabu. Kaardiin AMDis ni hojjeta garuu qindaa’ina dabalataa barbaachisuu danda’a. Fayyadamtoonni Linux deeggarsa meeshaa bal’aa fi filannoo baay’ee qabuuf deeggarsa GPU argatu.

Meeshaalee Olaanaa AI Naannoo Keessatti Fudhachuuf

Meeshaaleen hedduun maamila AI meeshaa kee irratti akka salphaatti fudhachuuf ni gargaaru, tokkoon tokkoon isaanii humna adda addaa qabu.

Ollama

Ollama yeroo baay’ee seensa salphaa dha. Yeroo tokko qofa dhaabdi, buusaa maamila fi bulchiinsa isaa ofumaan ni hojjeta. Mac, Windows, fi Linux irratti ni hojjeta, akkasumas maamila command line ykn interface web irratti fudhachuu dandeessa. Maamila beekamoo akka Llama 3, Mistral, fi Gemma ofumaan (out of the box) ni deeggara.

LM Studio

LM Studio interface graafikaa kan namoota appii idilee itti fayyadaman hundaaf akka beekamaatti dhaga’amu ni dhiyeessa. Maamila barbaaddi, tokkoon tokkoon isaanii tuqii tokkoon buusadha, akkasumas isaan waliin yeroo sanuma wal arguu (chat) jalqabda. Fayyadamtoota Windows command line hin barbaadaniif baay’ee gaarii dha. LM Studio buusaa maamila adda addaa duratti barbaaduu fi walsimsiisuufis ni hayyama.

Text Generation WebUI

Meeshaan kun baay'ee qooda qaba, kanneen bulchiinsa gadi-fageenyaa barbaadanif mijataadha. Moodeloota adda addaa hedduu deeggara, akkasumas qindaa'ina akka temperature, top-p sampling, fi context window size jijjiiruuf filannoo kenna. Kunniin interfeesii webii ta'ee kan ofii keessatti hojjetuudha.

llama.cpp

llama.cpp injinii meeshaalee biroo hedduu duuba jiruudha. Baay'ee bu'a qabeessa yoo ta'u, moodeloota hardware hunda irratti, kanneen akka kompiitaraa durii dabalatee, hojjechuu danda'a. Filannoo olaanaa yoo bu'aa guddaa fi fayyadama qabeenya xiqqaan barbaadde ta'a. Kan gadi-fageenya qabu yoo ta'u, obsaan bu'aa fi of-jijjiirama kenna.

Moodela Sirrii Filachuu

Moodeloota AI hundi walqixa hin ta'an, kan sirrii filachuun murteessaadha. Hanga kanaaf qooda practical:

Moodeloota xiqqoon saffisaan hojjetu, yaadannoo xiqqaa fayyadamu. Moodeloota guddoon qulqullina bu'aa gaarii uumu. Bakka sirrii fayyadamtoota hedduuf moodela 7B hanga 13B kompiitaraa ammayyaa irratti ta'a.

Sirna Hojii Qindaa'inaa

Kun karaan practical Ollama, kan gurgurtaa xiqqaa qabu, jalqabuuf.

Kutaa 1: Ollama Fe'adhu

Gara website Ollama deemi, installer OS keetiif buusi. Installer bansi, gaaffii hordofi. Mac irratti, app menu bar dabalata. Windows fi Linux irratti, akka tajaajila background hojjeta.

Kutaa 2: Moodela Jalqabaa Keessan Bansi

Terminal ykn command prompt bansi, kana barreessi:

ollama run llama3

Kun moodela Llama 3 buusa, chat session jalqaba. Gaaffii barreessuu, deebii yeroo dhugaatiin argachuu dandeessu. Moodelni yeroo jalqabaatti hojjetamu ofumaan bu'a.

Kutaa 3: Moodeloota Biraa Yaali

Moodeloota adda addaatti salphaatti jijjiiri:

ollama run mistral
ollama run gemma
ollama run codellama

Moodelni tokkoon tokkoon isaa humna adda qaba. Mistral hojii walii-galaaf cimaa. Gemma dhiheessii Google yoo ta'u, yaadannoo irratti cimaa. CodeLlama hojii programming irratti qindaa'e.

Kutaa 4: Interfeesii Webii Fayyadadhu

Muuxannoo beekamaa ta'e argachuuf, fuula duraa (front end) irratti hundaa'e marsariitii (web-based) fe'adhu. LM Studio interfeesii mataa isaa qaba. Akka filannoo biraatti, Open WebUI fayyadamuu dandeessa, kunis muuxannoo haasaa qulqulluu tajaajila duumessa (cloud) beekamoo fakkaatu kenna.

Haala Fayyadamaa Dhugaa

AI naannoo (local) haala hojii danda'amu heddu keessatti cimaa dha:

Rakkoo Addaa fi Furmaata

AI naannoo (local) irratti hojjechuun rakkoo hin qabu jedhamuu hin danda'u. Rakkoowwan caalaa beekamoo fi akkamitti akka itti fufan asitti ibsameera.

Tiimsa (performance) suuta deemu: Moodelni kee suuta yoo hojjetu, gosa qoodamaa (quantized versions) yaali. Kunniin yaadannoo (memory) xiqqaa fayyadamu, fi sadarkaa qulqullinaa xiqqoo qofaan ni caalaa suuta deemu. Faayilii maqaa "GGUF" yookiin "Q4" qabu barbaadi.

Yaadannoo (memory) dhumuu: Moodelota gurguddaa yeroo hojjetu, appilikeeshiniiwwan biro cufi. RAM 16 GB yoo qabaatte, moodela 13B bakka dhiisuu dandeessuun gammachuun hojjechuu dandeessa.

Walsimsiisa moodelii: Meeshaaleen adda addaa gosoota moodelii adda addaa deeggaru. Ollama faayilii GGUF fayyadama. LM Studio GGUF fi gosoota biroo deeggara. Faayilii buusuu (download) dura galmee (documentation) meeshaa kee ilaali.

Buusuu (download) moodelii jalqabaa: Moodelonni gurguddaan 4 GB hanga 40 GB ta'uu danda'u. Buusuu (download) jalqabaauf walqunnii interneetii gaarii qabaachuu kee mirkaneessi. Hojiiwwan itti aanan ni saffisu.

Naannoo vs. Duumessa (Cloud): Yoom Tokko Fayyadamuu Qaba

AI naannoo (local) yeroo hundaa filannoo gaarii hin ta'u. Qajeelfama salphaa asitti dhiyaateera:

Fayyadamtoonni hedduun lamaanuu hojjechu. Moodelota naannoo (local) hojii guyyaa guyyaatiif, moodelota duumessa (cloud) immoo hojiiwwan adda addaa (specialized) irratti.

Har'a Jalqabuu

Yoo AI naannoo kee (locally) yeroo jalqabaaf hojjechuu barbaaddu, Ollama fi Llama 3 irraa jalqabi. Qindeessuun daqiiqaa kudha gadii fudhata, bu’aa argittus si dhaamsa. Eegumsa banaa (open source) dafee guddachaa jira, moodeloota fi meeshaalee haaraan yeroo hundaa muldhatu.

Yaali. Itti seenun akka namni hedduun yaadu gadi fagoo miti, bu’aa qusannoo gatii fi iccitii (privacy) dhugaadha. Kan siif ta’u beekuu dandeessu ergatti filannoo cimaa ta’an hordofuu dandeessa.

← Gara macaawwan hunda deebi’i