Carson a Ruithidh Tu AI gu Ionadail?

Tha ruith modalan AI gu ionadail a’ ciallachadh gun cum thu an dàta agus an àireamhachadh agad air an inneal agad fhèin an àite a bhith an urra ri seirbheisean sgòthan. Tha an dòigh-obrach seo air mòr-mhiann fhaighinn mar a tha modalan stòir-fhosgailte air leasachadh gu mòr, agus tha an uidheamachd a dh’fheumar airson an ruith air fàs fada nas saoire.

Tha an tarraing gu math sìmplidh: cha phàigh thu cìsean gach token, cha fhàg an dàta agad an t-inneal agad, agus faodaidh tu modalan a chleachdadh far-loidhne. Airson sgrìobhadairean, luchd-leasachaidh, rannsachairean, agus duine sam bith a bhios ag obair le teacsa no còd gach latha, tha AI ionadail a’ tabhann roghainn phractaigeach an àite seirbheisean stèidhichte air ballrachd.

Na Feumaidh Tu airson Uidheamachd

Mus stàlaich thu dad sam bith, bruidhinnidh sinn mu na dh’fheumas an t-inneal agad. Is e an deagh naidheachd gun urrainn do mhòran choimpiutairean ùra modalan AI a ruith gu ionadail gun chairt grafaigeach sònraichte.

Riatanasan as Ìsle

Ma tha Mac agad le sliseag Apple Silicon (M1, M2, no nas ùire), tha thu ann an suidheachadh math. Leigidh ailtireachd cuimhne aonaichte Apple leis a’ CPU agus an GPU RAM a cho-roinn gu h-èifeachdach, is e sin dìreach na dh’fheumas modalan AI.

Luchd-cleachdaidh Windows agus Linux

Bu chòir do luchd-cleachdaidh Windows coimhead airson cairt grafaigeach bho NVIDIA, gu h-idealach le co-dhiù 4 GB de VRAM. Bidh cairtean AMD ag obair cuideachd ach is dòcha gum feum iad rèiteachadh a bharrachd. Tha taic uidheamachd as fharsainge aig luchd-cleachdaidh Linux agus na roghainnean as motha airson luathachadh GPU.

Prìomh Innealan airson AI a Ruith gu Ionadail

Tha grunn innealan ann a nì e furasta modalan AI a ruith air an inneal agad, gach fear le neartan eadar-dhealaichte.

Ollama

Is e Ollama is dòcha an t-intrigeadh as fhasa. Stàlaichidh tu aon uair e, agus bidh e a’ làimhseachadh luchdachadh sìos agus riaghladh modalan gu fèin-ghluasadach. Bidh e ag obair air Mac, Windows, agus Linux, agus faodaidh tu modalan a ruith bhon loidhne-àithne no tro eadar-aghaidh lìn. Tha e a’ toirt taic do mhodalan mòr-chòrdte leithid Llama 3, Mistral, agus Gemma a-mach às a’ bhogsa.

LM Studio

Tha LM Studio a’ tabhann eadar-aghaidh grafaigeach a tha a’ faireachdainn eòlach dha duine sam bith a chleachd aplacaid àbhaisteach. Bidh thu a’ brobhsadh modalan, gan luchdachadh sìos le aon bhriogadh, agus a’ cabadaich riutha sa bhad. Tha e gu sònraichte math dha luchd-cleachdaidh Windows nach eil ag iarraidh suathadh ris an loidhne-àithne. Leigidh LM Studio leat cuideachd dreachan eadar-dhealaichte de mhodalan a lorg agus a dhèanamh coimeas mus luchdaich thu sìos iad.

Text Generation WebUI

Tha an inneal seo nas beartaiche ann am feartan agus freagarrach dha luchd-cleachdaidh a tha ag iarraidh smachd adhartach. Tha e a’ toirt taic do mhòran mhodalan eadar-dhealaichte agus a’ toirt seachad roghainnean airson suidheachaidhean a ghnàthachadh leithid teòthachd, sampalladh top-p, agus meud uinneag co-theacs. Tha e ri fhaighinn mar eadar-aghaidh stèidhichte air an lìon a ruogas tu gu h-ionadail.

llama.cpp

Is e llama.cpp an t-einnsean air cùl mòran innealan eile. Tha e gu math èifeachdach agus faodaidh e modalan a ruith air cha mhòr seòrsa sam bith de chruaidh-chòmhnaidh, a’ gabhail a-steach innealan nas sine. Is e an roghainn as fheàrr ma tha thu ag iarraidh coileanadh as motha le cleachdadh ghoireasan as lugha. Tha e nas teicnigeach ach tha e a’ duaiseachd foighidinn le astar agus sùbailteachd.

A’ Taghadh a’ Mhodail Cheart

Chan eil gach modal AI co-ionann, agus tha e cudromach am fear ceart a thaghadh. Seo briseadh sìos practaigeach:

Bidh modalan nas lugha a’ ruith nas luaithe agus a’ cleachdadh nas lugha de chuimhne. Bidh modalan nas motha a’ toirt a-mach toraidhean de chàileachd nas fheàrr. Is e an t-àite as fheàrr airson a’ mhòr-chuid de luchd-cleachdaidh modal 7B gu 13B air inneal ùr-nuaidh.

Stèidheachadh Ceum air Cheum

Seo slighe practaigeach gus tòiseachadh le Ollama, an roghainn as fhasa dha luchd-tòiseachaidh.

Ceum 1: Stàlaich Ollama

Tadhail air làrach-lìn Ollama agus luchdaich sìos an t-inneal-stàlaidh airson an t-siostam-obrachaidh agad. Ruith an t-inneal-stàlaidh agus lean na stiùiridhean. Air Mac, cuiridh e app ri bhàr-chlàr. Air Windows agus Linux, ruithidh e mar sheirbheis chùl-raoin.

Ceum 2: Ruith a’ Chiad Mhodal

Fosgail terminal no stiùir-àithne agus sgrìobh:

ollama run llama3

Luchdaichidh seo sìos am modal Llama 3 agus tòisichidh e seisean cabadaich. Faodaidh tu ceistean a sgrìobhadh agus freagairtean fhaighinn ann an àm fìor. Luchdaichidh am modal sìos gu fèin-ghluasadach a’ chiad uair a ruogas tu e.

Ceum 3: Feuch Modalan Eile

Atharraich gu modalan eadar-dhealaichte gu furasta:

ollama run mistral
ollama run gemma
ollama run codellama

Tha neart eadar-dhealaichte aig gach modal. Tha Mistral làidir airson gnìomhan coitcheann. Is e Gemma tabhartas Google agus tha e sàr-mhath air reusanachadh. Tha CodeLlama air a ghinealachadh airson gnìomhan prògramaidh.

Ceum 4: Cleachd Eadar-aghaidh Lìn

Airson eòlas nas aithnichte, stàlaich eadar-aghaidh lìn. Tha eadar-aghaidh fhèin aig LM Studio. Air neo, faodaidh tu Open WebUI a chleachdadh, a bheir seachad eòlas còmhraidh glan coltach ri seirbheisean sgòth mòr-chòrdte.

Cleachdaidhean Fìor

Tha AI ionadail sàr-mhath ann an grunn shuidheachaidhean practaigeach:

Dùbhlain Chumanta agus Fuasglaidhean

Chan eil ruith AI gu h-ionadail saor bho chnapan-starra. Seo na cùisean as cumanta agus mar a làimhsicheas tu iad.

Coileanadh slaodach: Ma tha am modail agad a’ ruith gu slaodach, feuch ri dreachan le tomhas-lìonaidh (quantized). Bidh iad a’ cleachdadh nas lugha de chuimhne agus a’ ruith nas luaithe le dìreach lùghdachadh beag ann an càileachd. Lorg faidhlichean le "GGUF" no "Q4" san ainm.

A’ ruith a-mach à cuimhne: Dùin aplacaidean eile nuair a bhios tu a’ ruith modalan nas motha. Ma tha 16 GB de RAM agad, faodaidh tu modail 13B a ruith gu comhfhurtail le àite ri fhàgail.

Sònrachadh modail: Bidh innealan eadar-dhealaichte a’ toirt taic do chruthan modail eadar-dhealaichte. Bidh Ollama a’ cleachdadh faidhlichean GGUF. Tha taic aig LM Studio airson GGUF agus cruthan eile. Thoir sùil air sgrìobhainnean an inneil agad mus luchdaich thu sìos.

Luchdachadh sìos modail toiseach: Faodaidh modalan nas motha a bhith eadar 4 GB agus 40 GB. Dèan cinnteach gu bheil ceangal eadar-lìn math agad airson an luchdachadh sìos toiseach. Bidh ruith às dèidh sin luath.

Ionadail vs. Sgòth: Cuin a chleachdas tu gach fear

Chan e AI ionadail an roghainn as fheàrr an-còmhnaidh. Seo stiùireadh sìmplidh:

Bidh mòran luchd-cleachdaidh a’ ruith an dà chuid. Modalan ionadail airson obair làitheil agus modalan sgòth airson gnìomhan sònraichte.

Tòiseachadh An-diugh

Ma tha thu air AI a ruith gu h-ionadail a-riamh, tòisich le Ollama agus Llama 3. Bheir e nas lugha na deich mionaidean airson a stèidheachadh, agus cuiridh na toraidhean iongnadh ort. Tha an eag-shiostam stòr fosgailte a’ fàs gu luath, le modalan agus innealan ùra a’ nochdadh gu cunbhalach.

Feuch e. Tha an cnap-starra inntrigidh nas ìsle na tha a’ mhòr-chuid a’ tuigsinn, agus tha an tairbhe ann an sàbhalaidhean cosgais agus prìobhaideachd fìor. Faodaidh tu roghainnean nas adhartach a sgrùdadh an-còmhnaidh nuair a bhios beachd agad air dè a tha ag obair dhut.

← Air ais gu na h-artaigilean gu lèir