ហេតុអ្វីត្រូវដំណើរការ AI នៅលើឧបករណ៍ផ្ទាល់ខ្លួន?
ការដំណើរការគំរូ AI នៅលើឧបករណ៍ផ្ទាល់ខ្លួន មានន័យថា អ្នករក្សាទុកទិន្នន័យ និងការគណនានៅលើកុំព្យូទ័ររបស់អ្នក ជំនួសឱ្យការពឹងផ្អែកលើសេវាកម្មក្លាវ៉ាត់។ វិធីសាស្ត្រនេះកំពុងទទួលបានការយកចិត្តទុកដាក់ខ្លាំង ដោយសារតែគំរូប្រភពបើកចំហ (open source) បានកែលម្អយ៉ាងខ្លាំង ហើយឧបករណ៍កុំព្យូទ័រដែលត្រូវការដើម្បីដំណើរការវា ក៏កាន់តែមានតម្លៃថោកជាងមុន។
ចំណុចទាក់ទាញគឺមានភាពច្បាស់លាស់៖ អ្នកមិនបង់ថ្លៃតាមចំនួន token, ទិន្នន័យរបស់អ្នកមិនចេញពីឧបករណ៍របស់អ្នក, ហើយអ្នកអាចប្រើប្រាស់គំរូបានដោយគ្មានអ៊ីនធឺណិត។ សម្រាប់អ្នកសរសេរអត្ថបទ, អ្នកអភិវឌ្ឍន៍, អ្នកស្រាវជ្រាវ, និងអ្នកណាដែលធ្វើការជាមួយអត្ថបទ ឬកូដជារៀងរាល់ថ្ងៃ, AI លើឧបករណ៍ផ្ទាល់ខ្លួនផ្ដល់ជម្រើសជំនួសដែលមានប្រយោជន៍ជំនួសឱ្យសេវាកម្មប្រចាំខែ។
តម្រូវការផ្នែក Hardware របស់អ្នក
មុននឹងដំឡើងអ្វីមួយ, តោះនិយាយអំពីអ្វីដែលកុំព្យូទ័ររបស់អ្នកត្រូវការ។ ព័ត៌មានល្អគឺថា កុំព្យូទ័រទំនើបជាច្រើនអាចដំណើរការគំរូ AI នៅលើឧបករណ៍ផ្ទាល់ខ្លួនបាន ដោយមិនចាំបាច់មានកាតក្រាហ្វិក (graphics card) ដាច់ដោយឡែក។
តម្រូវការអប្បបរមា
- ការរៀបចំដោយប្រើតែ CPU: RAM យ៉ាងតិច 8 GB, ណែនាំឱ្យមាន 16 GB
- ជាមួយ GPU: VRAM យ៉ាងតិច 4 GB សម្រាប់គំរូតូចៗ, 8 GB ឬច្រើនជាងនេះសម្រាប់គំរូធំៗ
- កន្លែងរក្សាទុក: 10-50 GB អាស្រ័យលើគំរូដែលអ្នកទាញយក
ប្រសិនបើអ្នកមាន Mac ដែលប្រើប្រាស់បន្ទះឈីប Apple Silicon (M1, M2, ឬថ្មីជាងនេះ), អ្នកស្ថិតនៅក្នុងស្ថានភាពល្អ។ បច្ចេកវិទ្យាអនុស្សាចំណុចកណ្ដាលរួម (unified memory architecture) របស់ Apple អនុញ្ញាតឱ្យ CPU និង GPU ចែករំលែក RAM ដោយមានប្រសិទ្ធភាព ដែលជាអ្វីដែលគំរូ AI ត្រូវការ។
អ្នកប្រើប្រាស់ Windows និង Linux
អ្នកប្រើប្រាស់ Windows គួរតែស្វែងរកកាតក្រាហ្វិកពី NVIDIA, ល្អបំផុតគឺមាន VRAM យ៉ាងតិច 4 GB។ កាត AMD ក៏ដំណើរការបានដែរ ប៉ុន្តែអាចត្រូវការការរៀបចំបន្ថែម។ អ្នកប្រើប្រាស់ Linux មានការគាំទ្រផ្នែក hardware ទូលំទូលាយបំផុត និងមានជម្រើសច្រើនបំផុតសម្រាប់ការបង្កើនល្បឿន GPU។
ឧបករណ៍កំពូលៗសម្រាប់ដំណើរការ AI នៅលើឧបករណ៍ផ្ទាល់ខ្លួន
ឧបករណ៍ជាច្រើនធ្វើឱ្យការដំណើរការគំរូ AI នៅលើកុំព្យូទ័ររបស់អ្នកមានភាពងាយស្រួល, ដោយនីមួយៗមានចំណុចខ្លាំងខុសៗគ្នា។
Ollama
Ollama ប្រហែលជាចំណុចចាប់ផ្ដើមដែលងាយស្រួលបំផុត។ អ្នកដំឡើងវាតែម្ដង, ហើយវាគ្រប់គ្រងការទាញយក និងគ្រប់គ្រងគំរូដោយស្វ័យប្រវត្តិ។ វាដំណើរការលើ Mac, Windows, និង Linux, ហើយអ្នកអាចដំណើរការគំរូពី command line ឬតាមរយៈចំណុចប្រទាក់បណ្ដាញ។ វាគាំទ្រគំរូពេញនិយមដូចជា Llama 3, Mistral, និង Gemma តាំងពីដំបូង។
LM Studio
LM Studio ផ្ដល់ជូននូវចំណុចប្រទាក់ក្រាហ្វិកដែលមានភាពស្គាល់ច្បាស់សម្រាប់អ្នកណាដែលធ្លាប់ប្រើប្រាស់កម្មវិធីធម្មតា។ អ្នកអាចរុករកគំរូ, ទាញយកវាដោយចុចតែម្ដង, និងនិយាយជាមួយវាភ្លាមៗ។ វាពិសេសល្អសម្រាប់អ្នកប្រើប្រាស់ Windows ដែលមិនចង់ប៉ះពាល់ដល់ command line។ LM Studio ក៏អនុញ្ញាតឱ្យអ្នកស្វែងរក និងធ្វើការប្រៀបធៀបគំរូខុសៗគ្នាមុននឹងទាញយកផងដែរ។
Text Generation WebUI
ឧបករណ៍នេះមានមុខងារច្រើនជាង និងសមស្របសម្រាប់អ្នកប្រើប្រាស់ដែលចង់បានការគ្រប់គ្រងកម្រិតខ្ពស់។ វាគាំទ្រគំរូជាច្រើនផ្សេងៗគ្នា និងផ្ដល់ជម្រើសសម្រាប់កែសម្រួលការកំណត់ ដូចជា កម្រិតសីតុណ្ហភាព (temperature), top-p sampling, និងទំហំបង្អួចបរិបទ (context window size)។ វាមានលក្ខណៈជាចំណុចប្រទាក់បណ្ដាញដែលអ្នកដំណើរការនៅលើកុំព្យូទ័ររបស់អ្នក។
llama.cpp
llama.cpp គឺជាម៉ាស៊ីនដែលនៅពីក្រោយឧបករណ៍ជាច្រើនផ្សេងទៀត។ វាមានប្រសិទ្ធភាពខ្ពស់ និងអាចដំណើរការគំរូនៅលើគ្រប់ប្រភេទកុំព្យូទ័រ រួមទាំងម៉ាស៊ីនចាស់ៗផងដែរ។ វាជាជម្រើសដ៏ល្អបំផុត ប្រសិនបើអ្នកចង់បានប្រសិទ្ធភាពអតិបរមា ដោយប្រើធនធានតិចតួចបំផុត។ វាមានលក្ខណៈបច្ចេកទេសខ្លាំង ប៉ុន្តែផ្ដល់ផលល្អសម្រាប់អ្នកដែលមានភាពអត់ធ្មត់ ដោយផ្ដល់នូវល្បឿន និងភាពបត់បែន។
ការជ្រើសរើសគំរូឱ្យបានត្រឹមត្រូវ
គំរូ AI ទាំងអស់មិនមានគុណភាពស្មើគ្នាទេ ហើយការជ្រើសរើសគំរូឱ្យបានត្រឹមត្រូវគឺមានសារៈសំខាន់។ ខាងក្រោមនេះគឺជាការបំបែកព័ត៌មានជាក់ស្ដែងមួយចំនួន៖
- គំរូដែលមានប៉ារ៉ាម៉ែត្រពី 7B ដល់ 8B — ល្អសម្រាប់កិច្ចការប្រចាំថ្ងៃភាគច្រើន។ មានល្បឿនលឿន និងស្រាល។ ឧទាហរណ៍៖ Llama 3 8B, Mistral 7B។
- គំរូដែលមានប៉ារ៉ាម៉ែត្រពី 13B ដល់ 20B — មានសមត្ថភាពគិតវិភាគល្អជាង និងមានសមត្ថភាពខ្ពស់ជាង។ នៅតែដំណើរការបានល្អលើកុំព្យូទ័រទំនើបភាគច្រើន។ ឧទាហរណ៍៖ Llama 3.1 70B (quantized), Gemma 2 27B។
- គំរូដែលមានប៉ារ៉ាម៉ែត្រពី 70B ឡើងទៅ — មានគុណភាពល្អបំផុត ប៉ុន្តែត្រូវការ RAM ច្រើន និង GPU ដែលមានសមត្ថភាពគ្រប់គ្រាន់។ ល្អសម្រាប់ការសរសេរដែលមានភាពស្មុគស្មាញ, ការបង្កើតកូដ, និងការវិភាគលម្អិត។
គំរូតូចៗដំណើរការលឿនជាង និងប្រើប្រាស់អង្គចងចាំតិចជាង។ គំរូធំៗផ្ដល់លទ្ធផលដែលមានគុណភាពល្អជាង។ ចំណុចល្អបំផុតសម្រាប់អ្នកប្រើប្រាស់ភាគច្រើន គឺគំរូទំហំ 7B ដល់ 13B នៅលើកុំព្យូទ័រទំនើប។
ការរៀបចំជាជំហានៗ
ខាងក្រោមនេះគឺជាផ្លូវជាក់ស្ដែងមួយដើម្បីចាប់ផ្ដើមប្រើប្រាស់ Ollama ដែលជាជម្រើសងាយស្រួលបំផុតសម្រាប់អ្នកចាប់ផ្ដើម។
ជំហានទី 1៖ ដំឡើង Ollama
ចូលទៅកាន់គេហទំព័រ Ollama ហើយទាញយកកម្មវិធីដំឡើងសម្រាប់ប្រព័ន្ធប្រតិបត្តិការរបស់អ្នក។ ដំណើរការកម្មវិធីដំឡើង និងធ្វើតាមការណែនាំ។ នៅលើ Mac វានឹងបន្ថែមកម្មវិធីនៅលើរបារម៉ឺនុយ។ នៅលើ Windows និង Linux វានឹងដំណើរការជាសេវាកម្មនៅខាងក្រោយ។
ជំហានទី 2៖ ដំណើរការគំរូដំបូងរបស់អ្នក
បើកស្ថានីយ៍ (terminal) ឬបង្អួចពាក្យបញ្ជា (command prompt) ហើយវាយបញ្ចូល៖
ollama ដំណើរការ llama3
វានឹងទាញយកគំរូ Llama 3 ហើយចាប់ផ្ដើមសម័យជជែកគ្នា (chat session)។ អ្នកអាចវាយសំណួរ និងទទួលបានចម្លើយភ្លាមៗ។ គំរូនឹងត្រូវបានទាញយកដោយស្វ័យប្រវត្តិ នៅពេលអ្នកដំណើរការវាជាលើកដំបូង។
ជំហានទី 3៖ សាកល្បងគំរូផ្សេងៗ
ប្ដូរទៅគំរូផ្សេងៗគ្នាបានយ៉ាងងាយស្រួល៖
ដំណើរការ ollama run mistral
ដំណើរការ ollama run gemma
ដំណើរការ ollama run codellama
គំរូនីមួយៗមានចំណុចខ្លាំងខុសៗគ្នា។ Mistral ខ្លាំងសម្រាប់កិច្ចការទូទៅ។ Gemma គឺជាផលិតផលរបស់ Google ហើយល្អឥតខ្ចោះសម្រាប់ការគិតវិភាគ។ CodeLlama ត្រូវបានបង្កើតឡើងជាពិសេសសម្រាប់កិច្ចការសរសេរកម្មវិធី។
ជំហានទី 4៖ ប្រើប្រាស់ចំណុចប្រទាក់បណ្ដាញ
ដើម្បីទទួលបានបទពិសោធន៍ដែលងាយស្រួលជាងមុន សូមដំឡើងកម្មវិធីចំណុចប្រទាក់បណ្ដាញ។ LM Studio មានចំណុចប្រទាក់របស់វាខ្លួនឯង។ ជាជម្រើសផ្សេងទៀត អ្នកអាចប្រើ Open WebUI ដែលផ្ដល់នូវបទពិសោធន៍ជជែកដ៏ស្អាត ស្រដៀងនឹងសេវាកម្មពពកពេញនិយម។
ករណីប្រើប្រាស់ជាក់ស្ដែង
AI ក្នុងម៉ាស៊ីនតែងតែរុងរឿងនៅក្នុងស្ថានភាពជាក់ស្ដែងជាច្រើន៖
- ការសរសេរ និងកែសម្រួល៖ ប្រើគំរូក្នុងម៉ាស៊ីនដើម្បីគិតគូរយោបល់ សរសេរអត្ថបទឡើងវិញ ឬបង្កើតសេចក្ដីសង្ខេប ដោយមិនចាំបាច់ផ្ញើសេចក្ដីព្រាងរបស់អ្នកទៅកាន់សេវាកម្មពពក។
- ជំនួយកូដ៖ CodeLlama និងគំរូដែលស្រដៀងគ្នាអាចជួយក្នុងការកែកំហុស កែសម្រួលរចនាសម្ព័ន្ធ និងបង្កើតកូដខ្លីៗ ដោយផ្ទាល់នៅក្នុងកម្មវិធីកែសម្រួលរបស់អ្នក។
- ការវិភាគឯកសារ៖ បញ្ចូលឯកសាររបស់អ្នកទៅកាន់គំរូក្នុងម៉ាស៊ីន ហើយសួរសំណួរអំពីខ្លឹមសារ។ ឯកសាររបស់អ្នកនៅតែស្ថិតនៅលើម៉ាស៊ីនរបស់អ្នក។
- ការងារដែលទាមទារឯកជនភាព៖ នៅពេលធ្វើការជាមួយឯកសារសម្ងាត់ ឬទិន្នន័យផ្ទាល់ខ្លួន AI ក្នុងម៉ាស៊ីនធានាថាគ្មានអ្វីចេញពីកុំព្យូទ័ររបស់អ្នក។
បញ្ហាប្រឈមទូទៅ និងដំណោះស្រាយ
ការដំណើរការ AI ក្នុងម៉ាស៊ីនមិនគ្មានបញ្ហាប្រឈមទេ។ នេះគឺជាបញ្ហាទូទៅបំផុត និងរបៀបដោះស្រាយ។
ល្បឿនយឺត៖ ប្រសិនបើគំរូរបស់អ្នកដំណើរការយឺត សូមព្យាយាមប្រើកំណែ Quantized។ កំណែទាំងនេះប្រើអង្គចងចាំតិចជាង និងដំណើរការលឿនជាង ដោយមានការថយចុះគុណភាពតិចតួចប៉ុណ្ណោះ។ ស្វែងរកឯកសារដែលមានពាក្យ "GGUF" ឬ "Q4" នៅក្នុងឈ្មោះ។
អស់អង្គចងចាំ៖ បិទកម្មវិធីផ្សេងទៀតនៅពេលដំណើរការគំរូធំៗ។ ប្រសិនបើអ្នកមាន RAM 16 GB អ្នកអាចដំណើរការគំរូ 13B បានយ៉ាងងាយស្រួល ដោយនៅសល់កន្លែង។
ភាពស៊ីសង្វាក់គ្នានៃគំរូ៖ ឧបករណ៍ផ្សេងៗគ្នាគាំទ្រទម្រង់គំរូផ្សេងៗគ្នា។ Ollama ប្រើឯកសារ GGUF។ LM Studio គាំទ្រ GGUF និងទម្រង់ផ្សេងទៀត។ ពិនិត្យមើលឯកសារបណ្ដាញរបស់ឧបករណ៍របស់អ្នកមុនពេលទាញយក។
ការទាញយកគំរូដំបូង៖ គំរូធំៗអាចមានទំហំពី 4 GB ដល់ 40 GB។ ត្រូវប្រាកដថាអ្នកមានការតភ្ជាប់អ៊ីនធឺណិតល្អសម្រាប់ការទាញយកដំបូង។ ការដំណើរការបន្ទាប់ៗគឺលឿន។
ក្នុងម៉ាស៊ីន ធៀបនឹង ពពក៖ ពេលណាគួរប្រើមួយណា
AI ក្នុងម៉ាស៊ីនមិនមែនជាជម្រើសល្អបំផុតជានិច្ចទេ។ នេះគឺជាមគ្គុទេសក៍សាមញ្ញមួយ៖
- ប្រើ AI ក្នុងម៉ាស៊ីន នៅពេលអ្នកផ្ដល់តម្លៃលើឯកជនភាព ចង់ជៀសវាងការចំណាយបន្តបន្ទាប់ ធ្វើការដោយគ្មានអ៊ីនធឺណិត ឬចូលចិត្តការគ្រប់គ្រងពេញលេញលើឧបករណ៍របស់អ្នក។
- ប្រើ AI ពពក នៅពេលអ្នកត្រូវការចូលប្រើគំរូធំៗថ្មីបំផុត ចង់បានលទ្ធផលប្រសើរបំផុត ឬត្រូវការមុខងារដូចជាការបង្កើតរូបភាព និងសមត្ថភាពពហុមេឌៀ។
អ្នកប្រើប្រាស់ជាច្រើនដំណើរការទាំងពីរ។ គំរូក្នុងម៉ាស៊ីនសម្រាប់ការងារប្រចាំថ្ងៃ និងគំរូពពកសម្រាប់កិច្ចការពិសេស។
ចាប់ផ្ដើមថ្ងៃនេះ
ប្រសិនបើអ្នកមិនធ្លាប់ដំណើរការ AI ក្នុងម៉ាស៊ីនរបស់អ្នកពីមុនទេ ចាប់ផ្ដើមជាមួយ Ollama និង Llama 3។ ការរៀបចំប្រើប្រាស់ចំណាយពេលតិចជាង 10 នាទី ហើយលទ្ធផលនឹងធ្វើឱ្យអ្នកភ្ញាក់ផ្អើល។ ប្រព័ន្ធអេកូឡូស៊ីកូដបើកចំហកំពុងលូតលាស់យ៉ាងឆាប់រហ័ស ដោយមានគំរូ និងឧបករណ៍ថ្មីៗលេចឡើងជាប្រចាំ។
សាកល្បងវា។ ឧបសគ្គក្នុងការចាប់ផ្ដើមមានកម្រិតទាបជាងអ្វីដែលមនុស្សភាគច្រើនគិត ហើយអត្ថប្រយោជន៍ផ្នែកការសន្សំសំចៃថ្លៃ និងឯកជនភាពគឺជាក់ស្ដែង។ អ្នកអាចស្វែងយល់ពីជម្រើសកម្រិតខ្ពស់ជាងនេះ នៅពេលដែលអ្នកចាប់ផ្ដើមយល់ពីអ្វីដែលសមស្របសម្រាប់អ្នក។