ការវាយតម្លៃ Edge0-145B៖ ការដំណើរការសមត្ថភាព AI កម្រិតខ្ពស់នៅលើកុំព្យូទ័ររបស់អ្នក
រកឃើញរបៀបដែល Edge0-145B នាំ AI ទំហំ 145B ប៉ារ៉ាម៉ែត្រមកកាន់កុំព្យូទ័រយួរដៃរបស់អ្នក។ វាយតម្លៃលទ្ធផលការងារ តម្រូវការផ្នែករឹង និងសមត្ថភាពរបស់ភ្នាក់ងារក្នុងតំបន់ ក្នុងការសិក្សាលម្អិតឆ្នាំ 2026 នេះ។
1X2.TV — ការទស្សន៍ទាយបាល់ទាត់ដោយ AI
ការទស្សន៍ទាយការប្រកួតបាល់ទាត់ គន្លឹះភ្នាល់ និងការវិភាគលម្អិត ដោយប្រើ AI។ ដំណើរការដោយក្បួនដោះស្រាយម៉ាស៊ីនរៀន ដែលវិភាគលើការប្រកួតចំនួន 50,000+។
ទទួលការទស្សន៍ទាយការវាយតម្លៃ Edge0-145B៖ ការដំណើរការសមត្ថភាព AI កម្រិតខ្ពស់នៅលើកុំព្យូទ័ររបស់អ្នក
អស់រយៈពេលជាច្រើនឆ្នាំ ការសន្យាអំពី “AI ក្នុងស្រុក” តែងតែមានលក្ខខណ្ឌសំខាន់មួយ។ ទោះបីជាគំរូប្រភពបើកចំហដូចជា Llama 3 ឬ Mistral ផ្ដល់នូវសមត្ថភាពគួរឱ្យកត់សម្គាល់ក៏ដោយ ក៏ពួកវាតែងតែទាមទារឱ្យមានការលះបង់លើជម្រៅនៃការគិតវិភាគ ជំនាញក្នុងការសរសេរកូដ ឬការគ្រប់គ្រងបង្អួចបរិបទ បើធៀបនឹងគំរូដែលដំណើរការលើពពក (cloud) ដូចជា GPT-4o ឬ Claude 3.5។ គម្លាតនោះគឺច្បាស់លាស់៖ ប្រសិនបើអ្នកចង់បានបញ្ញាកម្រិតខ្ពស់បំផុត អ្នកត្រូវបង់ថ្លៃវាតាមរយៈក្រេឌីត API និងការលះបង់លើឯកជនភាព។ ប្រសិនបើអ្នកចង់បានឯកជនភាព និងសមត្ថភាពដំណើរការដោយគ្មានអ៊ីនធឺណិត អ្នកត្រូវពេញចិត្តនឹងគំរូតូចៗ និងមានសមត្ថភាពទាបជាង។
ស្ថានភាពនោះបានផ្លាស់ប្ដូរយ៉ាងខ្លាំងនៅថ្ងៃទី 12 ខែវិច្ឆិកា ឆ្នាំ 2026 នៅពេលដែល Edge0 បានបើកប្រភពកូដនៃ Edge0-145B។ ត្រូវបានផ្សព្វផ្សាយថាជាគំរូ AI ប្រភពបើកចំហដំបូងគេក្នុងពិភពលោកដែលដំណើរការលើឧបករណ៍ផ្ទាល់ខ្លួន ដែលមានប៉ារ៉ាម៉ែត្រចំនួន 145 ពាន់លាន វាសន្យាថានឹងនាំយកសមត្ថភាពក្នុងការសរសេរកូដ ការគិតវិភាគ និងសមត្ថភាពភ្នាក់ងារ (agent) ដែលប្រៀបបាននឹងក្រុមហ៊ុនពពកធំៗ មកកាន់កុំព្យូទ័របុគ្គលរបស់អ្នកដោយផ្ទាល់។ ប៉ុន្តែតើគំរូដែលមានប៉ារ៉ាម៉ែត្រចំនួន 145 ពាន់លានពិតជាអាចដំណើរការលើកុំព្យូទ័រយួរដៃបានមែនទេ ហើយតើវាអាចបំពេញតាមការសន្យាបានដែរឬទេ?
នៅក្នុងការវាយតម្លៃនេះ យើងនឹងបំបែកបង្ហាញពីស្ថាបត្យកម្ម តម្រូវការផ្នែករឹង (hardware) ការដំណើរការជាក់ស្ដែង និងផលប៉ះពាល់ជាក់ស្ដែងនៃការដំណើរការ Edge0-145B ក្នុងស្រុក។
ស្ថាបត្យកម្ម៖ តើប៉ារ៉ាម៉ែត្រចំនួន 145B អាចស៊ីសង្វាក់គ្នាលើ GPU មួយបានដោយរបៀបណា
សំណួរភ្លាមៗសម្រាប់អ្នកចូលចិត្តបច្ចេកវិទ្យាគឺ៖ ដោយរបៀបណា? គំរូដង់ស៊ីតេស្តង់ដារដែលមានទំហំបែបនេះ ជាធម្មតាត្រូវការការរៀបចំ GPU ច្រើន ឬអង្គចងចាំកម្រិតម៉ាស៊ីនមេដ៏ធំធេង។ Edge0-145B សម្រេចបាននូវលទ្ធផលនេះតាមរយៈស្ថាបត្យកម្មស្ដើង (sparse) ដ៏ស្មុគស្មាញមួយ។ យោងតាមការបកស្រាយបច្ចេកទេសថ្មីៗ គំរូនេះប្រើប្រាស់ ម៉ាទ្រីសអ្នកជំនាញរួមគ្នា (shared expert matrices) ដែលជាទម្រង់មួយនៃការរចនា Mixture-of-Experts (MoE)។
ទោះបីជាចំនួនប៉ារ៉ាម៉ែត្រសរុបគឺ 145 ពាន់លានក៏ដោយ ក៏មានត្រឹមតែប្រហែល 10 ពាន់លានប៉ារ៉ាម៉ែត្រប៉ុណ្ណោះដែលធ្វើសកម្មភាពក្នុងមួយជំហាននៃការសន្និដ្ឋាន (inference step)។ ភាពស្ដើងនេះគឺជាគន្លឹះសំខាន់នៃប្រសិទ្ធភាពរបស់វា។ ដោយធ្វើសកម្មភាពត្រឹមតែផ្នែកខ្លះនៃបណ្ដាញសម្រាប់តូកង់ (token) នីមួយៗ បន្ទុកនៃការគណនា និងតម្រូវការអង្កត់ផ្ចិតប្រេកង់អង្គចងចាំត្រូវបានកាត់បន្ថយយ៉ាងខ្លាំង បើធៀបនឹងគំរូដង់ស៊ីតេ 145B។
លទ្ធផលគឺជាគំរូមួយដែលរាយការណ៍អំពី ការប្រើប្រាស់អង្គចងចាំកំពូលប្រហែល 29GB ក្នុងអំឡុងពេលធ្វើការសន្និដ្ឋាន (inference)។ តួលេខនេះមានសារៈសំខាន់ខ្លាំង។ វាមានន័យថា ទោះបីជាអ្នកមិនអាចដំណើរការវាបាននៅលើ GPU អ្នកប្រើប្រាស់ធម្មតាដែលមាន 8GB ឬ 12GB ក៏ដោយ ក៏វាអាចធ្វើទៅបាននៅលើកម្មវិធីរឹងអ្នកប្រើប្រាស់កម្រិតខ្ពស់ ដូចជា NVIDIA RTX 4090 (24GB) ដោយមានការបង្កើនប្រសិទ្ធភាពបន្តិច ឬស្រួលជាងនេះនៅលើកាតកម្មវិធីរឹងអាជីព ដូចជា RTX 6000 Ada (48GB) ឬការរៀបចំប្រព័ន្ធដែលមាន GPU ពីរ។ គំរូនេះត្រូវបានរចនាឡើងសម្រាប់ NVIDIA GPU មួយ ដែលធ្វើឱ្យបំពង់បង្ហោះ (deployment pipeline) មានភាពសាមញ្ញជាងមុនយ៉ាងខ្លាំង បើធៀបនឹងក្របខ័ណ្ឌការផ្តល់សេវាបែបចែកចាយ។
ប្រសិទ្ធភាព៖ ល្បឿន និងអត្រាបញ្ចេញ (Throughput)
ល្បឿនគឺជាចំណុចខ្សោយធំរបស់គំរូធំៗដែលដំណើរការក្នុងម៉ាស៊ីនតែមួយ (local models)។ ប្រសិនបើអ្នកត្រូវរង់ចាំប្រាំពីរវិនាទីសម្រាប់ចម្លើយមួយ អត្ថប្រយោជន៍នៃការដំណើរការ “ក្នុងម៉ាស៊ីនតែមួយ” ហាក់ដូចជាជាទោសទណ្ឌ។ Edge0-145B ហាក់ដូចជាបានដោះស្រាយបញ្ហានេះដោយប្រើប្រាស់ក្របខ័ណ្ឌការសន្និដ្ឋានដែលមានឯកភាព។
ការវាយតម្លៃដំបូង និងរបាយការណ៍ពីអ្នកប្រើប្រាស់បង្ហាញពីអត្រាបញ្ចេញដ៏គួរឱ្យចាប់អារម្មណ៍៖
- ការដំណើរការពាក្យបញ្ជា៖ លើសពី 1,100 tokens ក្នុងមួយវិនាទី។ នេះមានសារៈសំខាន់សម្រាប់កិច្ចការដែលមានបរិបទវែង ដូចជាការវិភាគកូដទាំងមូល ឬការអានឯកសារ PDF វែងៗ ដែលល្បឿននៃការបញ្ចូលទិន្នន័យដំបូងកំណត់នូវភាពងាយស្រួលក្នុងការប្រើប្រាស់។
- ល្បឿននៃការបង្កើតចម្លើយ៖ 80+ tokens ក្នុងមួយវិនាទី។ ដើម្បីផ្តល់បរិបទ ល្បឿននេះលើសពីកម្រិតសម្រាប់អន្តរកម្ម “ពេលវេលាពិត” (real-time)។ អ្នកប្រើប្រាស់ភាគច្រើនរកឃើញថាល្បឿននៃការបង្កើតចម្លើយលើសពី 40–50 tokens/s មានភាពរហ័ស និងឆ្លើយតបបានល្អ។
តួលេខទាំងនេះបង្ហាញថា Edge0-145B មិនមែនគ្រាន់តែជាអ្វីថ្មីសម្រាប់ការពិសោធន៍ក្រៅបណ្តាញប៉ុណ្ណោះទេ ប៉ុន្តែវាជាជម្រើសដែលអាចប្រើប្រាស់បានជារៀងរាល់ថ្ងៃសម្រាប់អ្នកអភិវឌ្ឍន៍ និងអ្នកប្រើប្រាស់កម្រិតខ្ពស់ដែលត្រូវការជំនួយ AI ដែលមានល្បឿនលឿន និងឯកជន។
តម្រូវការផ្នែករឹង និងការរៀបចំ
មុននឹងអ្នកទាញយកទម្ងន់ (weights) អ្នកត្រូវធានាថាផ្នែករឹងរបស់អ្នកអាចទ្រទ្រង់នូវបន្ទុកនោះបាន។ គំរូនេះមាននៅលើ Hugging Face ជា Edge0/Edge0-145B-q3k ដែលបង្ហាញពីកំណែដែលបានបង្រួមទំហំ (quantized version) (ទំនងជា Q3_K ឬស្រដៀងគ្នា) ដើម្បីសម្របខ្លួនទៅនឹងដែនកំណត់ VRAM របស់អ្នកប្រើប្រាស់។
លក្ខណៈបច្ចេកទេសអប្បបរមាដែលបានណែនាំ
- GPU៖ NVIDIA GPU ដែលមាន VRAM យ៉ាងតិច 24GB (RTX 3090/4090) សម្រាប់កំណែដែលបានបង្រួមទំហំ។ សម្រាប់ភាពជាក់លាក់ពេញលេញ ឬបរិបទធំជាងនេះ គួរតែប្រើ 48GB+ (RTX 6000 Ada, A6000)។
- RAM៖ គួរតែមាន RAM ប្រព័ន្ធ 32GB+ ដើម្បីដំណើរការការផ្ទុកគំរូ និងបន្ទុកបន្ថែមរបស់ប្រព័ន្ធប្រតិបត្តិការ។
- កន្លែងផ្ទុកទិន្នន័យ៖ NVMe SSD ដែលមានកន្លែងទំនេរយ៉ាងតិច 100GB សម្រាប់ទម្ងន់គំរូ និង cache។
ឧបករណ៍បំពង់បង្ហោះ
Edge0 បានបញ្ចេញក្របខ័ណ្ឌសន្និដ្ឋាន (inference framework) ដែលបានបញ្ចូលគ្នា និងឧបករណ៍ដាក់ឱ្យដំណើរការ ដែលធ្វើឱ្យការចាប់ផ្ដើមប្រើប្រាស់មានភាពងាយស្រួលជាងពេលណាៗទាំងអស់។ កូដមាននៅលើ GitHub ក្រោម អាជ្ញាបណ្ណ Apache 2.0 ដែលអនុញ្ញាតឱ្យប្រើប្រាស់សម្រាប់ទាំងការងារពាណិជ្ជកម្ម និងការប្រើប្រាស់ផ្ទាល់ខ្លួន។ សម្រាប់អ្នកដែលចូលចិត្តចំណុចប្រទាក់ក្រាហ្វិក មាន Edge0 App ដើម្បីសាកល្បងយ៉ាងរហ័ស ទោះបីជាអ្នកប្រើប្រាស់ដែលមានជំនាញខ្ពស់ទំនងជាចូលចិត្តឧបករណ៍ CLI សម្រាប់កែសម្រួលប៉ារ៉ាម៉ែត្រដូចជា អង្សាសីតុណ្ហភាព (temperature), top-p និងប្រវែងបរិបទ (context length)។
សមត្ថភាពក្នុងការសរសេរកូដ និងតំណាង (Agent)
ចំណុចលក់ដាច់សំខាន់របស់ Edge0-145B គឺសមត្ថភាពក្នុងការដោះស្រាយ លំហូរការងារសរសេរកូដ និងតំណាង (agentic workflows)។ ក្នុងការធ្វើតេស្តរបស់យើង គំរូនេះបានបង្ហាញពីសមត្ថភាពខ្លាំងក្នុងការប្រើប្រាស់ Python, JavaScript និង Rust ដោយអាចបង្កើតកូដគំរូ (boilerplate code), កែតម្រូវកំហុសតក្កវិជ្ជាស្មុគស្មាញ និងកែសម្រួលអនុគមន៍ (refactoring)។
សំខាន់ជាងនេះទៅទៀត វាគាំទ្រ សមត្ថភាពតំណាង (agent capabilities)។ នេះមានន័យថា វាអាចប្រើប្រាស់ឧបករណ៍ រុករកអ៊ីនធឺណិត (ប្រសិនបើបានកំណត់រចនាសម្ព័ន្ធជាមួយ proxy ក្នុងម៉ាស៊ីន) និងអនុវត្តផែនការច្រើនជំហាន។ ឧទាហរណ៍ អ្នកអាចស្នើឱ្យវា “រកឯកសារបច្ចុប្បន្នភាពសម្រាប់បណ្ណាល័យ X សង្ខេបការផ្លាស់ប្ដូរធំៗ (breaking changes) និងធ្វើបច្ចុប្បន្នភាពកូដក្នុងម៉ាស៊ីនរបស់ខ្ញុំតាមនោះ”។ ម៉ាស៊ីនតក្កវិជ្ជា (reasoning engine) របស់គំរូនេះ ដែលប្រៀបបាននឹងគំរូពពកកម្រិតខ្ពស់ (frontier cloud models) ក្នុងការវាយតម្លៃគុណភាព អនុញ្ញាតឱ្យវាបំបែកកិច្ចការទាំងនេះទៅជាជំហានៗដែលងាយស្រួលគ្រប់គ្រង ដោយមិនមានការបង្កើតព័ត៌មានក្លែងក្លាយ (hallucinations) ញឹកញាប់។
ទោះជាយ៉ាងណាក៏ដោយ វាសំខាន់ណាស់ក្នុងការកត់សម្គាល់ថា នេះគឺជាការ បញ្ចេញផលិតផលថ្មីដំបូង (day-one release)។ ដូចគ្នានឹងគំរូប្រភពបើកចំហថ្មីៗផងដែរ វានៅមានចំណុចខ្វះខាត។ លទ្ធផលស្តង់ដារ (benchmarks) ដែលផ្ដល់ដោយ Edge0 ត្រូវបានដំណើរការដោយអ្នកផ្គត់ផ្គង់ផ្ទាល់ ដូច្នេះការផ្ទៀងផ្ទាត់ដោយឯករាជ្យកំពុងតែកើតឡើង។ អ្នកប្រើប្រាស់មួយចំនួនបានរាយការណ៍ពីភាពមិនស៊ីគ្នា (inconsistencies) ក្នុងប្រវែងបរិបទវែងខ្លាំង (>100k tokens) ទោះបីជាល្បឿនដំណើរការ 1,100 tokens/s ជួយកាត់បន្ថយពេលវេលារង់ចាំយ៉ាងខ្លាំងក៏ដោយ។
Edge0-145B ធៀបនឹងគូប្រជែង
ដើម្បីយល់ពីទីតាំងរបស់ Edge0-145B ចូរយើងប្រៀបធៀបវាជាមួយជម្រើសពេញនិយមផ្សេងទៀតនៅក្នុងបរិស្ថាន AI ក្នុងម៉ាស៊ីន និងពពក នៅចុងឆ្នាំ 2026។
| មុខងារ | Edge0-145B (ក្នុងម៉ាស៊ីន) | Llama 3.1 70B (ក្នុងម៉ាស៊ីន) | GPT-4o (ពពក) | Claude 3.5 Sonnet (ពពក) |
|---|---|---|---|---|
| ប៉ារ៉ាម៉ែត្រ | 145B (Sparse/MoE) | 70B (ខាប់) | មិនបញ្ជាក់ | មិនបញ្ជាក់ |
| VRAM ដែលត្រូវការ | ~29GB (កំពូល) | ~40GB+ (FP16) | គ្មាន | គ្មាន |
| ល្បឿនបង្កើត (Generation Speed) | 80+ តូកង់/វិនាទី | 20-40 តូកង់/វិនាទី | ប្រែប្រួល (បណ្ដាញ) | ប្រែប្រួល (បណ្ដាញ) |
| សមត្ថភាពសរសេរកូដ | ប្រៀបបានកម្រិតខ្ពស់ | ខ្លាំង | ល្អឥតខ្ចោះ | ល្អឥតខ្ចោះ |
| ការគាំទ្រតំណាង (Agent Support) | ដើម (Native) | មានកំណត់/តាមរយៈ Plugin | ដើម (Native) | ដើម (Native) |
| ឯកជនភាព | ពេញលេញក្នុងម៉ាស៊ីន | ពេញលេញក្នុងម៉ាស៊ីន | ពពក | ពពក |
| អាជ្ញាបណ្ណ | Apache 2.0 | សហគមន៍ Meta | កម្មសិទ្ធិឯកជន | កម្មសិទ្ធិឯកជន |
| តម្លៃ | គ្រាន់តែ Hardware | គ្រាន់តែ Hardware | ក្រេឌីត API | ក្រេឌីត API |
ចំណាំ៖ តម្រូវការ VRAM សម្រាប់ Llama 3.1 70B គិតគូរពីការធ្វើ quantization ស្តង់ដារ; ស្ថាបត្យកម្ម sparse របស់ Edge0 អនុញ្ញាតឱ្យគំរូធំជាងអាចដំណើរការក្នុងអង្គចងចាំតិចជាងគំរូ dense ដែលមានទំហំស្មើគ្នា។
តារាងបង្ហាញពីទីតាំងពិសេសរបស់ Edge0-145B៖ វាផ្ដល់នូវសមត្ថភាពកម្រិត cloud ជាមួយនឹងឯកជនភាពក្នុងតំបន់។ ទោះបីជា Llama 3.1 70B ជាគំរូល្អក៏ដោយ ក៏វាខ្វះជម្រៅនៃការគិត និងការរចនាសម្រាប់ agent-native របស់ Edge0។ គំរូ Cloud ផ្ដល់នូវភាពស៊ីសង្វាក់គ្នាល្អជាង ប៉ុន្តែត្រូវចំណាយប្រាក់ជាប្រចាំ និងមានបញ្ហាឯកជនភាព។
ចំណុចល្អ និងចំណុចខ្វះខាត
ចំណុចល្អ
- ការគិតកម្រិត Frontier: ប្រកួតប្រជែងជាមួយគំរូ cloud កំពូលៗក្នុងកិច្ចការសរសេរកូដ និងតក្កវិទ្យា។
- ស្ថាបត្យកម្មមានប្រសិទ្ធភាព: ការរចនា sparse MoE អនុញ្ញាតឱ្យគំរូ 145B ដំណើរការលើឧបករណ៍កុំព្យូទ័រសម្រាប់អ្នកប្រើប្រាស់ទូទៅ/អ្នកប្រើប្រាស់កម្រិតខ្ពស់។
- ការសន្និដ្ឋានរហ័ស: ការបង្កើត token លើសពី 80 tokens/s និងការដំណើរការពាក្យបញ្ជា 1,100 tokens/s ធ្វើឱ្យវាអាចប្រើប្រាស់បានសម្រាប់លំហូរការងារពេលវេលាពិត។
- អាជ្ញាបណ្ណបើកចំហ: អាជ្ញាបណ្ណ Apache 2.0 អនុញ្ញាតឱ្យប្រើប្រាស់ និងកែប្រែសម្រាប់គោលបំណងពាណិជ្ជកម្ម។
- ឯកជនភាព: ទិន្នន័យទាំងអស់ស្ថិតនៅលើម៉ាស៊ីនរបស់អ្នក; គ្មាន API keys ឬការពឹងផ្អែកលើ cloud។
- រៀបចំសម្រាប់ Agent: មានការគាំទ្រសម្រាប់ការប្រើប្រាស់ឧបករណ៍ និងការរៀបចំផែនការច្រើនជំហានជាប់មកជាមួយ។
ចំណុចខ្វះខាត
- ឧបសគ្គឧបករណ៍ខ្ពស់: ត្រូវការ GPU កម្រិតខ្ពស់ (24GB+ VRAM) ដើម្បីដំណើរការបានមានប្រសិទ្ធភាព។
- កំហុសនៅថ្ងៃដំបូង: ដោយសារវាជាការបញ្ចេញថ្មី មុខងារ និងការតភ្ជាប់ខ្លះអាចមិនទាន់មានស្ថេរភាព។
- ការវាយតម្លៃពីអ្នកផ្គត់ផ្គង់: ការវាយតម្លៃឯករាជ្យពីភាគីទីបីនៅតែមានតិចតួច។
- ការរៀបចំស្មុគស្មាញ: ទោះបីជាមានឧបករណ៍ជួយក៏ដោយ ការកំណត់រចនាសម្ព័ន្ធរប្រព័ន្ធដំណើរការសន្និដ្ឋានសម្រាប់ប្រសិទ្ធភាពល្អបំផុតអាចត្រូវការជំនាញបច្ចេកទេស។
- ការលះបង់ក្នុងការធ្វើ Quantization: ការធ្វើ quantization Q3K អាចបន្ថយជម្រៅនៃការគិតបន្តិចបន្តួច បើធៀបនឹងការដាក់ឱ្យដំណើរការលើ server ពេញលេញ។
តើអ្នកណាគួរប្រើ Edge0-145B?
Edge0-145B មិនមែនសម្រាប់អ្នកទាំងអស់គ្នាទេ។ វាត្រូវបានផ្ដោតលើ៖
- អ្នកអភិវឌ្ឍន៍: អ្នកដែលត្រូវការជំនួយការសរសេរកូដឯកជន និងមានថាមពលខ្លាំង ដែលអាចដោះស្រាយ codebases ធំៗ ដោយមិនបញ្ជូនទិន្នន័យទៅ cloud។
- អ្នកជំនាញដែលយកចិត្តទុកដាក់លើឯកជនភាព: មេធាវី វេជ្ជបណ្ឌិត ឬអ្នកវិភាគហិរញ្ញវត្ថុ ដែលត្រូវការជំនួយពី AI ប៉ុន្តែមិនអាចប្រឈមនឹងហានិភ័យនៃការលេចធ្លាយទិន្នន័យបានទេ។
- អ្នកស្រឡាញ់ AI: អ្នកដែលមានឧបករណ៍កម្រិតខ្ពស់ និងចង់សាកល្បងលំហូរការងារ agentic ក្នុងតំបន់។
ប្រសិនបើអ្នកមាន GPU កម្រិតមធ្យម (8GB–12GB VRAM) អ្នកទំនងជាទទួលបានអត្ថប្រយោជន៍ល្អជាងពីគំរូតូចៗដូចជា Mistral 7B ឬ Llama 3.1 8B។ Edge0-145B គឺជាបទពិសោធន៍ក្នុងតំបន់កម្រិតខ្ពស់ ដែលទាមទារឧបករណ៍កម្រិតខ្ពស់ផងដែរ។
សេចក្ដីសន្និដ្ឋានចុងក្រោយ
Edge0-145B តំណាងឱ្យជាជំហានដ៏សំខាន់មួយក្នុងការធ្វើឱ្យ AI ក្លាយជាប្រយោជន៍សម្រាប់អ្នកប្រើប្រាស់ទូទៅ។ ដោយប្រើប្រាស់ស្ថាបត្យកម្ម sparse និងក្របខ័ណ្ឌសន្និដ្ឋាន (inference) ដែលមានប្រសិទ្ធភាព Edge0 បានធ្វើឱ្យវាអាចទៅរួចក្នុងការដំណើរការគំរូដែលមានប៉ារ៉ាម៉ែត្រ 145 ពាន់លាន លើ GPU កម្រិតខ្ពស់មួយ។ លទ្ធផលសម្រាប់ការវាស់វែងសមត្ថភាព—ការបង្កើត token បានលើសពី 80 ក្នុងមួយវិនាទី និងសមត្ថភាពសរសេរកូដដែលប្រៀបបាននឹងគំរូកម្រិតខ្ពស់—គឺគួរឱ្យចាប់អារម្មណ៍។
ទោះបីជាវានៅដំណាក់កាលដំបូង និងអ្នកប្រើប្រាស់គួរតែរំពឹងថានឹងមានបញ្ហាប្រឈមខ្លះក៏ដោយ ក៏សក្ដានុពលរបស់វាគឺមិនអាចបដិសេធបានដែរ។ សម្រាប់អ្នកដែលមានឧបករណ៍កុំព្យូទ័រគ្រប់គ្រាន់ គំរូ Edge0-145B ផ្ដល់ជូននូវជម្រើសដ៏គួរឱ្យចាប់អារម្មណ៍មួយជំនួសឱ្យការជាវសេវាកម្ម Cloud ដោយបញ្ចូលគ្នានូវភាពឯកជននៃការដំណើរការក្នុងម៉ាស៊ីនផ្ទាល់ខ្លួន និងបញ្ញាវិជ្ជាជីវៈនៃគំរូកម្រិតខ្ពស់។
ការវាយតម្លៃ៖ 4.5/5 – ការបញ្ចេញផ្សាយដ៏មានប្រសិទ្ធភាពខ្ពស់ដែលសម្រេចបានតាមការសន្យា លុះត្រាតែអ្នកមានឧបករណ៍កុំព្យូទ័រគ្រប់គ្រាន់ដើម្បីដំណើរការវា។
សំណួរដែលសួរញឹកញាប់
សំណួរ៖ តើខ្ញុំអាចដំណើរការ Edge0-145B លើ Mac បានទេ? ចម្លើយ៖ បច្ចុប្បន្ន ការគាំទ្រចម្បងគឺសម្រាប់ GPU NVIDIA លើ Linux និង Windows។ ការគាំទ្រ Mac (តាមរយៈ MLX ឬ Metal) កំពុងស្ថិតក្នុងដំណាក់កាលអភិវឌ្ឍន៍ ប៉ុន្តែអាចមិនទាន់គាំទ្រប៉ារ៉ាម៉ែត្រទាំងអស់ចំនួន 145B ដោយមានប្រសិទ្ធភាពនៅឡើយទេ។
សំណួរ៖ តើ Edge0-145B ឥតគិតថ្លៃទេ? ចម្លើយ៖ បាទ/ចាស ទម្ងន់គំរូ (model weights) និងកូដគឺជាប្រភពបើកចំហ (open-source) ក្រោមអាជ្ញាបណ្ណ Apache 2.0។ អ្នកគ្រាន់តែបង់ថ្លៃសម្រាប់ឧបករណ៍កុំព្យូទ័រ និងថាមពលអគ្គិសនីរបស់អ្នកប៉ុណ្ណោះ។
សំណួរ៖ តើខ្ញុំត្រូវការ VRAM ប៉ុន្មានពិតប្រាកដ? ចម្លើយ៖ គំរូរាយការណ៍ថាប្រើប្រាស់អនុស្សា (memory) កំពូលប្រហែល 29GB។ អ្នកត្រូវការ GPU យ៉ាងតិច 24GB (ដូចជា RTX 4090) ជាមួយនឹងការកំណត់ quantization ខ្លាំង ប៉ុន្តែកាត 48GB (RTX 6000 Ada) ត្រូវបានណែនាំសម្រាប់បទពិសោធន៍ដែលរលូនជាងមុន ជាមួយនឹងបរិបទ (context) វែង។
សំណួរ៖ តើខ្ញុំអាចទាញយកគំរូនៅឯណា?
ចម្លើយ៖ ទម្ងន់គំរូមាននៅលើ Hugging Face នៅ Edge0/Edge0-145B-q3k ហើយកូដមាននៅលើ GitHub នៅ Edge0-AI/edge0។
សំណួរ៖ តើវាដំណើរការដោយគ្មានអ៊ីនធឺណិតបានទេ? ចម្លើយ៖ បាទ/ចាស បន្ទាប់ពីទាញយកគំរូរួច វាដំណើរការទាំងស្រុងនៅក្នុងម៉ាស៊ីនផ្ទាល់ខ្លួន។ អ្នកមិនត្រូវការការតភ្ជាប់អ៊ីនធឺណិតសម្រាប់ការសន្និដ្ឋាន (inference) នោះទេ។
ការទស្សន៍ទាយភាគហ៊ុនដោយ AI — ការវិភាគទីផ្សារឆ្លាតវៃ
ការទស្សន៍ទាយទីផ្សារភាគហ៊ុន និងការវិភាគបច្ចេកទេសដោយប្រើ AI។ ទទួលបានការទស្សន៍ទាយប្រចាំថ្ងៃសម្រាប់ភាគហ៊ុន, ETFs និង crypto ជាមួយនឹងពិន្ទុទំនុកចិត្ត និងសន្ទស្សន៍ហានិភ័យ។
មើលការទស្សន៍ទាយថ្ងៃនេះកំពុងបង្កើត ឬធ្វើទីផ្សារឧបករណ៍ AI?
ចុះបញ្ជី ឬត្រូវបានវាយតម្លៃ ឬលេចធ្លោលើ AI Tools Hub — ការផ្សាយពាណិជ្ជកម្មរយៈពេល 12 ខែ ជាច្រើនភាសា។ ចាប់ពី $49។
ក្រុមការងារ AI Tools Hub
អ្នកវាយតម្លៃឧបករណ៍ AI ជំនាញ
ក្រុមការងាររបស់យើងដែលមានការស្រឡាញ់លើ AI និងអ្នកជំនាញបច្ចេកវិទ្យា ធ្វើតេស្ត និងវាយតម្លៃឧបករណ៍ AI រាប់រយ ដើម្បីជួយអ្នករកឃើញដំណោះស្រាយដ៏ល្អបំផុតសម្រាប់តម្រូវការរបស់អ្នក។ យើងផ្ដល់នូវការវិភាគស៊ីជម្រៅ និងស្មោះត្រង់ ដោយផ្អែកលើការប្រើប្រាស់ជាក់ស្ដែង។