Technology Khabar ६ पुष २०८१, शनिबार
काठमाडौं ।
एप्पल इन्जिनियरहरूले लार्ज ल्याङ्गवेज मोडेलहरूसँग फास्टर टेक्स्ट जेनेरेसन पर्फमेन्स (छिटो पाठ उत्पादन कार्यसम्पादन) कार्यान्वयन गर्न एनभिडियासँगको सहकार्य बारेमा बुधबारको एक ब्लग पोस्टमा नयाँ विवरणहरू साझा गरेका छन्।
एप्पलले यस वर्षको सुरुमा आफ्नो रिकरेन्ट ड्राफ्टर (रिड्राफ्टर) प्रविधिलाई प्रकाशित र खुला स्रोत गरेको थियो। यसले एलएलएमसँग टेक्स्ट उत्पन्न गर्ने नयाँ विधिलाई प्रतिनिधित्व गर्दछ जुन उल्लेखनीय रूपमा छिटो र “आर्ट पर्फमेन्स को स्टेट (कला प्रदर्शन को स्थिति) प्राप्त गर्दछ” भनी उल्लेख गरिएको छ।
यसले दुई प्रविधिहरूः बीम सर्च (बहु सम्भावनाहरू अन्वेषण गर्न) र डाइनामिक ट्रि एटेन्सन (छनौटहरू कुशलतापूर्वक ह्यान्डल गर्न) संयोजन गर्दछ।
यसको अनुसन्धानले बलियो नतिजाहरू देखाउँदा, एप्पलले प्रोडक्सन (उत्पादन) मा रिड्राफ्टर लागू गर्न एनभिडिया सँग सहकार्य गरेको छ। यस सहकार्यको भागको रूपमा, रिड्राफ्टरलाई एनभिडिया टेन्सरआरटी–एलएलएममा समावेश गरिएको र यो टुलले एनभिडिया जीपीयूहरूमा एलएलएमकहरूलाई छिटो रन गर्न मद्दत गर्नेछ।
परिणाम
रिड्राफ्टरको इन्टिग्रेसन सक्षम गर्न, एनभिडियाले नयाँ अपरेटरहरू थपेको वा अवस्थितहरूलाई एक्सपोज गरेको बताइएको छ जसले टेन्सरआरटी–एलएलएमको परिष्कृत मोडेलहरू र डिकोडिङ विधिहरू समायोजन गर्ने क्षमतामा उल्लेखनीय सुधार ल्याएको उल्लेख छ।
एनभिडिया जीपीयूहरू प्रयोग गर्ने एमएल विकासकर्ताहरूले अब सजिलैसँग तिनीहरूको टेन्सरआरटी–एलएलएम को साथ एलएलएम एप्लिकेसन्सको उत्पादनको लागि रिड्राफ्टरको एक्सेलेरेटेड टोकन जेनरेशनबाट फाइदा लिन सक्नेछन्।
एनभिडिया जीपीयूहरू मा दसौं–अरब प्यारामिटर प्रोडक्ट (उत्पादन) मोडेलको बेन्चमार्किङमा, रिड्राफ्टरसँग एनभिडिया टेन्सरआरटी–एलएलएम इन्फेरेसन एक्सेलेरेशन फ्रेमवर्क प्रयोग गरेर डिकोडिङको लागि प्रति सेकेन्ड उत्पन्न टोकनहरूमा २.७× स्पीड–अप देखेको उल्लेख गरिएको छ।
यी बेन्चमार्क परिणामहरूले कम जीपीयूहरू प्रयोग गरेर र कम पावर खपत गर्दा यो प्रविधिले प्रयोगकर्ताहरूले अनुभव गर्न सक्ने लेटेन्सि (विलम्बता) उल्लेखनीय रूपमा कम गर्न सक्ने संकेत गरेको उल्लेख छ।
“एलएलएमहरू पावर प्रोडक्सन एप्लिकेसनहरूमा बढ्दो रूपमा प्रयोग भइरहेका छन्, र इन्फेरेसन इफिसियन्सी (अनुमान दक्षता) सुधार गर्नाले कम्प्युटेशनल लागतहरूमा प्रभाव पार्न सक्ने र प्रयोगकर्ताहरूको लागि लेटेन्सि विलम्बता घटाउन सक्नेछ” भनी एप्पलका मेसिन लर्निङ अनुसन्धानकर्ताहरूले उल्लेख गरेका छन्।
“एनभिडिया टेन्सरआरटी–एलएलएम फ्रेमवर्कमा स्पेकुलेटिभ डिकोडिङ एकीकृतको रिड्राफ्टरको नयाँ तवरको साथ, विकासकर्ताहरूले अब उनीहरूको प्रोडक्सन एलएलएम एप्लिकेसनहरूको लागि एनभिडिया जीपीयूहरूमा तिव्र टोकन जेनेरेसनबाट लाभ उठाउन सक्ने” ९टु५म्याकले उल्लेख गरेको छ।
प्रकाशित: ६ पुष २०८१, शनिबार
