ٹیکنالوجی کے دیو کی جانب سے تعلیمی شاہکار
مصنوعی ذہانت کی دنیا میں ایک انقلابی پیش رفت سامنے آئی ہے۔ معروف اے آئی ماہر اینڈریج کارپیتھی نے اعلان کیا ہے کہ انہوں نے محض 243 سطروں پر مشتمل خالص پائتھن کوڈ میں ایک جی پی ٹی طرز کا ماڈل تیار کر لیا ہے۔ یہ تعلیمی تجربہ جدید ترین مصنوعی ذہانت کے پیچیدہ ترین نظاموں کے مرکزی میکانکس کو انتہائی سادہ انداز میں پیش کرتا ہے۔
اربوں پیرامیٹرز کا راز صرف 4,000 میں
اینڈریج کارپیتھی، جو اوپن اے آئی اور ٹیسلا جیسی کمپنیوں میں اہم کردار ادا کر چکے ہیں، نے ثابت کیا ہے کہ جدید ترین ٹرانسفارمر آرکیٹیکچر کو انتہائی مختصر کوڈ میں سمایا جا سکتا ہے۔ ان کے اسکرپٹ میں صرف 4,000 پیرامیٹرز ہیں، جو صنعتی پیمانے کے اربوں پیرامیٹرز والے ماڈلز کے مقابلے میں انتہائی معمولی ہے۔
جدید لائبریریوں کے بغیر مکمل تربیتی نظام
کارپیتھی نے پائٹارچ یا ٹینسر فلو جیسی جدید لائبریریوں کے بغیر، مکمل تربیتی نظام کو ہاتھ سے کوڈ کیا ہے۔ ان کا ماڈل names.txt فائل میں موجود تقریباً 32,000 ناموں سے سیکھتا ہے اور ہر نام کے حروف کو نمبروں میں تبدیل کر کے کام کرتا ہے۔
سیلف اٹینشن میکانزم کی ہاتھوں سے تعمیر
ماڈل کا دل ‘سیلف اٹینشن’ میکانزم ہے، جو 2017 میں گوگل نے متعارف کرایا تھا۔ یہ نظام ہر حروف کو پچھلے حروف پر توجہ مرکوز کرنے کی صلاحیت دیتا ہے۔ کارپیتھی نے Scaled Dot-Product Attention فارمولا کو ہاتھ سے نافذ کیا، جس میں Queries، Keys اور Values میٹرکس شامل ہیں۔
غلطیوں سے سیکھنے کا انوکھا نظام
جب ماڈل غلط پیشگوئی کرتا ہے، تو loss ویلیو کا حساب لگایا جاتا ہے۔ کارپیتھی نے اپنا ہلکا پھلکا autograd انجن تیار کیا جو ہر ریاضیاتی عمل کو ریکارڈ کرتا ہے اور غلطی کو درست کرنے کے لیے gradients کا حساب لگاتا ہے۔ اس کے بعد Adam آپٹیمائزر پیرامیٹرز کو اپ ڈیٹ کرتا ہے۔
حقیقی ناموں جیسے نئے نام تخلیق کرنے کی صلاحیت
چند منٹ کی تربیت کے بعد، یہ 243 سطروں والا اسکرپٹ ایسے نئے نام تخلیق کرنے لگتا ہے جو پہلے کبھی نہیں دیکھے گئے، لیکن حقیقی ناموں جیسے ہی لگتے ہیں۔ ماڈل الفاظ کے معنی نہیں سمجھتا، بلکہ صرف اگلے حرف کی پیشگوئی کرنا سیکھتا ہے۔
جدید مصنوعی ذہانت کی بنیادی حقیقت
اینڈریج کارپیتھی کا یہ منصوبہ ثابت کرتا ہے کہ جدید ترین جی پی ٹی ماڈلز کی بنیاد چند ریاضیاتی فارمولوں اور بنیادی آپریشنز پر قائم ہے۔ یہ تجربہ مصنوعی ذہانت کی پیچیدگی کے پردے ہٹاتا ہے اور طلباء و محققین کے لیے ایک قیمتی تعلیمی وسائل ثابت ہو سکتا ہے۔
