ওপেনএআই-এর প্রধান স্যাম অল্টম্যান যখন প্রচার করছেন যে AGI একেবারে কোণার আশেপাশে, তখন নতুন রিপোর্টগুলি পরামর্শ দেয় যে LLM স্কেলিং একটি দেওয়ালে আঘাত করেছে৷ AI ক্ষেত্রে প্রধান দৃষ্টিভঙ্গি হল যে বিপুল পরিমাণ ডেটা এবং গণনা সংস্থানগুলির উপর বৃহত্তর মডেলগুলিকে প্রশিক্ষণ দিলে আরও বুদ্ধিমত্তা বাড়বে।
প্রকৃতপক্ষে, ওপেনএআই-এর প্রাক্তন প্রধান বিজ্ঞানী এবং সেফ সুপার ইন্টেলিজেন্স ইনক এর প্রতিষ্ঠাতা ইলিয়া সুটস্কেভার বুদ্ধিমত্তা আনলক করার পথ হিসাবে মডেলগুলিকে স্কেলিং করার জন্য একটি শক্তিশালী উকিল ছিলেন। সাড়া দিচ্ছে রয়টার্সSutskever এখন বলছেন, “প্রাক-প্রশিক্ষণকে স্কেল করার ফলাফল – একটি AI মডেলের প্রশিক্ষণের পর্যায় যা ভাষার ধরণ এবং কাঠামো বোঝার জন্য লেবেলবিহীন ডেটার একটি বিশাল পরিমাণ ব্যবহার করে – মালভূমিতে পরিণত হয়েছে”
একটি পরিবর্তনে, সাটস্কেভার বলেছেন যে সঠিক জিনিসগুলিকে স্কেলিং করা এখন গুরুত্বপূর্ণ: “2010 এর দশক ছিল স্কেলিং এর যুগ, এখন আমরা আবার বিস্ময় ও আবিষ্কারের যুগে ফিরে এসেছি। সবাই পরের জিনিস খুঁজছে। সঠিক জিনিস স্কেল করা এখন আগের চেয়ে বেশি গুরুত্বপূর্ণ”
এই কারণেই ওপেনএআই তার নতুন সিরিজের ’01’ রিজনিং মডেলগুলি ChatGPT-এ প্রকাশ করেছে যা অনুমানের সময় স্কেলে। এটি দেখা গেছে যে AI মডেলগুলিকে “চিন্তা” করার জন্য এবং তাদের প্রতিক্রিয়া পুনরায় মূল্যায়ন করার জন্য আরও সময় দেওয়া হলে, তারা আরও ভাল ফলাফল দেয়। তাই কোম্পানিগুলো এখন টেস্ট-টাইম কম্পিউটে বেশি মনোযোগ দিচ্ছে যার অর্থ অনুমানের সময় আরও রিসোর্স যোগ করা এবং তারপর একটি চূড়ান্ত প্রতিক্রিয়া তৈরি করা।
সম্প্রতি, তথ্য রিপোর্ট করেছে যে ওপেনএআই তার কৌশল পরিবর্তন করেছে কারণ তার পরবর্তী বড় “ওরিয়ন” মডেলটি প্রত্যাশিত হিসাবে ভাল ফলাফল দেয়নি। GPT-3.5 থেকে GPT-4-এ লাফটি বিশাল ছিল, কিন্তু আসন্ন মডেলের পরীক্ষাকারী ওপেনএআই কর্মচারীরা বলছেন যে GPT-4 থেকে ওরিয়নে উন্নতি সামান্য। কোডিং এর মত কাজগুলিতে, এটি পূর্ববর্তী GPT মডেলগুলিকে ছাড়িয়ে যায় না।
OpenAI এখন ChatGPT-এ মডেল পারফরম্যান্স উন্নত করার একটি নতুন উপায় হিসাবে অনুমান স্কেলিং এর উপর দৃষ্টি নিবদ্ধ করছে। ওপেনএআই-এর একজন গবেষক নোয়াম ব্রাউন বলেছেন যে অনুমান স্কেলিং মডেলের কার্যকারিতা উল্লেখযোগ্যভাবে উন্নত করে।
সম্প্রতি, তিনি টুইট“OpenAI এর o1 সেকেন্ডের জন্য চিন্তা করে, কিন্তু আমরা ভবিষ্যতের সংস্করণগুলিকে ঘন্টা, দিন, এমনকি সপ্তাহের জন্য চিন্তা করার লক্ষ্য রাখি। ইনফারেন্স খরচ বেশি হবে, কিন্তু একটি নতুন ক্যান্সারের ওষুধের জন্য আপনি কী খরচ করবেন? যুগান্তকারী ব্যাটারির জন্য? রিম্যান হাইপোথিসিসের প্রমাণের জন্য? AI চ্যাটবটের চেয়ে বেশি হতে পারে।”
গুগল এবং অ্যানথ্রপিক অনুরূপ স্কেলিং এর মাধ্যমে মডেল কর্মক্ষমতা উন্নত করার জন্য একই কৌশল নিয়ে কাজ করছে। যাইহোক, Google-এর একজন গবেষক François Chollet যুক্তি দেন যে একা এলএলএম স্কেল করা সাধারণ বুদ্ধিমত্তার দিকে পরিচালিত করবে না। ইয়ান লেকুন, মেটার প্রধান এআই বিজ্ঞানী, একইভাবে বলেছেন যে এলএলএম এজিআই অর্জনের জন্য যথেষ্ট নয়।
যেহেতু কোম্পানিগুলি বড় মডেলগুলিকে প্রশিক্ষণের জন্য ডেটা শেষ করে, তারা এলএলএম কর্মক্ষমতা উন্নত করার জন্য অভিনব কৌশলগুলি খুঁজছে। এখন AGI প্রকৃতপক্ষে কোণার কাছাকাছি আছে নাকি এটি কেবল প্রচারের বিষয় তা কেবল সময়ই বলে দেবে।
