গুগল দুই সপ্তাহ আগে জেমিনি মডেলের পরবর্তী প্রজন্ম, জেমিনি 1.5 প্রো, ঘোষণা করেছে এবং আমরা অবশেষে আজ সকালে উচ্চ-প্রত্যাশিত মডেলটিতে 1 মিলিয়ন টোকেন প্রসঙ্গ উইন্ডোতে অ্যাক্সেস পেয়েছি। তাই, আমি দিনের জন্য আমার সমস্ত কাজ বাদ দিয়েছি, আমার সম্পাদককে টেক্সট করেছি আমি নতুন জেমিনি মডেলটি পরীক্ষা করছি, এবং কাজ শুরু করেছি।
আমি জেমিনি 1.5 প্রো বনাম GPT-4 এবং জেমিনি 1.0 আল্ট্রার জন্য আমার তুলনা ফলাফলগুলি দেখানোর আগে, আসুন নতুন জেমিনি 1.5 প্রো মডেলের মূল বিষয়গুলি নিয়ে যাই।
জেমিনি 1.5 প্রো এআই মডেল কি?
জেমিনি 1.5 প্রো মডেলটি কয়েক মাস অপেক্ষার পরে Google এর স্থিতিশীল থেকে একটি অসাধারণ মাল্টিমডাল এলএলএম বলে মনে হচ্ছে। মিথুন 1.0 ফ্যামিলি মডেল তৈরি করা ঐতিহ্যবাহী ঘন মডেলের বিপরীতে, জেমিনি 1.5 প্রো মডেল একটি ব্যবহার করে বিশেষজ্ঞদের মিশ্রণ (MoE) স্থাপত্য
মজার ব্যাপার হল, MoE আর্কিটেকচার এছাড়াও OpenAI দ্বারা নিযুক্ত রাজত্বকারী রাজার উপর, GPT-4 মডেল।
তবে এটিই সব নয়, জেমিনি 1.5 প্রো এর একটি বিশাল প্রসঙ্গ দৈর্ঘ্য পরিচালনা করতে পারে 1 মিলিয়ন টোকেন, GPT-4 Turbo এর 128K এবং Claude 2.1 এর 200K টোকেন প্রসঙ্গ দৈর্ঘ্যের চেয়ে অনেক বেশি। Google 10 মিলিয়ন পর্যন্ত টোকেন সহ অভ্যন্তরীণভাবে মডেলটি পরীক্ষা করেছে এবং জেমিনি 1.5 প্রো মডেলটি হয়েছে প্রচুর পরিমাণে ডেটা গ্রহণ করতে সক্ষম মহান পুনরুদ্ধার ক্ষমতা প্রদর্শন.
গুগল আরও বলেছে যে জেমিনি 1.5 প্রো বৃহত্তম জেমিনি 1.0 আল্ট্রা মডেলের চেয়ে ছোট হওয়া সত্ত্বেও (জেমিনি অ্যাডভান্সডের মাধ্যমে উপলব্ধ), এটি একই স্তরে ব্যাপকভাবে সঞ্চালিত হয়. তাই সব লম্বা দাবি মূল্যায়ন, আমরা করব?
জেমিনি 1.5 প্রো বনাম জেমিনি 1.0 আল্ট্রা বনাম GPT-4 তুলনা৷
1. আপেল টেস্ট
আমার আগের জেমিনি 1.0 আল্ট্রা এবং GPT-4 তুলনাতে, Google স্ট্যান্ডার্ড Apple পরীক্ষায় OpenAI-এর কাছে হেরেছে, যা LLM-এর যৌক্তিক যুক্তি পরীক্ষা করে। তবে সদ্য প্রকাশিত জেমিনি 1.5 প্রো মডেল সঠিকভাবে উত্তর দেয় প্রশ্ন, মানে গুগল প্রকৃতপক্ষে জেমিনি 1.5 প্রো মডেলে উন্নত যুক্তি উন্নত করেছে।
গুগল খেলায় ফিরে এসেছে! এবং আগের মতই, GPT-4 একটি সঠিক উত্তর দিয়ে প্রতিক্রিয়া জানিয়েছে এবং Gemini 1.0 Ultra এখনও একটি ভুল প্রতিক্রিয়া দিয়েছে, বলছে আপনার কাছে 2টি আপেল বাকি আছে।
I have 3 apples today, yesterday I ate an apple. How many apples do I have now?
বিজয়ী: Gemini 1.5 Pro এবং GPT-4
2. তোয়ালে প্রশ্ন
জেমিনি 1.5 প্রো-এর উন্নত যুক্তি ক্ষমতা মূল্যায়ন করার জন্য অন্য একটি পরীক্ষায়, আমি জনপ্রিয় তোয়ালে প্রশ্ন জিজ্ঞাসা করেছি। দুঃখজনকভাবে, তিনটি মডেলই ভুল পেয়েছেGemini 1.5 Pro, Gemini 1.0 Ultra, এবং GPT-4 সহ।
এই AI মডেলগুলির কোনওটিই প্রশ্নের মূল ভিত্তি বুঝতে পারেনি এবং গণিত ব্যবহার করে গণিত উত্তরগুলি একটি ভুল উপসংহারে আসেনি। AI মডেলগুলি মানুষের মতো একই যুক্তি দিতে পারে তার আগে এটি এখনও দীর্ঘ পথ।
If it takes 1 hour to dry 15 towels under the Sun, how long will it take to dry 20 towels?
বিজয়ী: কোনটাই না
3. কোনটি ভারী
তারপরে আমি জেমিনি 1.5 প্রো এর জটিল যুক্তি ক্ষমতা পরীক্ষা করার জন্য ওজন মূল্যায়ন পরীক্ষার একটি পরিবর্তিত সংস্করণ চালিয়েছিলাম এবং এটি সফলভাবে পাস GPT-4 সহ। যাইহোক, Gemini 1.0 Ultra আবার পরীক্ষায় ব্যর্থ হয়েছে।
জেমিনি 1.5 প্রো এবং জিপিটি-4 উভয়ই সঠিকভাবে এককগুলিকে চিহ্নিত করেছে, ঘনত্বের দিকে নজর না দিয়ে, এবং বলেছে যে পালক সহ যে কোনও উপাদানের এক কিলোর ওজন সর্বদা এক পাউন্ড স্টিল বা যে কোনও কিছুর চেয়ে ভারী হবে। দারুণ কাজ গুগল!
What's heavier, a kilo of feathers or a pound of steel?
বিজয়ী: Gemini 1.5 Pro এবং GPT-4
প্রস্তাবিত প্রবন্ধ
Groq-এর সাথে দেখা করুন, একটি লাইটনিং ফাস্ট এআই অ্যাক্সিলারেটর যা চ্যাটজিপিটি এবং জেমিনিকে ছাড়িয়ে যায়
অর্জুন শা
22 ফেব্রুয়ারী, 2024
আপনি এখন অ্যান্ড্রয়েডে ডিফল্ট সহকারী হিসাবে কপিলট সেট করতে পারেন; এখানে কিভাবে
অংশুমান জৈন
ফেব্রুয়ারী 28, 2024
4. একটি গণিত সমস্যা সমাধান করুন
সৌজন্যে ম্যাক্সিম ল্যাবোনে, আমি জেমিনি 1.5 প্রো-এর গাণিতিক দক্ষতার মূল্যায়ন করার জন্য তার একটি গণিত প্রম্পট ধার করেছি এবং চালিয়েছি। এবং ভাল, Gemini 1.5 Pro পরীক্ষায় উত্তীর্ণ হয়েছে উড়ন্ত রং সঙ্গে.
আমি GPT-4 তেও একই পরীক্ষা চালিয়েছিলাম এবং এটি সঠিক উত্তর নিয়ে এসেছিল। কিন্তু আমরা ইতিমধ্যেই জানতাম GPT বেশ সক্ষম। যাইহোক, আমি স্পষ্টভাবে GPT-4 কে গাণিতিক গণনার জন্য কোড ইন্টারপ্রেটার প্লাগইন ব্যবহার এড়াতে বলেছি। এবং আশ্চর্যজনকভাবে, জেমিনি 1.0 আল্ট্রা পরীক্ষায় ব্যর্থ হয়েছে এবং একটি ভুল আউটপুট দিয়েছে। আমি বলতে চাচ্ছি, কেন আমি এই পরীক্ষায় আল্ট্রা অন্তর্ভুক্ত করছি? (দীর্ঘশ্বাস ফেলে পরবর্তী প্রম্পটে চলে যায়)
If x and y are the tens digit and the units digit, respectively, of the product 725,278 * 67,066, what is the value of x + y. Can you explain the easiest solution without calculating the whole number?
বিজয়ী: Gemini 1.5 Pro এবং GPT-4
5. ব্যবহারকারীর নির্দেশাবলী অনুসরণ করুন
এরপরে, আমরা অন্য একটি পরীক্ষায় চলে এসেছি যেখানে আমরা মূল্যায়ন করেছি যে Gemini 1.5 Pro সঠিকভাবে ব্যবহারকারীর নির্দেশাবলী অনুসরণ করতে পারে কিনা। আমরা এটিকে 10টি বাক্য তৈরি করতে বলেছি যা “আপেল” শব্দ দিয়ে শেষ হয়।
Gemini 1.5 Pro এই পরীক্ষায় ব্যর্থ হয়েছে দুর্ভাগ্যবশত, শুধুমাত্র তিনটি এই ধরনের বাক্য তৈরি করা হয়েছে যেখানে GPT-4 এই ধরনের নয়টি বাক্য তৈরি করেছে। জেমিনি 1.0 আল্ট্রা শুধুমাত্র “আপেল” শব্দের সাথে শেষ দুটি বাক্য তৈরি করতে পারে।
generate 10 sentences that end with the word "apple"
বিজয়ী: GPT-4
6. একটি খড়ের গাদা (NIAH) পরীক্ষায় সুই
জেমিনি 1.5 প্রো-এর হেডলাইন বৈশিষ্ট্য হল যে এটি একটি পরিচালনা করতে পারে বিশাল প্রসঙ্গ দৈর্ঘ্য 1 মিলিয়ন টোকেন. গুগল ইতিমধ্যেই করেছে ব্যাপক পরীক্ষা NIAH-এ এবং এটি অবিশ্বাস্য নির্ভুলতার সাথে 99% পুনরুদ্ধার পেয়েছে। তাই স্বাভাবিকভাবেই, আমিও একই রকম পরীক্ষা করেছি।
আমি দীর্ঘতম উইকিপিডিয়া নিবন্ধগুলির মধ্যে একটি নিয়েছি (পেটেনের স্প্যানিশ বিজয়), যার প্রায় 100,000 অক্ষর রয়েছে এবং এটি প্রায় ব্যবহার করে 24,000 টোকেন. আমি টেক্সটের মাঝখানে একটি সুই (একটি এলোমেলো বিবৃতি) ঢোকালাম যাতে এআই মডেলের জন্য বিবৃতিটি পুনরুদ্ধার করা কঠিন হয়।
গবেষকরা দেখিয়েছে যে এআই মডেল খারাপ সঞ্চালন একটি দীর্ঘ প্রসঙ্গ উইন্ডোতে যদি সুইটি মাঝখানে ঢোকানো হয়।
মিথুন 1.5 প্রো এর পেশী বাঁকিয়েছে এবং সঠিকভাবে প্রশ্নের উত্তর দিয়েছেন মহান নির্ভুলতা এবং প্রসঙ্গ সঙ্গে. যাইহোক, GPT-4 বড় টেক্সট উইন্ডো থেকে সুই খুঁজে পায়নি। এবং ভাল, জেমিনি 1.0 আল্ট্রা, যা জেমিনি অ্যাডভান্সডের মাধ্যমে উপলব্ধ, বর্তমানে প্রায় 8K টোকেনের একটি প্রসঙ্গ উইন্ডো সমর্থন করে, যা 32K-প্রসঙ্গ দৈর্ঘ্যের বাজারজাত দাবির চেয়ে অনেক কম। তবুও, আমরা এখনও 8K টোকেন দিয়ে পরীক্ষা চালিয়েছি, Gemini 1.0 Ultra পাঠ্য বিবৃতি খুঁজে পেতে ব্যর্থ হয়েছে।
তাই হ্যাঁ, দীর্ঘ প্রসঙ্গ পুনরুদ্ধারের জন্য, জেমিনি 1.5 প্রো মডেলটি রাজত্বকারী রাজাএবং Google সেখানে সমস্ত AI মডেলকে ছাড়িয়ে গেছে।
বিজয়ী: Gemini 1.5 Pro
7. মাল্টিমোডাল ভিডিও টেস্ট
যদিও GPT-4 একটি মাল্টিমডাল মডেল, এটি এখনও ভিডিওগুলি প্রক্রিয়া করতে পারে না৷ জেমিনি 1.0 আল্ট্রা একটি মাল্টিমডাল মডেলও, তবে গুগল এখনও মডেলটির জন্য বৈশিষ্ট্যটি আনলক করেনি। সুতরাং, আপনি Gemini Advanced-এ একটি ভিডিও আপলোড করতে পারবেন না।
এটি বলেছিল, জেমিনি 1.5 প্রো, যা আমি গুগল এআই স্টুডিওর মাধ্যমে অ্যাক্সেস করছি (পরিদর্শন), আপনাকে বিভিন্ন ফাইল, ছবি, এমনকি বিভিন্ন ফাইলের ধরন সমন্বিত ফোল্ডার ছাড়াও ভিডিও আপলোড করতে দেয়। তাই আমি একটি 5 মিনিটের বিবম ভিডিও (1080p, 65MB) আপলোড করেছি OnePlus Watch 2 পর্যালোচনাযা অবশ্যই প্রশিক্ষণের তথ্যের অংশ নয়।
মডেলটি ভিডিওটি প্রক্রিয়া করতে এক মিনিট সময় নিয়েছে এবং 1,048,576 টোকেনের মধ্যে প্রায় 75,000 টোকেন (10% এর কম) ব্যবহার করেছে।
এখন, আমি জেমিনি 1.5 প্রো-এ প্রশ্ন ছুঁড়ে দিয়েছি এবং ভিডিওটি কী নিয়ে শুরু হয়েছে। আমি এটিকে ঘড়ির সমস্ত মূল বৈশিষ্ট্যগুলি প্রদর্শন করতে বলেছি। প্রতিটি প্রশ্নের উত্তর দিতে প্রায় 20 সেকেন্ড সময় লেগেছে। এবং উত্তর স্পট অন ছিল হ্যালুসিনেশনের কোনো চিহ্ন ছাড়াই। এরপরে, আমি জিজ্ঞাসা করলাম পর্যালোচক কোথায় বসে আছেন, এবং এটি একটি বিশদ উত্তর দিয়েছে। এর পরে, আমি জিজ্ঞাসা করলাম ঘড়ির ব্যান্ডের রঙ কী এবং এটি বলেছিল: “সবুজ”। সাবাশ!
অবশেষে, আমি জেমিনি প্রোকে ভিডিওটির একটি প্রতিলিপি তৈরি করতে বলেছিলাম এবং মডেলটি এক মিনিটের মধ্যে সঠিকভাবে প্রতিলিপি তৈরি করে। আমি জেমিনি 1.5 প্রো এর মাল্টিমোডাল ক্ষমতা দেখে বিস্মিত। এটি সফলভাবে করতে সক্ষম হয়েছিল ভিডিওর প্রতিটি ফ্রেম বিশ্লেষণ করুন এবং বুদ্ধিমানের সাথে অর্থ অনুমান করুন।
এটি জেমিনি 1.5 প্রোকে একটি শক্তিশালী মাল্টিমোডাল মডেল করে, যা আমরা এখন পর্যন্ত যা দেখেছি তা ছাড়িয়ে গেছে। সাইমন উইলিসন যেমন তার মধ্যে রাখে ব্লগভিডিও হল Gemini 1.5 Pro এর হত্যাকারী অ্যাপ।
বিজয়ী: Gemini 1.5 Pro
8. মাল্টিমডাল ইমেজ টেস্ট
আমার চূড়ান্ত পরীক্ষায়, আমি জেমিনি 1.5 প্রো মডেলের দৃষ্টি ক্ষমতা পরীক্ষা করেছি। আমি আপলোড করেছি Google এর ডেমো থেকে একটি স্টিল (ভিডিও), যা জেমিনি 1.0 লঞ্চের সময় উপস্থাপিত হয়েছিল। আমার পূর্ববর্তী পরীক্ষায়, Gemini 1.0 Ultra চিত্র বিশ্লেষণ পরীক্ষায় ব্যর্থ হয়েছে কারণ Google এখনও Gemini Advanced-এ আল্ট্রা মডেলের জন্য মাল্টিমডাল বৈশিষ্ট্য সক্ষম করতে পারেনি।
তবুও, জেমিনি 1.5 প্রো মডেলটি দ্রুত একটি প্রতিক্রিয়া তৈরি করেছে এবং সিনেমার নামটি সঠিকভাবে উত্তর দিয়েছে, “প্রাতঃরাশ ক্লাব” GPT-4 একটি সঠিক প্রতিক্রিয়াও দিয়েছে। এবং জেমিনি 1.0 আল্ট্রা ইমেজটি মোটেও প্রক্রিয়া করতে পারেনি, ইমেজটির উদ্ধৃতি দিয়ে মানুষের মুখ রয়েছে, যা অদ্ভুতভাবে ঘটনা ছিল না।
বিজয়ী: Gemini 1.5 Pro এবং GPT-4
বিশেষজ্ঞের মতামত: গুগল অবশেষে জেমিনি 1.5 প্রো দিয়ে সরবরাহ করে
সারাদিন জেমিনি 1.5 প্রো এর সাথে খেলার পরে, আমি এটি বলতে পারি গুগল অবশেষে বিতরণ করেছে. অনুসন্ধান জায়ান্ট MoE আর্কিটেকচারে একটি অত্যন্ত শক্তিশালী মাল্টিমোডাল মডেল তৈরি করেছে যা OpenAI-এর GPT-4 মডেলের সমতুল্য।
এটা কমনসেন্স যুক্তিতে excels এবং হয় বেশ কিছু ক্ষেত্রে GPT-4 এর থেকেও ভালো, সহ দীর্ঘ-প্রসঙ্গ পুনরুদ্ধার, মাল্টিমোডাল ক্ষমতা, ভিডিও প্রক্রিয়াকরণ, এবং বিভিন্ন ফাইল ফরম্যাটের জন্য সমর্থন। ভুলে যাবেন না যে আমরা মধ্য-আকারের জেমিনি 1.5 প্রো মডেলের কথা বলছি। ভবিষ্যতে যখন জেমিনি 1.5 আল্ট্রা মডেল কমে যাবে, তখন এটি আরও বেশি চিত্তাকর্ষক হবে৷
অবশ্যই, জেমিনি 1.5 প্রো এখনও পূর্বরূপ এবং বর্তমানে শুধুমাত্র মডেল পরীক্ষা এবং মূল্যায়ন করার জন্য বিকাশকারী এবং গবেষকদের কাছে উপলব্ধ। জেমিনি অ্যাডভান্সডের মাধ্যমে একটি বৃহত্তর পাবলিক রোলআউটের আগে, Google অতিরিক্ত রেললাইন যুক্ত করতে পারে যা মডেলটির কার্যকারিতা নষ্ট করতে পারে, তবে আমি আশা করছি এবার এটি হবে না।
এছাড়াও, মনে রাখবেন, যখন 1.5 প্রো মডেল সর্বজনীন হয়, ব্যবহারকারীরা 1 মিলিয়ন টোকেনের একটি বিশাল প্রসঙ্গ উইন্ডো পাবেন না। গুগল বলেছে যে মডেলটি একটি সাথে আসে স্ট্যান্ডার্ড 128,000 টোকেন প্রসঙ্গ দৈর্ঘ্য যা এখনও বিশাল। বিকাশকারীরা, অবশ্যই, শেষ-ব্যবহারকারীদের জন্য অনন্য পণ্য তৈরি করতে 1 মিলিয়ন প্রসঙ্গ উইন্ডোর সুবিধা নিতে পারে।
মিথুন ঘোষণার পর, গুগলও একটি প্রকাশ করেছে লাইটওয়েট জেমা মডেলের পরিবার একটি ওপেন সোর্স লাইসেন্সের অধীনে। অতি সম্প্রতি, কোম্পানিটি জেমিনীর এআই ইমেজ জেনারেশন ফিয়াস্কোকে ঘিরে একটি বিতর্কে জড়িয়ে পড়েছিল, তাই এটিকেও পড়ুন।
এখন, জেমিনি 1.5 প্রো-এর পারফরম্যান্স সম্পর্কে আপনি কী মনে করেন? আপনি কি উচ্ছ্বসিত যে গুগল অবশেষে এআই রেসে ফিরে এসেছে এবং OpenAI কে চ্যালেঞ্জ করার জন্য প্রস্তুত, যেটি সম্প্রতি সোরা ঘোষণা করেছে, তার AI টেক্সট-টু-ভিডিও জেনারেশন মডেল? নীচের মন্তব্য বিভাগে আপনার মতামত আমাদের জানান।
