Bengali
AMD তাদের MLPerf Inference v6.0 বেঞ্চমার্ক ফলাফল ঘোষণা করেছে, যেখানে Instinct MI355X GPU-কে একটি অত্যন্ত স্কেলযোগ্য ইনফারেন্স প্ল্যাটফর্ম হিসেবে উপস্থাপন করা হয়েছে যা সিঙ্গেল-নোড, মাল্টিনোড এবং হেটেরোজেনাস ডিপ্লয়মেন্ট সমর্থন করতে সক্ষম। শুধুমাত্র পারফরম্যান্সের উন্নতি নয়, এই সাবমিশনে নতুন ওয়ার্কলোড যুক্ত করা হয়েছে, যা প্রতি সেকেন্ডে ১ মিলিয়ন টোকেনের বেশি ক্লাস্টার-স্কেল থ্রুপুট প্রদর্শন করে এবং একটি বিস্তৃত পার্টনার ইকোসিস্টেম জুড়ে ধারাবাহিক পারফরম্যান্স পুনরুৎপাদনযোগ্যতা যাচাই করে।
CDNA 4 আর্কিটেকচার উচ্চ-ক্ষমতার ইনফারেন্সের লক্ষ্য নির্ধারণ করে
Instinct MI355X AMD-এর CDNA 4 আর্কিটেকচারের উপর ভিত্তি করে তৈরি, যা TSMC ডুয়াল-প্রসেস চিপলেট ডিজাইন ব্যবহার করে: কম্পিউট ডাই (XCDs) 3nm নোড ব্যবহার করে, যখন I/O ডাই 6nm FinFET প্রযুক্তি ব্যবহার করে। মাল্টি-চিপলেট প্যাকেজে 185 বিলিয়ন ট্রানজিস্টর একত্রিত করা হয়েছে এবং এটি FP4 ও FP8 ডেটা ফরম্যাট সমর্থন করে—যা বৃহৎ মডেলের দক্ষ ইনফারেন্সের জন্য অত্যন্ত গুরুত্বপূর্ণ। প্রতিটি GPU 288GB পর্যন্ত HBM3E মেমরি (8 TB/sec মেমরি ব্যান্ডউইথ সরবরাহ করে) দিয়ে সজ্জিত, যা একটি একক ডিভাইসে 520 বিলিয়ন প্যারামিটার পর্যন্ত মডেল সমর্থন করতে সক্ষম করে। AMD জোর দিয়ে বলে যে কম্পিউট ডেনসিটি এবং মেমরি ক্যাপাসিটির এই সমন্বয় অতিরিক্ত মডেল পার্টিশনিংয়ের প্রয়োজনীয়তা দূর করে, যা বৃহৎ-স্কেল ইনফারেন্স ওয়ার্কলোডের জন্য একটি মূল সুবিধা।
UBB8 কনফিগারেশনে উপলব্ধ, প্ল্যাটফর্মটি এয়ার-কুলড এবং ডাইরেক্ট লিকুইড-কুলড উভয় বিকল্প সরবরাহ করে, যা বিভিন্ন ডেটা সেন্টার ডিপ্লয়মেন্টের প্রয়োজনীয়তার সাথে সামঞ্জস্যপূর্ণ। উল্লেখযোগ্যভাবে, MI355X-এ লিকুইড কুলিং সহ 1400W TBP (থার্মাল ডিজাইন পাওয়ার) রয়েছে, যা এর এয়ার-কুলড প্রতিরূপ, MI350X-এর চেয়ে উচ্চতর পারফরম্যান্স সরবরাহ করে।
মাল্টিনোড থ্রুপুট প্রতি সেকেন্ডে ১ মিলিয়ন টোকেন ছাড়িয়ে গেছে
MLPerf v6.0 রাউন্ডের একটি উল্লেখযোগ্য অর্জন হল AMD-এর ক্লাস্টার-স্কেল থ্রুপুট প্রতি সেকেন্ডে ১ মিলিয়ন টোকেন ছাড়িয়ে যাওয়া। Instinct MI355X GPU ব্যবহার করে, AMD সার্ভার এবং অফলাইন উভয় পরিস্থিতিতে Llama 2 70B-এর সাথে এই মাইলফলক অর্জন করেছে, পাশাপাশি অফলাইন মোডে GPT-OSS-120B-এর সাথেও এটি অর্জন করেছে।
AMD MLPerf প্রতি সেকেন্ডে ১ মিলিয়ন টোকেন গ্রাফিক
এই ফলাফলগুলি একটি একক অ্যাক্সিলারেটরের পরিবর্তে ক্লাস্টার স্তরে ইনফারেন্স পারফরম্যান্স মূল্যায়নের দিকে ক্রমবর্ধমান শিল্প প্রবণতাকে প্রতিফলিত করে। বৃহৎ-স্কেল AI ডিপ্লয়মেন্টে প্রোডাকশন রেডিডনেস নির্ধারণের জন্য অ্যাগ্রিগেট থ্রুপুট এবং টাইম-টু-সার্ভ প্রধান মেট্রিক হয়ে উঠেছে।
AMD ব্যতিক্রমী স্কেলিং দক্ষতাও প্রদর্শন করেছে। Llama 2 70B-এর জন্য, একটি 11-নোড, 87-GPU কনফিগারেশন অফলাইন, সার্ভার এবং ইন্টারেক্টিভ পরিস্থিতিতে প্রতি সেকেন্ডে ১ মিলিয়ন টোকেনের বেশি অর্জন করেছে, যেখানে স্কেল-আউট দক্ষতা 93% থেকে 98% পর্যন্ত ছিল। GPT-OSS-120B-এর জন্য, একটি 12-নোড, 94-GPU ক্লাস্টার 90% এর বেশি স্কেলিং দক্ষতা সহ অনুরূপ থ্রুপুট সরবরাহ করেছে—যা প্রমাণ করে যে ডিপ্লয়মেন্ট একটি একক সিস্টেমের বাইরে প্রসারিত হওয়ার সাথে সাথে পারফরম্যান্স কার্যকরভাবে অনুবাদ হয়।
প্রজন্মগত লাভ এবং প্রতিযোগিতামূলক সিঙ্গেল-নোড পারফরম্যান্স
AMD উল্লেখযোগ্য প্রজন্মগত উন্নতির কথা জানিয়েছে, যেখানে Instinct MI355X পূর্ববর্তী প্রজন্মের Instinct MI325X-এর তুলনায় Llama 2 70B সার্ভারে 3.1 গুণ বেশি পারফরম্যান্স সরবরাহ করেছে, যা 100,282 টোকেন প্রতি সেকেন্ডে পৌঁছেছে। এই উন্নতি CDNA 4 আর্কিটেকচারাল উন্নতি এবং ROCm সফ্টওয়্যার অপ্টিমাইজেশান উভয় থেকেই উদ্ভূত হয়েছে। অফলাইন স্কোর 4.4 গুণ এবং সার্ভার স্কোর 4.8 গুণ উন্নত হয়েছে পূর্ববর্তী MLPerf রাউন্ডের তুলনায়, যা প্রধানত FP4 কোয়ান্টাইজেশনের কারণে হয়েছে—MI355X-এর একটি মূল বৈশিষ্ট্য যা AI ওয়ার্কলোডের জন্য উচ্চতর থ্রুপুট আনলক করে।
AMD ইনফারেন্স ফলাফল বনাম পূর্ববর্তী প্রজন্মের গ্রাফিক
NVIDIA প্ল্যাটফর্মের সাথে সিঙ্গেল-নোড তুলনাতে, MI355X শক্তিশালী প্রতিদ্বন্দ্বিতা প্রদর্শন করেছে। Llama 2 70B-তে, এটি অফলাইন থ্রুপুটে NVIDIA B200-এর সাথে মিলেছে, সার্ভার পারফরম্যান্সে প্রায় সমতা অর্জন করেছে এবং ইন্টারেক্টিভ মোডে এটিকে ছাড়িয়ে গেছে। NVIDIA B300-এর তুলনায়, MI355X অফলাইন পারফরম্যান্সের 92%, সার্ভার পারফরম্যান্সের 93% সরবরাহ করেছে এবং ইন্টারেক্টিভ মোডে 4% বেশি পারফর্ম করেছে। উল্লেখযোগ্যভাবে, MI355X উন্নত খরচ-দক্ষতাও সরবরাহ করে, NVIDIA B200-এর তুলনায় প্রতি ডলারে 40% বেশি টোকেন সরবরাহ করে।
প্রথমবারের মতো মডেল সক্ষমতা কভারেজ প্রসারিত করে
MLPerf Inference v6.0 বেশ কয়েকটি নতুন ওয়ার্কলোড চালু করেছে, এবং AMD এই রাউন্ডটি দ্রুত মডেল সক্ষমতা প্রদর্শনের জন্য ব্যবহার করেছে। GPT-OSS-120B, একটি মিক্সচার-অফ-এক্সপার্টস মডেল, MI355X-এর সাথে MLPerf-এ আত্মপ্রকাশ করেছে, যা অফলাইন এবং সার্ভার উভয় পরিস্থিতিতে NVIDIA সিস্টেমের বিরুদ্ধে প্রতিযোগিতামূলক ফলাফল অর্জন করেছে।
AMD Wan-2.2 টেক্সট-টু-ভিডিও জেনারেশনের জন্যও ফলাফল জমা দিয়েছে, যা মাল্টিমোডাল এবং জেনারেটিভ ভিডিও ইনফারেন্সে এর প্রবেশ চিহ্নিত করে। যদিও অফিসিয়াল সাবমিশন সিঙ্গেল স্ট্রিম ল্যাটেন্সির উপর দৃষ্টি নিবদ্ধ ছিল, ফলাফলগুলি বিদ্যমান প্ল্যাটফর্মগুলির সাথে সামঞ্জস্যপূর্ণ ছিল। পোস্ট-সাবমিশন টিউনিং পারফরম্যান্সকে আরও উন্নত করেছে, যা সফ্টওয়্যার স্ট্যাক পরিপক্ক হওয়ার সাথে সাথে অপ্টিমাইজেশনের সুযোগ তুলে ধরে।
এই সংযোজনগুলি AMD-এর ঐতিহ্যবাহী LLM বেঞ্চমার্কের বাইরে গিয়ে বিভিন্ন ব্যবহারের ক্ষেত্রে উদীয়মান AI ওয়ার্কলোডগুলিকে সমর্থন করার প্রতিশ্রুতিকে তুলে ধরে।
ROCm সফ্টওয়্যার স্কেলিং এবং হেটেরোজেনাস ইনফারেন্স সক্ষম করে
AMD MI355X-এর পারফরম্যান্স এবং স্কেলেবিলিটির বেশিরভাগ কৃতিত্ব এর ROCm সফ্টওয়্যার স্ট্যাককে দেয়। মূল উন্নতিগুলির মধ্যে রয়েছে অপ্টিমাইজড FP4 এক্সিকিউশন, ডিস্ট্রিবিউটেড ইনফারেন্সের জন্য উন্নত GPU-টু-GPU যোগাযোগ, এবং হেটেরোজেনাস পরিবেশ জুড়ে ডাইনামিক ওয়ার্কলোড বিতরণের জন্য সমর্থন—যা মিশ্র-GPU ডিপ্লয়মেন্টের জন্য অত্যন্ত গুরুত্বপূর্ণ।
AMD MLPerf ইনফারেন্স ফলাফল Instinct MI355X গ্রাফিক
একটি মাইলফলক হেটেরোজেনাস সাবমিশন—যা Dell এবং MangoBoost দ্বারা তৈরি—তিনটি AMD Instinct GPU মডেল ব্যবহার করেছে: MI300X, MI325X, এবং MI355X। এই কনফিগারেশন Llama 2 70B সার্ভারে 141,521 টোকেন প্রতি সেকেন্ড এবং Llama 2 70B অফলাইনে 151,843 টোকেন প্রতি সেকেন্ড অর্জন করেছে। উল্লেখযোগ্যভাবে, MI355X প্ল্যাটফর্মটি Dell-এর মার্কিন যুক্তরাষ্ট্রের ল্যাবে অবস্থিত ছিল, যখন MI300X এবং MI325X সিস্টেমগুলি কোরিয়াতে ছিল—যা ভৌগলিক অবস্থান জুড়ে ডিস্ট্রিবিউটেড সিস্টেম সমন্বয় করার ক্ষমতা প্রদর্শন করে।
ইকোসিস্টেম বৃদ্ধি এবং পুনরুৎপাদনযোগ্যতা
এই MLPerf রাউন্ডে AMD-এর পার্টনার ইকোসিস্টেম উল্লেখযোগ্যভাবে প্রসারিত হয়েছে, যেখানে নয়টি কোম্পানি একাধিক Instinct GPU প্রজন্মের ফলাফল জমা দিয়েছে। অংশগ্রহণকারী বিক্রেতাদের মধ্যে রয়েছে Cisco, Dell, Giga Computing, HPE, MangoBoost, MiTAC, Oracle, Supermicro, এবং Red Hat—যা AMD-এর ইনফারেন্স সলিউশনের বিস্তৃত শিল্প গ্রহণকে প্রতিফলিত করে।
পার্টনার সাবমিশনগুলি AMD-এর অভ্যন্তরীণ ফলাফলের সাথে ঘনিষ্ঠভাবে সামঞ্জস্যপূর্ণ ছিল, সাধারণত 4% এর মধ্যে এবং কিছু ক্ষেত্রে 1% এর মধ্যে। এই ধারাবাহিকতা নিশ্চিত করে যে MI355X পারফরম্যান্স OEM এবং ক্লাউড প্ল্যাটফর্ম জুড়ে পুনরুৎপাদনযোগ্য, যা ডিপ্লয়মেন্ট ঝুঁকি হ্রাস করে এবং বাস্তব-বিশ্বের পারফরম্যান্স ফলাফলের উপর আস্থা বাড়ায়।
বেইজিং Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
ব্যবসার মূল ফোকাস:
ICT পণ্য বিতরণ/সিস্টেম ইন্টিগ্রেশন ও পরিষেবা/অবকাঠামো সমাধান
20 বছরের বেশি আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করতে শীর্ষস্থানীয় বিশ্ব ব্র্যান্ডগুলির সাথে অংশীদারিত্ব করি।
“প্রযুক্তি ব্যবহার করে একটি বুদ্ধিমান বিশ্ব তৈরি করা” আপনার বিশ্বস্ত ICT পণ্য পরিষেবা প্রদানকারী!
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
ব্যবসার মূল ফোকাস:
ICT পণ্য বিতরণ/সিস্টেম ইন্টিগ্রেশন ও পরিষেবা/অবকাঠামো সমাধান
20 বছরের বেশি আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করতে শীর্ষস্থানীয় বিশ্ব ব্র্যান্ডগুলির সাথে অংশীদারিত্ব করি।
“প্রযুক্তি ব্যবহার করে একটি বুদ্ধিমান বিশ্ব তৈরি করা” আপনার বিশ্বস্ত ICT পণ্য পরিষেবা প্রদানকারী!