MLPerf Storage v3.0 বিদ্যমান POSIX ফ্রেমওয়ার্কের সাথে একটি S3 ডেটা লেয়ার যুক্ত করেছে, সাথে নতুন KV Cache এবং ভেক্টর ডেটাবেস ওয়ার্কলোড, যা আধুনিক AI ডেটা সিস্টেমের প্রয়োজনীয়তার সাথে বেঞ্চমার্ক মানদণ্ডকে ঘনিষ্ঠভাবে সারিবদ্ধ করে।
MLCommons দ্বারা বিকশিত, MLPerf Storage বেঞ্চমার্ক মূলত Unet3D, Cosmoflow এবং Resnet50 সহ মেশিন লার্নিং ট্রেনিং ওয়ার্কলোডের জন্য স্টোরেজ পারফরম্যান্স মূল্যায়ন করত, NVIDIA A100 এবং H100 GPU হার্ডওয়্যার ব্যবহার করে। v3.0 রিলিজ চারটি মূল ওয়ার্কলোড পরিস্থিতির উপর কেন্দ্র করে একটি ব্যাপক পরীক্ষা পুনর্গঠন বৈশিষ্ট্যযুক্ত করে।
আপডেট করা টেস্টিং ফ্রেমওয়ার্কে Unet3D এবং RetinaNet এর উপর ভিত্তি করে AI ট্রেনিং অন্তর্ভুক্ত রয়েছে, যা 90% এর বেশি ব্যবহার বজায় রেখে সর্বোচ্চ অ্যাক্সিলারেটর স্কেলেবিলিটি পরিমাপ করে, NVIDIA B200 বা AMD MI355 GPU-তে সিমুলেট করা হয়েছে। এটি 8B থেকে 1.25T প্যারামিটার পর্যন্ত Llama 3-স্টাইলের মডেলগুলির জন্য চেকপয়েন্টিংও কভার করে, 10 রাউন্ডের পুনরাবৃত্তিমূলক লেখা এবং পড়ার জন্য কম লেটেন্সি অগ্রাধিকার দেয়। অতিরিক্তভাবে, এই স্যুটটি 1 মিলিয়ন, 1536-ডাইমেনশনাল Milvus ডেটাসেটের উপর ভেক্টর ডেটাবেস টেস্টিং অন্তর্ভুক্ত করে যাতে কোয়েরি থ্রুপুট সর্বাধিক করা যায় এবং লেটেন্সি ও রিকল রেট ট্র্যাক করা যায়, সাথে KV ক্যাশে টেস্টিং যাতে সর্বোচ্চ কনকারেন্ট কথোপকথন সমর্থন ক্ষমতা পরিমাপ করা যায়।
MLPerf Storage Working Group-এর কো-চেয়ার ব্রায়ান বেলগোডের বলেছেন যে নতুন টেস্ট পোর্টফোলিও মূলধারার AI ইনফারেন্স স্টোরেজ চাহিদার জন্য বেঞ্চমার্ক কভারেজ সমৃদ্ধ করে। আপডেট করা স্যুটটি ট্রেনিং-কেন্দ্রিক ট্রেনিং এবং চেকপয়েন্টিং টেস্টগুলিকে ইনফারেন্স-ভিত্তিক KV ক্যাশে এবং ভেক্টর ডেটাবেস মূল্যায়নের সাথে ভারসাম্যপূর্ণ করে। সমন্বিত AI সিস্টেমগুলিকে টার্গেটেড স্টোরেজ ওয়ার্কলোড অ্যাসেসমেন্টে বিভক্ত করে, যার মধ্যে চেকপয়েন্টিং, KV ক্যাশিং এবং ভেক্টর কোয়েরি প্রসেসিং অন্তর্ভুক্ত, বেঞ্চমার্কটি শিল্প অনুশীলনকারীদের AI পরিকাঠামো কনফিগারেশনগুলি আরও ভালভাবে অপ্টিমাইজ করতে এবং স্টোরেজ পারফরম্যান্সের বাধাগুলি দূর করতে সক্ষম করে।
নতুন যুক্ত হওয়া S3 অবজেক্ট স্টোরেজ লেয়ার ট্রেনিং, চেকপয়েন্টিং এবং আংশিক ভেক্টর ডেটাবেস টেস্ট সমর্থন করে, যেখানে সমস্ত v3.0 সাবমিশনের প্রায় এক-ষষ্ঠাংশ S3-ভিত্তিক স্টোরেজ অ্যাক্সেস গ্রহণ করেছে।
অন্যান্য ওয়ার্কিং গ্রুপ কো-চেয়ার কার্টিস অ্যান্ডারসন উল্লেখ করেছেন যে AI কনটেক্সট ট্রিলিয়ন টোকেনে স্কেল করার সাথে সাথে, অবজেক্ট স্টোরেজ ঐতিহ্যবাহী ফাইল-সিস্টেম স্টোরেজের একটি কার্যকর, এমনকি পছন্দের বিকল্প হিসেবে আবির্ভূত হচ্ছে। v3.0-এ নেটিভ S3 সমর্থন এন্টারপ্রাইজ স্টোরেজ স্থাপনার সিদ্ধান্তগুলি গাইড করার জন্য স্বচ্ছ পারফরম্যান্স ডেটা সরবরাহ করে।
এই বেঞ্চমার্ক চক্রের জন্য মোট 19 জন বিক্রেতা ফলাফল জমা দিয়েছেন। উল্লেখযোগ্যভাবে, DDN, Dell, Huawei, IBM, NetApp, VAST Data এবং WEKA সহ প্রধান লিগ্যাসি এন্টারপ্রাইজ স্টোরেজ প্লেয়াররা সাবমিশন তালিকা থেকে অনুপস্থিত ছিল। MLPerf কর্মকর্তারা মন্তব্য করেছেন যে ঐতিহ্যবাহী NAS বিক্রেতাদের অংশগ্রহণ সীমিত, বেশিরভাগ প্রতিষ্ঠিত ইনকাম্বেন্টরা সর্বশেষ রাউন্ডে অংশ নেয়নি।
বৈচিত্র্যময় AI স্টোরেজ ল্যান্ডস্কেপের কারণে, v3.0 একটি একক সামগ্রিক র্যাঙ্কিং প্রকাশ করে না। পরিবর্তে, এটি মাল্টি-ডাইমেনশনাল মেট্রিক্স সহ চারটি ওয়ার্কলোড বিভাগের জন্য স্বাধীন ফলাফল সরবরাহ করে। সম্পূর্ণ ফলাফল ডেটাসেট প্রায় 145 সারি এবং 55 কলাম জুড়ে বিস্তৃত, মোট প্রায় 8,000 ডেটা সেল, যেখানে 12টি ডেডিকেটেড কলাম শুধুমাত্র KV ক্যাশে পারফরম্যান্স মেট্রিক্সের জন্য। এগুলি 8B এবং 70B Llama মডেল ওয়ার্কলোডের জন্য স্টোরেজ-অনলি এবং স্টোরেজ+মেমরি উভয় আর্কিটেকচারের অধীনে থ্রুপুট, রিড/রাইট ব্যান্ডউইথ এবং P95 লেটেন্সি কভার করে।
MLCommons প্রতি-র্যাক ঘনত্ব এবং প্রতি-ওয়াট শক্তি দক্ষতার উপর ভিত্তি করে স্ট্যান্ডার্ডাইজড পারফরম্যান্স মূল্যায়নের সুপারিশ করে যাতে সামগ্রিক পরিকাঠামো অপারেশনাল কার্যকারিতা পরিমাপ করা যায়।
আপডেট করা বেঞ্চমার্ক স্যুট অত্যন্ত জটিল মূল্যায়ন যুক্তি বৈশিষ্ট্যযুক্ত করে, যা বিক্রেতাদের টার্গেটেড ওয়ার্কলোডের জন্য ফলাফল নির্বাচন করে জমা দিতে দেয়। উদাহরণস্বরূপ, শুধুমাত্র NewFW, Samsung, Suzhou Zishan এবং TTA ভেক্টর ডেটাবেস টেস্ট ফলাফল জমা দিয়েছে।
Everpure তাদের FlashBlade//EXA-এর জন্য 405B এবং 1.25T প্যারামিটার মডেলগুলির জন্য চেকপয়েন্টিং এবং KV ক্যাশে টেস্টে শীর্ষ-স্তরের পারফরম্যান্স রিপোর্ট করেছে। 1,024 সিমুলেটেড অ্যাক্সিলারেটর সমর্থন করার জন্য 30টি ডেটা নোডে স্থাপন করা, প্ল্যাটফর্মটি 1.25T মডেল চেকপয়েন্টিংয়ের জন্য 877.52 GiB/s রাইট ব্যান্ডউইথ (17.74s সমাপ্তি) এবং 588.28 GiB/s রিড ব্যান্ডউইথ (28.99s সমাপ্তি) অর্জন করেছে। এর পারফরম্যান্স 10 নোডে 327.65 GiB/s রাইট থ্রুপুট থেকে সর্বোচ্চ 30-নোড ফলাফলে রৈখিকভাবে স্কেল করেছে।
পরিপূরক ডেটা দেখায় যে অন-প্রিমিসেস চেকপয়েন্ট রাইট সাবমিশনগুলি 14 GB/s প্রতি ওয়াট-এর একটি মধ্যম শক্তি দক্ষতা সরবরাহ করেছে, যেখানে 201 GB/s প্রতি ওয়াট-এর একটি সর্বোচ্চ মান ছিল। এদিকে, UNet3D রিড টেস্টগুলি 34 GB/s প্রতি ওয়াট-এর একটি মধ্যম দক্ষতা এবং 277 GB/s প্রতি ওয়াট-এর একটি সর্বোচ্চ মান রেকর্ড করেছে।
বেইজিং কিয়ানশিং জিয়েটং টেকনোলজি কোং, লিমিটেড।
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
WhatsApp / WeChat: +86 13426366826
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইট: www.qianxingdata.com/www.storagesserver.com
ব্যবসার মূল ফোকাস:
আইসিটি পণ্য বিতরণ/সিস্টেম ইন্টিগ্রেশন ও পরিষেবা/পরিকাঠামো সমাধান
20 বছরের বেশি আইটি বিতরণের অভিজ্ঞতার সাথে, আমরা নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করতে শীর্ষস্থানীয় বিশ্ব ব্র্যান্ডগুলির সাথে অংশীদারিত্ব করি।
“একটি বুদ্ধিমান বিশ্ব গড়ার জন্য প্রযুক্তি ব্যবহার করা”আপনার বিশ্বস্ত আইসিটি পণ্য পরিষেবা প্রদানকারী!
আপনার বার্তাটি 20-3,000 টির মধ্যে হতে হবে!
Bengali
