আইবিএম স্টোরেজ স্কেল সমান্তরাল ফাইল সিস্টেম এনভিআইডিআইএ ডায়নামোর সাথে জুটিবদ্ধ বিতরণ করা কেভি ক্যাশ পরিচালনা সমর্থন করে, বিশাল প্রসঙ্গের ওয়ার্কলোড সহ বৃহত আকারের এআই inference দৃশ্যকল্পের জন্য পরিবেশন করে।
আইবিএম একটি অফিসিয়াল রেডবুক প্রকাশ করেছে যার নামসীমাহীন প্রসঙ্গঃ বড় আকারের এআই অনুমানের জন্য একটি উচ্চ-পারফরম্যান্স কেভি ক্যাশে প্ল্যাটফর্ম, এই যৌথ সমাধানের জন্য একটি সম্পূর্ণ বৈধ রেফারেন্স আর্কিটেকচার সরবরাহ করে। ইন্টিগ্রেটেড স্ট্যাক সুপারমাইক্রো পেটাস্কেল স্টোরেজ সার্ভার, এনভিআইডিআইএ স্পেকট্রাম-এক্স ইথারনেট নেটওয়ার্কিং,এবং আইবিএম স্টোরেজ স্কেল ইরেজার কোডিং সংস্করণ (ইসিই) এআই অনুমানের জন্য একটি উচ্চ-কার্যকারিতা ভাগ করা স্টোরেজ স্তর তৈরি করতেআইবিএম আইটিএসও (ইন্টারন্যাশনাল টেকনিক্যাল সাপোর্ট অর্গানাইজেশন) দ্বারা প্রকাশিত অনুমোদিত প্রযুক্তিগত নথি হিসাবে, আইবিএম রেডবুকগুলি হ্যান্ড-অন,এন্টারপ্রাইজ-গ্রেড আইবিএম অবকাঠামো পণ্যগুলির জন্য গভীরতর বাস্তবায়ন নির্দেশিকা.
আইবিএম, সুপারমাইক্রো এবং এনভিআইডিআইএর ইঞ্জিনিয়ারিং টিমগুলির সহ-লেখক, রেডবুক দীর্ঘ-সংবেদনশীল এআই ওয়ার্কলোডগুলির একটি মূল ব্যথা পয়েন্টকে সম্বোধন করে।RAG পুনরুদ্ধার অ্যাপ্লিকেশন এবং স্বতন্ত্র এজেন্ট পাইপলাইনগুলি GPU HBM এর ভিতরে বিশাল KV ক্যাশে ডেটা তৈরি করে. একবার সীমিত এইচবিএম সংস্থান থেকে ক্যাশেড ডেটা সরিয়ে ফেলা হলে, পুনরাবৃত্তি পুনরায় গণনা গুরুতর বিলম্ব বৃদ্ধি ঘটবে, যা অবিরাম ক্রস-অনুরোধ কেভি ক্যাশে স্টোরেজ অপরিহার্য করে তোলে।
সমাধানটি একটি পাঁচ স্তরের ক্রমিক কেভি ক্যাশে আর্কিটেকচার গ্রহণ করে যা বিভিন্ন বিলম্ব এবং ক্ষমতা চাহিদা জুড়েঃ
-
G1 স্তর: জিপিইউ নোড স্থানীয় HBM
-
G2 স্তর: সিপিইউ নোড সিস্টেম DRAM
-
G3 স্তর: সরাসরি সংযুক্ত স্থানীয় এসএসডি
-
G3.5 স্তর: পড-স্তরের শেয়ার্ড ফ্ল্যাশ স্টোরেজ, জিপিইউ সার্ভার ডিপিইউগুলির সাথে সরাসরি আন্তঃসংযোগ সহ এনভিআইডিআইএ ব্লুফিল্ড ডিপিইউ দ্বারা সামনের দিকে
-
G4 স্তর: সমস্ত জিপিইউ কম্পিউটার সার্ভারে সংযুক্ত বাহ্যিক ক্রস-ইথারনেট শেয়ার্ড স্টোরেজ পুল
এন্ড-টু-এন্ড মেমরি এবং স্টোরেজ শ্রেণিবিন্যাসকে আচ্ছাদন করে, এই মাল্টি-লেভেল সেটআপ অবিচ্ছিন্ন বিলম্ব এবং ক্ষমতা গ্র্যাডিয়েন্ট সরবরাহ করে। এটি এনভিআইডিএ ডাইনামোকে বুদ্ধিমান ক্যাশে স্থাপন পরিচালনা করতে সক্ষম করে,স্বয়ংক্রিয় সরিয়ে নেওয়া এবং পুরো স্টোরেজ স্ট্যাক জুড়ে গতিশীল ডেটা পুনরায় লোড করা, নমনীয়ভাবে বিভিন্ন কাজের চাপের অ্যাক্সেস প্যাটার্ন এবং মোট অবকাঠামো ব্যয়ের বাজেটের সাথে খাপ খাইয়ে নেওয়া।
সুপারমাইক্রো পেটাস্কেল স্টোরেজ সার্ভারে স্থাপন করা, স্টোরেজ স্কেল ইসিই জি 4 কোল্ড ক্যাশে স্তর হিসাবে কাজ করে। এটি অ-ল্যাটেনসি-সংবেদনশীল কেভি ক্যাশে ডেটার জন্য অনুকূলিত,ইনঅ্যাকটিভ মাল্টি-টার্ন কথোপকথন অবস্থা সহ, শেয়ার্ড এজেন্ট কনটেক্সট ডেটা এবং ঐতিহাসিক ক্যোয়ারী রেকর্ড যা তাত্ক্ষণিক প্রতিক্রিয়া প্রয়োজন হয় না।
রেডবুক-এ রেকর্ড করা পরীক্ষার ফলাফল অনুযায়ী, এই উৎপাদন-প্রস্তুত রেফারেন্স আর্কিটেকচার কার্যকরভাবে জেনারেটিভ এআই এবং এজেন্টিক এআই ইনফারেন্স সার্ভিসকে ত্বরান্বিত করে।বহিরাগত স্টোরেজ স্কেল কেভি ক্যাশে ছাড়াই স্বতন্ত্র জিপিইউ সার্ভারের সাথে তুলনা করে একক অনুরোধ টিটিএফটি (টাইম টু ফার্স্ট টোকেন) পরীক্ষায়, ইন্টিগ্রেটেড সিস্টেম দ্রুত দৈর্ঘ্য পরিবর্তন নির্বিশেষে স্থিতিশীল TTFT বজায় রাখে।৫৬x স্পিড আপ130k-টোকেন ইনপুট সিকোয়েন্সের নিচে এবং সম্পূর্ণরূপে প্রসারিত প্রম্পট দৈর্ঘ্যের কারণে উদ্ভূত inference latency fluctuations নির্মূল করে।
একযোগে মাল্টি-ব্যবহারকারী অনুমান চাপের অধীনে সমাধান নাটকীয় কর্মক্ষমতা উন্নতি অর্জন করেঃ অনুরোধ থ্রুপুট 0.19 RPS থেকে 4.26 RPS পর্যন্ত বৃদ্ধি পায়, যা একটি22x সঞ্চালন বৃদ্ধিএদিকে, ২০০টি ইনফারেন্স অনুরোধের জন্য মোট প্রসেসিং সময় ৯৫% কমে যায়, যা জিপিইউ ব্যবহারের দক্ষতা এবং সামগ্রিক ইনফারেন্স ক্লাস্টার স্কেলাবিলিটিকে ব্যাপকভাবে বৃদ্ধি করে।
স্ট্যাকটি কঠোর গোলমাল প্রতিবেশী স্ট্রেস পরীক্ষার অধীনেও শক্তিশালী পারফরম্যান্স বজায় রাখে। চারটি ক্লায়েন্টের শেষের সাথে 200 গিগাবাইট / সেকেন্ডের প্রতিযোগিতামূলক নেটওয়ার্ক I / O ট্র্যাফিক উত্পাদন করে,ইন্টিগ্রেটেড সিস্টেম এখনও স্থিতিশীলভাবে 3 এ কাজ করে.6 আরপিএস, 55.56 সেকেন্ডের মধ্যে সব 200 অনুমান অনুরোধ শেষ। এর থ্রুপুট রয়ে গেছে১৮ গুণ বেশিবেসলাইন জিপিইউ-শুধুমাত্র পুনরায় কম্পিউটেশন আর্কিটেকচারের তুলনায়।
গবেষণা দলটি রেডবুক-এ উপসংহারে পৌঁছেছেঃ ¢ ব্যয়বহুল জিপিইউ হার্ডওয়্যার বিনিয়োগের উপর সর্বোচ্চ ROI অর্জনের লক্ষ্যে উদ্যোগগুলির জন্য, এই যাচাইকৃত ইন্টিগ্রেটেড আর্কিটেকচারটি একটি সহজ,ইনফারেন্স থ্রুপুট বাড়ানোর জন্য উৎপাদন-প্রস্তুত পদ্ধতি, এন্ড-টু-এন্ড লেটেন্সি কমাতে, উচ্চতর পরিষেবা সমান্তরালতা সমর্থন করতে এবং আরও ব্যয়বহুল বড় আকারের এআই অনুমান অবকাঠামো তৈরি করতে।
কীওয়ার্ডঃ সুপারমাইক্রো, আইবিএম স্টোরেজ স্কেল, এনভিআইডিআইএ ডায়নামো
বেইজিং চিয়ানসিং জিয়েটং টেকনোলজি কোং লিমিটেড।
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
হোয়াটসঅ্যাপ / ওয়েচ্যাটঃ +৮৬ ১৩৪২৬৩৬৬৮২৬
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইটঃ www.qianxingdata.com/www.storagesserver.com
ব্যবসায়িক ফোকাসঃ
আইসিটি প্রোডাক্ট বিতরণ/সিস্টেম ইন্টিগ্রেশন ও সার্ভিসেস/ইনফ্রাস্ট্রাকচার সমাধান
২০+ বছরের আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা বিশ্বব্যাপী শীর্ষস্থানীয় ব্র্যান্ডগুলির সাথে অংশীদার হয়ে নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করি।
👉একটি বুদ্ধিমান বিশ্ব গড়ে তুলতে প্রযুক্তি ব্যবহার করুন 👉আপনার বিশ্বস্ত আইসিটি পণ্য পরিষেবা প্রদানকারী!
আপনার বার্তাটি 20-3,000 টির মধ্যে হতে হবে!
Bengali
