ওরাকল ক্লাউড ইনফ্রাস্ট্রাকচার (ওসিআই), ওয়েকা নিউরালমেশ এবং অগমেন্টেড মেমরি গ্রিড সফটওয়্যারে চালানো হচ্ছে যা ১০ গুণ বেশি টোকেন থ্রুপুট, ১০ গুণ বেশি সিঙ্ক্রোনাস ইউজার এবং ৭ গুণ বেশি টোকেন প্রতি জিপিইউ প্রদান করে।স্ট্যান্ডার্ড ওসিআই পরিবেশের তুলনায় শুধুমাত্র স্থানীয় DRAM এর উপর নির্ভর করে.
WEKA's Augmented Memory Grid NeuralMesh এর মাধ্যমে বাহ্যিক স্টোরেজ ব্যবহার করে এআই অনুমানের জন্য জিপিইউ সার্ভারের মেমরি প্রসারিত করে, বাহ্যিক সংস্থানগুলিকে একটি উচ্চ-পারফরম্যান্স কেভি ক্যাশে রূপান্তর করে।এটি মাইক্রোসেকেন্ড লেটেন্সি এবং মাল্টি-জিবি/সেকেন্ড ব্যান্ডউইথ প্রদান করে, অতিরিক্ত মেমরি ঠিকানা স্থান পেটাবাইট পর্যন্ত প্রস্তাব, NVIDIA এর SX KV ক্যাচিং আর্কিটেকচারের সাথে সম্পূর্ণ সামঞ্জস্যপূর্ণ। NeuralMesh WEKA এর উচ্চ-পারফরম্যান্স এআই ফাইল সিস্টেম।সমস্ত বেঞ্চমার্ক ৯টি নোডের ওসিআই নগ্ন ধাতু H100 ক্লাস্টারে 100,000-টোকন কনটেক্সট উইন্ডো.
ওসিআই-র সফটওয়্যার ডেভেলপমেন্টের সিনিয়র ডিরেক্টর পাবলো সেলিম মন্তব্য করেছেনঃ এন্টারপ্রাইজ এআই ওয়ার্কলোডগুলি প্রসারিত প্রসারিত উইন্ডো এবং জিপিইউ ব্যবহারকে নতুন সীমাতে নিয়ে যাচ্ছে।এই বেঞ্চমার্কগুলি প্রমাণ করে যে WEKA এর সমাধান ওসিআই-তে GPU মেমরি বোতল ঘাটতি দূর করে, অতিরিক্ত জিপিইউ হার্ডওয়্যার বিনিয়োগ ছাড়াই বৃহত্তর, আরো চাহিদাপূর্ণ inference workloads সক্ষম।
WEKA উল্লেখ করে যে ক্রমবর্ধমান অনুমান চাহিদা এআই অবকাঠামোর অকার্যকারিতা বাড়িয়ে তোলে। ঘন ঘন কেভি ক্যাশে উচ্ছেদ লুকানো ওভারহেড তৈরি করে যা জিপিইউ চক্র নষ্ট করে, বিলম্ব বৃদ্ধি করে,ব্যবহারকারীর অভিজ্ঞতা ক্ষতিগ্রস্ত করে এবং টোকেন প্রতি অপারেটিং খরচ বৃদ্ধি করে. দীর্ঘ প্রসঙ্গ এবং এজেন্টিক এআই ওয়ার্কলোডগুলির জন্য 100,000-টোকন-প্লাস ইনপুট সহ, এই ধরনের ওভারহেডগুলি উত্পাদন এআই স্থাপনার ইউনিট অর্থনীতিতে মারাত্মক ক্ষতি করে।
বেঞ্চমার্কটি 9 টি নোড, 72 টি এইচ 100 জিপিইউ, 100,000 টোকেন কনটেক্সট উইন্ডো এবং হাজার হাজার সমান্তরাল ব্যবহারকারীদের উপর নির্মিত হয়েছিল, নীচে প্রদর্শিত স্পষ্ট পারফরম্যান্স ফাঁক সহঃ
-
একই সময়ে ব্যবহারকারীর ক্ষমতা: WEKA শুধুমাত্র DRAM-এর সেটআপগুলিতে মাত্র 600 এর বিপরীতে 5,000 টিরও বেশি সমান্তরাল ব্যবহারকারীদের সমর্থন করে। এটি 8.64 টিবি ড্রাম থেকে 287 টিবি এনভিএম ফ্ল্যাশ স্টোরেজ পর্যন্ত সক্রিয় ক্যাশে প্রসারিত করে ক্যাশে স্যাচুরেশন ব্যর্থতা প্রতিরোধ করে,অতিরিক্ত জিপিইউ ক্রয় ছাড়াই বিদ্যমান জিপিইউ হার্ডওয়্যারের উপর সর্বোচ্চ ROI.
-
টোকেন সঞ্চালন ক্ষমতা: WEKA স্ট্যাক প্রতি সেকেন্ডে প্রায় ২ মিলিয়ন টোকেন স্পর্শ করে, যা DRAM-only সিস্টেমের ২০০,০০০ টোকেন / সেকেন্ডের বেসলাইন তুলনায় ১০ গুণ দ্রুত।
-
টোকেন প্রক্রিয়াকরণের মোট পরিমাণ: এক ঘণ্টার পরীক্ষায় ২,৪০০ একযোগে ব্যবহারকারীর সাথে, WEKA ৫ বিলিয়ন টোকেন প্রক্রিয়া করেছে, যখন শুধুমাত্র DRAM সেটআপটি মাত্র ৭০০ মিলিয়ন টোকেন পরিচালনা করেছে।
এজেন্টিক এআই ওয়ার্কফ্লোগুলির জন্য, অপর্যাপ্ত ডিআরএএম ক্যাশে স্যাচুরেশনের পরে ধ্রুবক জিপিইউ পুনরায় গণনা শুরু করে, প্রতি টোকেন খরচ বাড়ায় এবং ROI হ্রাস করে।WEKA ব্যাপকভাবে উৎপাদন এআই পরিষেবার জন্য সামগ্রিক টোকেন খরচ কমানো.
অনুসন্ধান, সংক্ষিপ্তসার, কোড সহায়তা এবং মাল্টি টার্ন এজেন্ট সহ রিয়েল টাইম এআই পরিষেবাগুলির জন্য, টোকেন থ্রুপুট ব্যবহারকারীর ক্ষমতার জন্য পরিষেবা সীমা নির্ধারণ করে,প্রতিক্রিয়া গতি এবং অবকাঠামো আয়ের সম্ভাবনা. ১০ গুণ থ্রুপুট উন্নতি সম্পূর্ণরূপে OCI ক্লাস্টারের ভিতরে নেটিভ GPU কম্পিউটিং শক্তি আনলক করে।
সংক্ষেপে, WEKA এর মেমরি সম্প্রসারণ সফটওয়্যার ক্লাউড প্ল্যাটফর্মগুলিকে আরও বেশি ব্যবহারকারীকে পরিবেশন করতে, আরও বেশি টোকেন প্রক্রিয়া করতে এবং কার্যকরভাবে অপারেটিং খরচ কমাতে সহায়তা করে।
WEKA-এর প্রধান নির্বাহী কর্মকর্তা লিরান জিভিবেল বলেছেনঃ "প্রয়োজনীয় জিপিইউ কার্যকর মেমরি দ্বারা অনুমান কর্মক্ষমতা বাধাগ্রস্ত। এই ফলাফলগুলি প্রমাণ করে যে কেবলমাত্র হার্ডওয়্যার আপগ্রেডগুলি এআই টোকেন অর্থনৈতিক সমস্যাগুলি সমাধান করতে পারে না।প্রকৃত সীমাবদ্ধতা হল দীর্ঘস্থায়ী মেমরি প্রাচীর GPU কর্মক্ষমতা সীমাবদ্ধওসিআই-র উপর ওয়েকা'র সমাধান টোকন প্রসেসিং ক্ষমতাকে ব্যাপকভাবে বৃদ্ধি করে এবং মালিকানার মোট খরচকে অনুকূল করে।
ওসিআই তার অফিসিয়াল এআই অ্যান্ড ডেটা সায়েন্স ব্লগে সম্পূর্ণ বেঞ্চমার্ক পদ্ধতি, সিস্টেম কনফিগারেশন এবং সম্পূর্ণ পরীক্ষার ফলাফল প্রকাশ করেছে।
অগমেন্টেড মেমোরি গ্রিড সহ নিউরালমেশ এখন সাধারণভাবে WEKA গ্রাহকদের জন্য উপলব্ধ এবং ওরাকল মার্কেটপ্লেসে তালিকাভুক্ত, ওসিআই এর একচেটিয়া ক্লাউড লঞ্চ অংশীদার হিসাবে কাজ করে।ওসিআই-তে লং কনটেক্সট ইনফারেন্স চালানো উদ্যোগগুলি এই উৎপাদন-প্রস্তুত, সম্পূর্ণরূপে বৈধ স্থাপত্য অবিলম্বে.
বেইজিং চিয়ানসিং জিয়েটং টেকনোলজি কোং লিমিটেড।
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
হোয়াটসঅ্যাপ / ওয়েচ্যাটঃ +৮৬ ১৩৪২৬৩৬৬৮২৬
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইটঃ www.qianxingdata.com/www.storagesserver.com
ব্যবসায়িক ফোকাসঃ
আইসিটি প্রোডাক্ট বিতরণ/সিস্টেম ইন্টিগ্রেশন ও সার্ভিসেস/ইনফ্রাস্ট্রাকচার সমাধান
২০+ বছরের আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা বিশ্বব্যাপী শীর্ষস্থানীয় ব্র্যান্ডগুলির সাথে অংশীদার হয়ে নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করি।
👉একটি বুদ্ধিমান বিশ্ব গড়ে তুলতে প্রযুক্তি ব্যবহার করুন 👉আপনার বিশ্বস্ত আইসিটি পণ্য পরিষেবা প্রদানকারী!
আপনার বার্তাটি 20-3,000 টির মধ্যে হতে হবে!
Bengali
