Bengali
প্যারিসের RAISE সামিটে, DDN ইউরোপীয় সার্বভৌম হাইব্রিড ক্লাউড প্রদানকারী Nebul-এর সাথে তাদের চলমান সহযোগিতা প্রদর্শন করেছে, যা বৃহৎ আকারের AI ইনফারেন্স স্থাপনার জন্য দক্ষতা বৃদ্ধিতে মনোনিবেশ করেছে। গত সপ্তাহে উন্মোচিত, এই যৌথ উদ্যোগ Nebul-এর ইনফারেন্স প্ল্যাটফর্ম, DDN-এর Infinia ডেটা ইন্টেলিজেন্স আর্কিটেকচার এবং NVIDIA অ্যাক্সিলারেটেড কম্পিউটিংকে একত্রিত করে একটি মূল প্রোডাকশন AI বাধা দূর করার জন্য: ইনফারেন্স ওয়ার্কলোডের সময় ডেটা মুভমেন্টের খরচ এবং পারফরম্যান্স সীমাবদ্ধতা।
DDN সহযোগিতাকে গুরুত্বপূর্ণ প্রোডাকশন মেট্রিক্সের উপর ভিত্তি করে তৈরি করেছে: GPU ইউটিলাইজেশন, টোকেন থ্রুপুট, প্রতি টোকেন খরচ এবং ল্যাটেন্সি। মডেল প্রশিক্ষণ AI অ্যাসেট ভ্যালু তৈরি করলেও, ইনফারেন্স এর অপারেশনাল এবং বাণিজ্যিক রিটার্ন নির্ধারণ করে। এজেন্টিক AI, রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG) এবং হাই-কনকারেন্সি ইনফারেন্সের ক্রমবর্ধমান গ্রহণ মানে স্টোরেজ এবং ডেটা ইনফ্রাস্ট্রাকচার সরাসরি অ্যাক্সিলারেটর দক্ষতা এবং AI প্রতিক্রিয়া গতিকে প্রভাবিত করে।
এই সক্রিয় প্রুফ-অফ-কনসেপ্ট প্রকল্পটি আশাব্যঞ্জক প্রাথমিক ফলাফল দিয়েছে। অংশীদাররা KV ক্যাশে সক্ষম সহ টাইম-টু-ফার্স্ট-টোকেনে পরিমাপযোগ্য উন্নতি রেকর্ড করেছে এবং RoCE-ভিত্তিক পরিকাঠামোর জন্য বৈধতা সম্পন্ন করেছে। চলমান বেঞ্চমার্কিং দীর্ঘ ইনফারেন্স সিকোয়েন্স দৈর্ঘ্যকে কভার করে, Infinia প্ল্যাটফর্মের জন্য আরও অপ্টিমাইজেশন সম্ভাবনা উন্মোচন করে। সহযোগিতাটি বেঞ্চমার্কিং ফ্রেমওয়ার্ক, স্কেলেবিলিটি যাচাইকরণ এবং আসন্ন প্রযুক্তিগত প্রকাশনাগুলিতে যৌথ NVIDIA প্রচেষ্টাতেও প্রসারিত হয়।
ইন্টিগ্রেটেড প্ল্যাটফর্ম ডিস্ট্রিবিউটেড KV ক্যাশে পরিষেবা, GPU-নেটিভ ডেটা মুভমেন্ট, ইন্টেলিজেন্ট ডেটা অর্কেস্ট্রেশন এবং হাই-পারফরম্যান্স স্টোরেজ আর্কিটেকচার ব্যবহার করে। KV ক্যাশে অ্যাক্সিলারেশন পূর্ব-গণনাকৃত অ্যাটেনশন স্টেট সংরক্ষণ এবং দ্রুত পুনরুদ্ধার করে উল্লেখযোগ্য ইনফারেন্স লাভ প্রদান করে, অপ্রয়োজনীয় গণনা কমিয়ে দেয় এবং GPU আইডলিং সৃষ্টিকারী ডেটা ডেলিভারি বিলম্ব দূর করে।
DDN, Nebul এবং NVIDIA-এর নেতারা একটি বড় শিল্প পরিবর্তনের উপর জোর দিয়েছেন: AI পরিকাঠামোর অগ্রাধিকারগুলি কাঁচা GPU স্থাপনা থেকে অপারেশনাল দক্ষতার দিকে সরে যাচ্ছে, বিদ্যমান অ্যাক্সিলারেটর হার্ডওয়্যার থেকে সর্বোচ্চ রিটার্ন নিশ্চিত করছে। DDN CEO Alex Bouzari এবং Nebul CEO Arnold Juffer উল্লেখ করেছেন যে বৃহত্তর মডেল স্কেলের উপর অতীতের মনোযোগ এখন প্রোডাকশন AI-কে কম প্রতি-টোকেন খরচের মাধ্যমে বাণিজ্যিকভাবে কার্যকর করার জন্য ইনফারেন্স অর্থনীতি অপ্টিমাইজ করার দিকে চলে গেছে। NVIDIA Cloud Infrastructure VP Rod Evans যোগ করেছেন যে বৃহৎ আকারের এজেন্টিক ওয়ার্কলোডগুলি এখন পরিকাঠামোর সাফল্যকে কেবল কম্পিউটিং শক্তির পরিবর্তে GPU ইউটিলাইজেশন এবং ল্যাটেন্সি দ্বারা পরিমাপ করে।
DDN জোর দেয় যে AI পরিকাঠামোকে মৌলিক স্টোরেজ ফাংশন ছাড়িয়ে AI এক্সিকিউশন ওয়ার্কফ্লোকে সক্রিয়ভাবে সমর্থন করার জন্য বিকশিত হতে হবে। সংস্থাটির পরিকাঠামো প্ল্যাটফর্মগুলি বর্তমানে বিশ্বব্যাপী এক মিলিয়নেরও বেশি GPU-কে শক্তি সরবরাহ করে, হাইপারস্কেল, ক্লাউড প্রদানকারী, এন্টারপ্রাইজ, সরকার এবং গবেষণা প্রতিষ্ঠানগুলিতে পরিষেবা প্রদান করে।
আধুনিক AI পরিকাঠামো দলগুলি এখন এই মূল প্রোডাকশন মেট্রিক্সকে অগ্রাধিকার দেয়:
GPU ইউটিলাইজেশন: ইনফারেন্সের সময় কার্যকর অ্যাক্সিলারেটর কার্যকলাপ পরিমাপ করে, উচ্চ-মানের GPU হার্ডওয়্যারের মান সর্বাধিক করে তোলে।
প্রতি টোকেন খরচ: AI মডেল আউটপুট অপারেশনাল খরচের সাথে পরিকাঠামো কর্মক্ষমতাকে সরাসরি সংযুক্ত করে।
প্রতি ওয়াট টোকেন: AI ইনফারেন্স আউটপুটের শক্তি দক্ষতা মূল্যায়ন করে।
প্রথম টোকেনে সময়: ইন্টারেক্টিভ AI অ্যাপ্লিকেশন প্রতিক্রিয়াশীলতা এবং ব্যবহারকারীর অভিজ্ঞতা নির্ধারণ করে।
প্রোডাকশনে সময়: টেস্টিং থেকে স্কেলেবল বাণিজ্যিক স্থাপনায় AI পরিষেবাগুলি স্থানান্তর করার জন্য অপারেশনাল প্রচেষ্টা পরিমাপ করে।
ইনফারেন্স প্রভাবশালী AI ওয়ার্কলোড হয়ে ওঠায়, কম, স্থিতিশীল ল্যাটেন্সিতে ক্যাশেড কনটেক্সট এবং এন্টারপ্রাইজ ডেটা GPU-তে সরবরাহ করা উচ্চ GPU ইউটিলাইজেশন বজায় রাখা এবং দীর্ঘমেয়াদী অপারেশনাল খরচ নিয়ন্ত্রণের জন্য অত্যন্ত গুরুত্বপূর্ণ হবে।
বেইজিং কিয়ানশিং জিয়েটং টেকনোলজি কোং, লিমিটেড
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
WhatsApp / WeChat: +86 13426366826
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইট: www.qianxingdata.com/www.storagesserver.com
ব্যবসার মূল ফোকাস:
আইসিটি পণ্য বিতরণ/সিস্টেম ইন্টিগ্রেশন ও পরিষেবা/ইনফ্রাস্ট্রাকচার সলিউশন
আইটি বিতরণে ২০ বছরেরও বেশি অভিজ্ঞতার সাথে, আমরা নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করতে শীর্ষস্থানীয় বিশ্ব ব্র্যান্ডগুলির সাথে অংশীদারিত্ব করি।
“একটি বুদ্ধিমান বিশ্ব গড়ার জন্য প্রযুক্তি ব্যবহার” আপনার বিশ্বস্ত আইসিটি পণ্য পরিষেবা প্রদানকারী!
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
WhatsApp / WeChat: +86 13426366826
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইট: www.qianxingdata.com/www.storagesserver.com
ব্যবসার মূল ফোকাস:
আইসিটি পণ্য বিতরণ/সিস্টেম ইন্টিগ্রেশন ও পরিষেবা/ইনফ্রাস্ট্রাকচার সলিউশন
আইটি বিতরণে ২০ বছরেরও বেশি অভিজ্ঞতার সাথে, আমরা নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করতে শীর্ষস্থানীয় বিশ্ব ব্র্যান্ডগুলির সাথে অংশীদারিত্ব করি।
“একটি বুদ্ধিমান বিশ্ব গড়ার জন্য প্রযুক্তি ব্যবহার” আপনার বিশ্বস্ত আইসিটি পণ্য পরিষেবা প্রদানকারী!