কোম্পানির খবর ইনফেরা হল লাইটবিটস মেমরি ওয়াল বস্টার

আমি সম্পূর্ণ টেক্সটটিকে ৮% শব্দ সংখ্যায় সংকুচিত করেছি, সমস্ত মূল তথ্য, বেঞ্চমার্ক, উদ্ধৃতি এবং প্রযুক্তিগত যুক্তি বজায় রেখেছি এবং সমস্ত লিঙ্ক সরিয়ে দিয়েছি:

লাইটবিটস-এর ইনফেরার (Inferra) সফটওয়্যার KV ক্যাশে অপারেশনকে ত্বরান্বিত করে, AI ইনফারেন্সের মেমরি ওয়াল ভেঙে দেয় এবং GPU ব্যবহারকে ব্যাপকভাবে উন্নত করে। উচ্চ-পারফরম্যান্স ব্লক স্টোরেজ ফার্ম ইনফেরাকে GPU হাই-ব্যান্ডউইথ মেমরি (HBM) ভার্চুয়ালাইজ করার জন্য তৈরি করেছে। একটি KV ক্যাশে LLM ইনফারেন্সের সময় প্রি-কম্পিউটেড অ্যাটেনশন কী এবং ভ্যালু সংরক্ষণ করে, সিকোয়েন্স ডেটার অপ্রয়োজনীয় পুনঃগণনা এড়িয়ে যায় এবং জেনারেটিভ AI পারফরম্যান্স বাড়ায়।

স্ট্যান্ডার্ড KV ক্যাশিং ক্যাশেড ডেটাকে GPU HBM-এর মধ্যে সীমাবদ্ধ রাখে। HBM স্যাচুরেটেড হয়ে গেলে, বিদ্যমান KV পেয়ারগুলি নতুন ডেটার জন্য সরিয়ে দেওয়া হয়, যা পুনরায় ব্যবহারের সময় সময়সাপেক্ষ পুনঃগণনার প্রয়োজন হয়। আধুনিক টায়ার্ড KV ক্যাশিং সার্ভার DRAM, লোকাল NVMe SSD এবং রিমোট নেটওয়ার্কড NVMe ড্রাইভ পর্যন্ত স্টোরেজ প্রসারিত করে। উচ্চতর টায়ারগুলিতে অ্যাক্সেস ল্যাটেন্সি বেশি হলেও, এই বিলম্ব প্রায়শই বিস্তৃত টোকেন ভেক্টরগুলির পুনঃগণনার চেয়ে কম হয়।

ইনফেরা দীর্ঘ-প্রসঙ্গ KV ক্যাশে ফুটপ্রিন্টের প্রসারের কারণে সৃষ্ট গুরুতর মেমরি বাধাগুলি সমাধান করে। এটি ক্লাউড এবং এন্টারপ্রাইজ ব্যবহারকারীদের ব্যয়বহুল GPU এবং HBM হার্ডওয়্যার আপগ্রেড ছাড়াই দ্রুত, আরও স্কেলযোগ্য AI ইনফারেন্স চালানোর অনুমতি দেয়।

লাইটবিটস ল্যাবস-এর সহ-প্রতিষ্ঠাতা এবং চেয়ারম্যান অ্যাভিগডর উইলেনজ উল্লেখ করেছেন যে ২০২৬ সালের $১১৭ বিলিয়ন AI ইনফারেন্স মার্কেট লিগ্যাসি ট্রেনিং-ফোকাসড বিক্রেতাদের পুনরায় আর্কিটেক্ট করতে বাধ্য করছে। তিনি জোর দিয়েছিলেন যে লিগ্যাসি স্টোরেজ এবং ট্রেনিং সিস্টেমগুলি KV ক্যাশে বাধাগুলির জন্য রেট্রোফিট করা যায় না, কারণ সেগুলি পুরানো ওয়ার্কলোড প্যারাডাইমের জন্য ডিজাইন করা হয়েছিল। GPU ইনফারেন্স দক্ষতার জন্য বিশেষভাবে তৈরি, ইনফেরার গ্রাহক বিটা প্রোগ্রামগুলিতে বৈধ মূল্য রয়েছে, যা বিক্রেতার NVMe ওভার TCP উদ্ভাবনকে আধুনিক ইনফারেন্সের সমস্যাগুলি সমাধানের জন্য প্রসারিত করে।

KV-ক্যাশে-অপ্টিমাইজড প্রিফেচিং অ্যালগরিদম দ্বারা চালিত, ইনফেরার GPU চাহিদার আগে আসন্ন KV ক্যাশে ডেটা সক্রিয়ভাবে লোড করে। এটি তিনটি মূল সুবিধা প্রদান করে: কঠোর SLA সম্মতির সাথে বিদ্যমান GPU হার্ডওয়্যারে 16x পর্যন্ত বেশি কনকারেন্ট ইনফারেন্স সেশন (কোন হার্ডওয়্যার আপগ্রেডের প্রয়োজন নেই); 100x পর্যন্ত ল্যাটেন্সি উন্নতি এবং 10-মিলিয়ন-টোকেন কনটেক্সট উইন্ডো সমর্থন, পুনঃগণনার পরিবর্তে ভবিষ্যদ্বাণীমূলক অ্যাটেনশন স্টেট প্রিফেচিংয়ের মাধ্যমে TTFT এবং TPOT হ্রাস করে; এবং শেয়ার্ড ইনফারেন্স ক্লাস্টারগুলির জন্য বুদ্ধিমান ইউনিফাইড KV ক্যাশে ম্যানেজমেন্ট সহ সুরক্ষিত টেন্যান্ট আইসোলেশন।

ইনফেরা মাল্টি-টায়ার মেমরি এবং স্টোরেজ জুড়ে GPU মেমরি ভার্চুয়ালাইজ করে ইনফারেন্সের অর্থনীতিকে নতুনভাবে সংজ্ঞায়িত করে, খণ্ডিত KV ক্যাশিংকে একটি স্থায়ী, বুদ্ধিমান ডেটা লেয়ারে পরিণত করে। সার্ভারের x86 সাবসিস্টেমগুলিতে স্থাপন করা, এটি KV ক্যাশে ব্লক কার্যকলাপ পর্যবেক্ষণ করে এবং একটি সাব-লিনিয়ার স্পার্স অ্যাটেনশন প্রিফেচ (SLSAP) ইঞ্জিন ব্যবহার করে। লোকালিটি-সেনসিটিভ হ্যাশিং এবং ঐতিহাসিক অ্যাটেনশন রিইউজ প্যাটার্নগুলিকে একত্রিত করে, এটি প্রায়শই পুনরায় ব্যবহৃত KV ব্লকগুলিকে র‍্যাঙ্ক এবং অগ্রাধিকার দেয়, যার মধ্যে সাম্প্রতিক টোকেন, অর্থপূর্ণভাবে অনুরূপ বিষয়বস্তু এবং মাল্টি-টার্ন চ্যাট এবং RAG ওয়ার্কফ্লোতে কাঠামোগত প্যাটার্ন অন্তর্ভুক্ত রয়েছে। সিস্টেমটি সার্ভার DRAM বা বাহ্যিক SSD থেকে টার্গেটেড ব্লকগুলি পুনরুদ্ধার করে এবং RDMA এর মাধ্যমে GPU HBM-এ প্রি-লোড করে।

OVH-এর চিফ প্রোডাক্ট অ্যান্ড টেকনোলজি অফিসার ইয়ানিভ ফিডিডা নিশ্চিত করেছেন যে ইনফেরার উল্লেখযোগ্য GPU ব্যবহার বৃদ্ধি করে, যা স্কেলযোগ্য, সাশ্রয়ী AI এজেন্ট এবং RAG ওয়ার্কলোড পরিকাঠামো সক্ষম করে।

পাবলিক বেঞ্চমার্ক ফলাফলগুলি নাটকীয় পারফরম্যান্স লিফটের নিশ্চয়তা দেয়: Qwen 2.5-7B (410K কনটেক্সট) 102x দ্রুত হয় (72.6s → 711ms); DeepSeek-R1-70B (141K কনটেক্সট) 152x উন্নত হয় (70.8s → 465ms); Llama-4-Scout (10M কনটেক্সট) 380x লাফ অর্জন করে (1.5 ঘন্টা → 13s)।

হার্ডওয়্যার-অ্যাগনস্টিক এবং সমস্ত মূলধারার ওপেন-সোর্স ইনফারেন্স ফ্রেমওয়ার্কের সাথে সামঞ্জস্যপূর্ণ, ইনফেরার ডায়নামো, vLLM এবং LMCache প্লাগইন সমর্থন করে। অনন্যভাবে, এটি কনটেক্সট দৈর্ঘ্যের তুলনায় সাব-লিনিয়ার TTFT স্কেলিং সরবরাহ করে, যখন DDN, VAST Data এবং WEKA সহ প্রতিযোগীরা কেবল লিনিয়ার স্কেলিং বা রিঅ্যাকটিভ স্ট্রিমিং সরবরাহ করে। লাইটবিটস কমোডিটি L40S GPU-তে স্থিতিশীল 10M-টোকেন কনটেক্সট ইনফারেন্স প্রদর্শন করেছে, যা প্রতিদ্বন্দ্বী বিক্রেতাদের দ্বারা একটি বেঞ্চমার্ক যা মেলানো যায় না।

লাইটবিটস ল্যাবস-এর AI প্রোডাক্ট অ্যান্ড বিজনেস SVP রমেশ চেট্টুভেটি বলেছেন যে ইনফেরার তাৎক্ষণিক TCO সাশ্রয় প্রদান করে, দীর্ঘ-প্রসঙ্গ ইনফারেন্স স্টলগুলি দূর করে এবং ব্যবসাগুলিকে কম পরিকাঠামো খরচে বৃহত্তর মডেল এবং দীর্ঘ ডায়ালগ ওয়ার্কলোড চালানোর ক্ষমতা দেয়। ব্যবহারকারীরা বিক্রেতার পাবলিক এফিসিয়েন্সি ইভালুয়েশন প্ল্যাটফর্মের মাধ্যমে ইনফেরার ইনফারেন্স কস্ট অপ্টিমাইজেশন সুবিধাগুলি মূল্যায়ন করতে পারেন। ScaleFlux-এর সাথে একটি যৌথ মার্চ ডেমোতে, ইনফেরার কম্পিউটেশনাল স্টোরেজ SSD ওয়ার্কলোডগুলিতে 100x থেকে 280x KV ক্যাশে ত্বরণ অর্জন করেছে।

বেইজিং কিয়ানশিং জিয়েটং টেকনোলজি কোং, লিমিটেড।
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
হোয়াটসঅ্যাপ / উইচ্যাট: +86 13426366826
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইট: www.qianxingdata.com/www.storagesserver.com
ব্যবসায়িক ফোকাস:
আইসিটি পণ্য বিতরণ/সিস্টেম ইন্টিগ্রেশন ও পরিষেবা/পরিকাঠামো সমাধান
আইটি বিতরণে ২০ বছরের বেশি অভিজ্ঞতা সহ, আমরা নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা প্রদানের জন্য শীর্ষস্থানীয় বিশ্ব ব্র্যান্ডগুলির সাথে অংশীদারিত্ব করি।
প্রযুক্তি ব্যবহার করে একটি বুদ্ধিমান বিশ্ব তৈরি করুন” আপনার বিশ্বস্ত আইসিটি পণ্য পরিষেবা প্রদানকারী!