কোম্পানির খবর ZettaLane অবজেক্ট স্টোরেজ থেকে Lustre সমান্তরাল ফাইল সিস্টেম চালায়

এখানে একটি আকর্ষণীয় ধারণা রয়েছে: ZettaLane MayaNAS তৈরি করেছে, যা একটি Lustre সমান্তরাল ফাইল সিস্টেম যা NFS, pNFS এবং SMB সমর্থন করে, যা ক্লাউড অবজেক্ট স্টোরেজের উপরে চলে।

MayaNAS জিপিইউ-স্তরের গতিতে এআই প্রশিক্ষণ স্ট্রিম করতে পারে, প্রতি সেকেন্ডে কয়েক দশ গিগাবাইট চেকপয়েন্ট পারফরম্যান্স সরবরাহ করতে পারে এবং অবজেক্ট-বালতি খরচের প্রোফাইলের সাথে মেলে। MLPerf Storage বেঞ্চমার্কের মাধ্যমে বৈধতা প্রাপ্ত, এটি দুটি ক্লায়েন্টের উপর 32.42 GB/s Llama 3 70B চেকপয়েন্ট রাইট ব্যান্ডউইথ অর্জন করেছে। RetinaNet ওয়ার্কলোডের জন্য, একটি MayaScale 200 Gb/s ক্লায়েন্ট 72 B200 জিপিইউ সরবরাহ করেছে।

সান্তা ক্লারা, ক্যালিফোর্নিয়ায় সদর দপ্তর, ZettaLane 2018 সালের জুন মাসে CTO Supramani (Sam) Sammandam দ্বারা প্রতিষ্ঠিত হয়েছিল, যিনি Lucent Technologies, IBM, HP এবং Dell-এ 25 বছরেরও বেশি সিস্টেম-সফ্টওয়্যার অভিজ্ঞতা সহ একজন অভিজ্ঞ স্টোরেজ প্রকৌশলী। সংস্থাটি ভেনচার-ক্যাপিটাল সমর্থন ছাড়াই সম্পূর্ণভাবে পরিচালিত হয়।

MayaNAS স্টোরেজ অর্থনীতিকে নতুন আকার দিতে Lustre এবং OpenZFS কে একত্রিত করে। প্রতিটি OST (অবজেক্ট স্টোরেজ টার্গেট) একটি OpenZFS ডেটাসেট হিসাবে কাজ করে যার vdevs আঞ্চলিক স্ট্যান্ডার্ড-ক্লাস Google Cloud Storage বালতিগুলির দিকে নির্দেশ করে। বাল্ক ডেটা রিড এবং রাইটগুলি এর objbacker স্তরের মাধ্যমে অবজেক্ট স্টোরেজে একযোগে চলে, যখন একটি কমপ্যাক্ট NVMe-ভিত্তিক বিশেষ vdev শুধুমাত্র পুল মেটাডেটা এবং ছোট ব্লকগুলি সংরক্ষণ করে। ডেটা পাথের মধ্যে কোনও স্থানীয় SSD বা ক্ষণস্থায়ী স্ক্র্যাচ টিয়ার নেই।

Supramani (Sam) Sammandam মন্তব্য করেছেন: “MLPerf Storage v3.0 ফলাফলের মধ্যে, ZettaLane-এর MayaNAS ছিল একমাত্র এন্ট্রি যা সরাসরি ক্লাউড অবজেক্ট স্টোরেজের উপর স্ট্যান্ডার্ড Lustre চালাচ্ছে — ডেটা পাথে আঞ্চলিক GCS ব্যবহার করে জেনেরিক ক্লাউড ভিএম-এ, কোনও স্থানীয় এসএসডি নেই, গ্রাহকের নিজস্ব ক্লাউড অ্যাকাউন্টের ভিতরে কাজ করছে।

“MLCommons দ্বারা যাচাইকৃত, এটি Everpure-এর মতো ফ্ল্যাশ-ভিত্তিক জমাগুলির থেকে একটি ভিন্ন বিভাগ দখল করে। এটি অবজেক্ট-স্টোরেজ অর্থনীতির সাথে সমান্তরাল-ফাইল সিস্টেম থ্রুপুট সরবরাহ করে, কেবল কাঁচা GiB/s সংখ্যার উপর মনোযোগ কেন্দ্রীভূত করার পরিবর্তে। এটি ডেটা NVMe-তে স্টেজ করা ছাড়াই সম্পূর্ণ পাইপলাইনগুলি কার্যকর করে, যার মধ্যে POSIX-নির্ভর KV ক্যাশে রয়েছে যা S3-নেটিভ প্ল্যাটফর্মগুলি সমর্থন করতে পারে না।”

আমরা একটি তুলনার বিষয় উত্থাপন করেছি: MayaNAS কি Nasuni-এর মতো, যা অবজেক্ট-স্টোরেজ ব্যাকএন্ডের উপর ফাইল পরিষেবা তৈরি করে?

Sammandam উত্তর দিয়েছেন: “উচ্চ স্তরে মিল রয়েছে: উভয়ই অবজেক্ট স্টোরেজের উপর একটি ফাইল সিস্টেম স্থাপন করে। অনেক প্রতিযোগী ব্র্যান্ড-নতুন ফাইল সিস্টেম তৈরি করে এবং POSIX সম্মতি প্রমাণ করার জন্য প্রচুর প্রচেষ্টা ব্যয় করে। আমরা একটি বিকল্প পথ নিয়েছি, ফিল্ড-প্রুভেন OpenZFS-এর উপর ভিত্তি করে তৈরি করেছি যার মেটাডেটা ছোট NVMe ডিভাইসগুলিতে এবং বাল্ক ডেটা অবজেক্ট স্টোরেজে থাকার মধ্যে একটি নেটিভ বিভাজন রয়েছে। আমরা 2025 OpenZFS Developer Summit-এ এই কাজটি শেয়ার করেছি এবং LUG 2026-এ আমাদের Lustre ডিজাইন উপস্থাপন করেছি।

“Nasuni একটি ক্যাশে-প্রথম মডেল অনুসরণ করে: এজ ফিলারগুলি স্থানীয় ক্যাশে থেকে ট্র্যাফিক পরিবেশন করে যখন কর্তৃত্বপূর্ণ কপিগুলি অবজেক্ট স্টোরেজে থাকে, তাই পারফরম্যান্স ওয়ার্কিং-সেট ক্যাশে ফিটের উপর ব্যাপকভাবে নির্ভর করে। MayaNAS কোনও মধ্যবর্তী স্থানীয় ডেটা ক্যাশে ছাড়াই সরাসরি অবজেক্টে পড়ে এবং লেখে। MLPerf পরীক্ষায়, ঠান্ডা অবজেক্ট রিডগুলি জিপিইউ-স্কেল ওয়ার্কলোডগুলি পূরণ করেছে, যা নেটিভ Google Cloud Monitoring মেট্রিক্সের মাধ্যমে নিশ্চিত হয়েছে।

“আরও মৌলিক পার্থক্য এর প্রকৃতিতে নিহিত: MayaNAS একটি স্ট্যান্ডার্ড Lustre এবং pNFS সমান্তরাল ফাইল সিস্টেম, NFS/SMB ক্ষমতা সহ, অপরিবর্তিত ইন-কার্নেল লিনাক্স ক্লায়েন্টদের সাথে কাজ করে। এটি জিপিইউ-স্কেল সমান্তরাল থ্রুপুটের জন্য উদ্দেশ্য-নির্মিত, যা এটিকে MLPerf-এর মতো বেঞ্চমার্কের জন্য উপযুক্ত করে তোলে। আমাদের ক্লাউড-নেটিভ pNFS বাস্তবায়ন LANL থেকে ওপেন-সোর্স MDS প্রযুক্তি ব্যবহার করে। Nasuni ডিস্ট্রিবিউটেড এন্টারপ্রাইজ ফাইল ব্যবহারের ক্ষেত্রে লক্ষ্য করে; MayaNAS এন্টারপ্রাইজ NAS কভার করে এবং অবজেক্ট স্টোরেজে HPC এবং AI সমান্তরাল ওয়ার্কলোডগুলিতে সরাসরি প্রসারিত হয়।

“এটি মূল ধারণাটি ধারণ করে। এআই অবকাঠামোর জন্য অবজেক্ট স্টোরেজ স্পষ্টতই ভবিষ্যতের দিক, তবুও গ্রহণ সাধারণত S3 সামঞ্জস্যের জন্য অ্যাপ্লিকেশন পুনরায় লেখার জন্য বাধ্য করে। MayaNAS এটি সমাধান করে: স্ট্যান্ডার্ড Lustre বা pNFS অবজেক্ট স্টোরেজের উপর চলছে, কোনও কোড পরিবর্তন ছাড়াই অবজেক্ট-স্তরের খরচের সুবিধা প্রদান করে।

“এই আর্কিটেকচারের অধীনে আরও উপাদান রয়েছে: OpenZFS-on-object অভ্যন্তরীণ, pNFS LANL MDS ইন্টিগ্রেশন সহ, MayaScale NVMe-over-TCP ব্লক স্টোরেজ, এবং এজেন্টিক এআই-এর জন্য ব্রাঞ্চেবল Postgres, সবই এই সাধারণ ভিত্তির উপর নির্মিত।”

বুটনোট

প্রকাশনার পরে, Sammandam অতিরিক্ত আপডেট প্রদান করেছেন: “ZettaLane 2018 সালে একটি LLC হিসাবে শুরু হয়েছিল। আমি Dell ISG-এর Office of the CTO-এর মধ্যে একটি প্রযুক্তিগত স্টাফ পদ সহ অন্যান্য কর্মজীবনের ভূমিকার পাশাপাশি এটি খণ্ডকালীন পরিচালনা করেছি, যেখানে আমি VAST এবং WEKA-কে এআই অবকাঠামোতে আকর্ষণ লাভ করতে দেখেছি। আমি 2026 সালে সমান্তরাল-স্টোরেজ উন্নয়নকে এগিয়ে নিয়ে যাওয়ার জন্য পূর্ণ-সময়ে ফিরে এসেছি, এবং MLCommons-এর MLPerf বৈধতা পণ্যটিকে জনসাধারণের দৃষ্টিতে আনার জন্য আত্মবিশ্বাস দিয়েছে। এই বেঞ্চমার্কগুলি 20 TB-এর চেয়ে বড় ডেটাসেটগুলি লক্ষ লক্ষ ফাইলের পাশাপাশি অনুশীলন করে, যেখানে ফলাফলগুলি প্রধান কর্পোরেশন সহ অন্যান্য জমা দেওয়া ব্যক্তিদের দ্বারা পিয়ার-পর্যালোচনা করা হয়।

“যেমন পূর্বে উল্লেখ করা হয়েছে, তহবিল সম্পূর্ণরূপে বুটস্ট্র্যাপড এবং স্ব-অর্থায়িত রয়েছে কোনও বাহ্যিক বিনিয়োগ ছাড়াই।

“স্বচ্ছ হওয়ার জন্য, আমাদের এখনও বিশিষ্ট প্রোডাকশন গ্রাহক স্থাপনা নেই। এটি আমাদের পরবর্তী মূল মাইলফলক উপস্থাপন করে, এবং এই MLPerf ফলাফলগুলি বাজার আউটরিচের জন্য আমাদের প্রাথমিক প্রমাণ-মূল্য হিসাবে কাজ করে। আমরা শীর্ষস্থানীয় অবজেক্ট-স্টোরেজ বিক্রেতাদের একজনের কাছ থেকে সহযোগিতা সুরক্ষিত করার আশা করি।”

বেইজিং Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
ব্যবসার ফোকাস:
আইসিটি পণ্য বিতরণ/সিস্টেম ইন্টিগ্রেশন ও পরিষেবা/অবকাঠামো সমাধান
20 বছরের বেশি আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করতে শীর্ষস্থানীয় বিশ্ব ব্র্যান্ডগুলির সাথে অংশীদারিত্ব করি।
“একটি বুদ্ধিমান বিশ্ব গড়ে তোলার জন্য প্রযুক্তি ব্যবহার করা” আপনার বিশ্বস্ত আইসিটি পণ্য পরিষেবা প্রদানকারী!