Bengali
আইবিএম একটি কন্টেন্ট-সচেতন স্টোরেজ (সিএএস) আর্কিটেকচার উন্মোচন করেছে যা স্টোরেজ স্তরের মধ্যে সরাসরি এআই ডেটা প্রসেসিংকে এম্বেড করে।এই পদ্ধতি পুনরুদ্ধার-বর্ধিত উত্পাদন (RAG) কাজের প্রবাহের জন্য উপযুক্ত, কারণ এটি ডকুমেন্ট ভেক্টরাইজেশনকে স্টোরেজ সিস্টেমের মধ্যে সংহত করে, বহিরাগত প্রাক-প্রক্রিয়াকরণ পাইপলাইনের প্রয়োজন হ্রাস করে।
সিএএস একটি মূল RAG ফাংশনকে স্থানান্তর করে large language model (LLM) ভিত্তিক পদ্ধতির মাধ্যমে document embedding (ডকুমেন্ট এম্বেডিং) স্টোরেজ অবকাঠামোতে।এটি ব্যবসায়ীদের তাদের বিদ্যমান অবস্থানে ডেটা প্রক্রিয়া এবং সূচী করতে দেয়, স্টোরেজ সিস্টেমগুলিকে এআই-চালিত ওয়ার্কলোডগুলির সাথে সামঞ্জস্য করা এবং বিভিন্ন অবকাঠামোর স্তরে ডেটা চলাচলকে হ্রাস করা।আইবিএম এটিকে এআই অ্যাপ্লিকেশনগুলির জন্য কর্মক্ষমতা বৃদ্ধি এবং ডেটা স্থানীয়তা উন্নত করার সময় স্থাপনার সরলীকরণের উপায় হিসাবে অবস্থান করে.
স্কেল এ ভেক্টর ডাটাবেস
আইবিএম-এর সিএএস বাস্তবায়নের কেন্দ্রবিন্দুতে একটি ভেক্টর ডাটাবেস রয়েছে যা শব্দার্থিক অনুসন্ধানের জন্য অনুকূলিত। ভেক্টর ডাটাবেসগুলি আনুমানিক নিকটতম প্রতিবেশী (এএনএন) অনুসন্ধানকে সমর্থন করে,এআই সিস্টেমগুলিকে কোসিনোস সামঞ্জস্য বা এল 2 দূরত্বের মতো সাদৃশ্য মেট্রিকের উপর ভিত্তি করে প্রাসঙ্গিক ডেটা টুকরো পুনরুদ্ধার করতে সক্ষম করেএই ক্ষমতা RAG এর জন্য মৌলিক, যেখানে ব্যবহারকারীর অনুসন্ধানগুলি ভেক্টরগুলিতে রূপান্তরিত হয় এবং প্রসঙ্গ-সচেতন প্রতিক্রিয়া প্রদানের জন্য সূচকযুক্ত এন্টারপ্রাইজ ডেটার সাথে মিলিত হয়।
আইবিএম সিএএস চার্টসূত্রঃ আইবিএম
আইবিএম রিসার্চ, স্যামসাং এবং এনভিআইডিআইএর সহযোগিতায়, একটি একক সার্ভারে 100 বিলিয়ন ভেক্টর পর্যন্ত স্কেল করতে সক্ষম একটি প্রোটোটাইপ সিস্টেম প্রদর্শন করেছে।এই সিস্টেম ৯০ শতাংশের বেশি স্মরণ এবং নির্ভুলতা অর্জন করেছেএই স্কেলটি এন্টারপ্রাইজ পরিবেশের জন্য উপযুক্ত যেখানে ডেটাসেটগুলি বিলিয়ন বিলিয়ন ফাইল জুড়ে যেতে পারে এবং একবার সম্পূর্ণরূপে সূচিবদ্ধ হয়ে গেলে,শত শত বিলিয়ন ভেক্টর বৃদ্ধি.
RAG পাইপলাইন ইন্টিগ্রেশন
RAG এন্টারপ্রাইজ এআই এর জন্য একটি পছন্দের পদ্ধতি হয়ে উঠছে, কারণ এটি মডেল পুনঃ প্রশিক্ষণের প্রয়োজন ছাড়াই আউটপুট নির্ভুলতা বাড়ায়।এটি একটি ভেক্টর ডাটাবেস থেকে পুনরুদ্ধার করা এন্টারপ্রাইজ-নির্দিষ্ট ডেটা দিয়ে প্রম্পটগুলিকে সম্পূরক করে কাজ করে.
পাইপলাইনটি ডেটা ইনজেকশন দিয়ে শুরু হয়, যেখানে পিডিএফ এবং উপস্থাপনাগুলির মতো নথিগুলি বিশ্লেষণ করা হয়, টুকরো টুকরো করে বিভক্ত করা হয় এবং এম্বেডিংয়ে রূপান্তরিত হয়।এই এমবেডেডগুলি একটি ভেক্টর ডাটাবেসে সংরক্ষণ করা হয় যা কার্যকর সাদৃশ্য অনুসন্ধানের জন্য ডেটা সংগঠিত করে. অনুসন্ধানের সময়, ব্যবহারকারীর ইনপুটটি এম্বেড করা হয় এবং সংরক্ষিত ভেক্টরগুলির সাথে মিলিত হয়, প্রাসঙ্গিক সামগ্রীটি ভাষার মডেলকে প্রসঙ্গ হিসাবে পাস করা হয়।এই গ্রাউন্ডিং প্রক্রিয়া হ্যালুসিনেশন হ্রাস করে এবং এআই-উত্পাদিত আউটপুটগুলিতে আস্থা বাড়ায়.
আইবিএম-এর সিএএস এই পুরো পাইপলাইনকে সরাসরি স্টোরেজে সংহত করে, তথ্যের খুব কাছাকাছি ইনজেকশন, সূচক এবং পুনরুদ্ধারকে একীভূত করে।
স্কেল এবং খরচ সমস্যা মোকাবেলা
এন্টারপ্রাইজ স্টোরেজ সিস্টেমগুলি ইতিমধ্যে পেটাবাইট স্কেলে কাজ করে। যখন CAS-এ প্রসারিত হয়, প্রতিটি ফাইল শত শত ভেক্টর তৈরি করতে পারে, দ্রুত ডেটাসেটের আকার প্রসারিত করে।ঐতিহ্যগত ভেক্টর ডাটাবেস সাধারণত একাধিক সার্ভারে স্কেল আপ, অতিরিক্ত খরচ এবং অপারেশনাল জটিলতা প্রবর্তন করে। বড় ডেটা সেটগুলি সূচক এবং পুনরায় সূচক করাও সময় সাপেক্ষ কাজ হয়ে ওঠে।
আইবিএম এর পদ্ধতিটি ভেক্টর ঘনত্ব উন্নত করতে এবং অবকাঠামো বিস্তার সীমাবদ্ধ করার জন্য সূচক ওভারহেড হ্রাস করতে মনোনিবেশ করে। আর্কিটেকচারটি ভেক্টর এবং সূচক স্টোরেজকে ক্যোয়ারী কম্পিউটিং থেকে পৃথক করে,স্টোরেজ এবং কম্পিউটিং রিসোর্সের স্বাধীন স্কেলিং সক্ষম করাএটি সম্ভব হয়েছে আইবিএম স্টোরেজ স্কেল এবং এর উচ্চ-কার্যকারিতা সমান্তরাল ফাইল সিস্টেমের মাধ্যমে।
স্টোরেজ এবং হার্ডওয়্যার আর্কিটেকচার
সিএএস বাস্তবায়ন আইবিএম স্টোরেজ স্কেল সিস্টেম ৬০০০ (ইএসএস ৬০০০) ব্যবহার করে, যা এআই এবং উচ্চ-পারফরম্যান্স ওয়ার্কলোডের জন্য ডিজাইন করা একটি সম্পূর্ণ ফ্ল্যাশ প্ল্যাটফর্ম।সিস্টেমটি 4U কেস প্রতি 48 এনভিএম ড্রাইভ পর্যন্ত সমর্থন করে, 7TB থেকে 60TB পর্যন্ত পৃথক ড্রাইভের ক্ষমতা সহ। এটি PCIe Gen5, 400 Gb InfiniBand, বা 200 Gb Ethernet সংযোগকে সংহত করে,নড প্রতি 340 গিগাবাইট/সেকেন্ড পাঠ এবং 175 গিগাবাইট/সেকেন্ড লেখার সঞ্চালন ক্ষমতা প্রদান করে, ৭ মিলিয়ন আইওপিএস পর্যন্ত।
প্ল্যাটফর্মটি এনভিআইডিআইএ জিপিইউডাইরেক্ট স্টোরেজকেও সমর্থন করে, যা স্টোরেজ এবং জিপিইউগুলির মধ্যে সরাসরি ডেটা পাথগুলি সহজতর করে, পাশাপাশি নেটওয়ার্ক এবং ডেটা প্রসেসিংয়ের কাজগুলি বন্ধ করার জন্য ব্লুফিল্ড -৩ ডিপিইউগুলি।
স্যামসাং PM9D3a PCIe Gen5 NVMe এসএসডিগুলি উচ্চ-থ্রুপুট, উচ্চ-ঘনত্বের স্টোরেজ সরবরাহ করে। অষ্টম প্রজন্মের টিএলসি ভি-এনএন্ডের উপর ভিত্তি করে, এই ড্রাইভগুলি প্রতি ডিভাইসে 30.72 টিবি পর্যন্ত সরবরাহ করে,যা 12 গিগাবাইট/সেকেন্ড পর্যন্ত ক্রমিক পাঠের গতি এবং 6 গিগাবাইট/সেকেন্ড পর্যন্ত লেখার গতি সহবাণিজ্যিকভাবে উপলব্ধ এন্টারপ্রাইজ এসএসডি ব্যবহার করে স্ট্যান্ডার্ড উপাদান ব্যবহার করে আর্কিটেকচারকে স্কেল করা যায়।
হাইয়ারারকি ইনডেক্সিং এবং জিপিইউ ত্বরণ
স্কেল ইনডেক্সিং মোকাবেলা করার জন্য, আইবিএম একাধিক উপ-ইন্ডেক্স সমন্বিত একটি শ্রেণিবদ্ধ সূচক মডেল তৈরি করেছে যা স্বাধীনভাবে অপ্টিমাইজ করা যেতে পারে।এই কাঠামোটি পুরো ডেটাসেটকে ব্যাহত না করেই ইনক্রিমেন্টাল আপডেট এবং স্থানীয় পুনরায় সূচককে সক্ষম করে, উভয় উপলব্ধতা এবং অপারেশনাল দক্ষতা উন্নত।
জিপিইউ ত্বরণ শুধুমাত্র সিপিইউ পদ্ধতির তুলনায় সূচকীকরণের সময়কে ব্যাপকভাবে হ্রাস করে। এনভিআইডিআইএ জিপিইউ ব্যবহার করে সিপিইউতে ঘন্টা সময় লাগতে পারে এমন কাজগুলি কয়েক মিনিটের মধ্যে সম্পন্ন করা যেতে পারে। পরীক্ষায়,১০০ বিলিয়ন ভেক্টরের জন্য ইন্ডেক্স তৈরি করতে ৬ টি এনভিডিয়া এইচ২০০ জিপিইউ ব্যবহার করে ৪ দিন সময় লেগেছে, একটি ডুয়াল সকেট সিপিইউ সিস্টেমে আনুমানিক 120 দিনের তুলনায়।
ভেক্টর এবং সূচক সহ সম্পূর্ণ ডেটাসেটটি প্রায় 153 টিআইবি স্টোরেজ ব্যবহার করেছিল। প্রাথমিক ডেটা লোডিং এবং পার্টিশনিং নয় দিন সময় নিয়েছে।ফলে সিস্টেমটি ৯০% রিকল সহ ৬৯৪ এমএসের একটি গড় ক্যোয়ারী লেটেন্সি প্রদান করে, অত্যাধিক শক্তির ভিত্তিতে সত্য গণনার সাথে বৈধ।
রোডম্যাপ
আইবিএম এবং এনভিআইডিআইএ প্ল্যাটফর্মটি অপ্টিমাইজ করা অব্যাহত রেখেছে, সূচক এবং ক্যোয়ারী বিলম্ব হ্রাসের দিকে মনোনিবেশ করছে। বর্তমান লক্ষ্যগুলির মধ্যে এক দিনের মধ্যে 100 বিলিয়ন বা তার বেশি ভেক্টর সূচক অন্তর্ভুক্ত রয়েছে,তথ্য গ্রহণের সময়কাল ৯ দিন থেকে কমিয়ে ১ দিন করা, এবং 90 শতাংশ পুনরুদ্ধার বজায় রেখে 50-100 মিলিসেকেন্ডের পরিসরে অনুসন্ধানের বিলম্ব হ্রাস করে।
স্ট্যান্ডার্ড ফাইল সিস্টেমে ভেক্টর ইনডেক্সিংকে একীভূত করার লক্ষ্য বাস্তবায়নকে সহজতর করা এবং এন্টারপ্রাইজ এআই গ্রহণের ক্ষেত্রে বাধা হ্রাস করা। RAG ক্ষমতা সরাসরি স্টোরেজে এম্বেড করে,আইবিএম এআই-সক্ষম অবকাঠামোর জন্য একটি ভিত্তি স্তর হিসাবে সিএএস অবস্থান করছে.
বেইজিং চিয়ানসিং জিয়েটং টেকনোলজি কোং লিমিটেড।
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
হোয়াটসঅ্যাপ / ওয়েচ্যাটঃ +৮৬ ১৩৪২৬৩৬৬৮২৬
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইটঃ www.qianxingdata.com/www.storagesserver.com
ব্যবসায়িক ফোকাসঃ
আইসিটি প্রোডাক্ট বিতরণ/সিস্টেম ইন্টিগ্রেশন ও সার্ভিসেস/ইনফ্রাস্ট্রাকচার সমাধান
২০+ বছরের আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা বিশ্বব্যাপী শীর্ষস্থানীয় ব্র্যান্ডগুলির সাথে অংশীদার হয়ে নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করি।
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
হোয়াটসঅ্যাপ / ওয়েচ্যাটঃ +৮৬ ১৩৪২৬৩৬৬৮২৬
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইটঃ www.qianxingdata.com/www.storagesserver.com
ব্যবসায়িক ফোকাসঃ
আইসিটি প্রোডাক্ট বিতরণ/সিস্টেম ইন্টিগ্রেশন ও সার্ভিসেস/ইনফ্রাস্ট্রাকচার সমাধান
২০+ বছরের আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা বিশ্বব্যাপী শীর্ষস্থানীয় ব্র্যান্ডগুলির সাথে অংশীদার হয়ে নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করি।