Bengali
গুগল ক্লাউড নেক্টে, গুগল তার অষ্টম প্রজন্মের এআই অ্যাক্সিলারেটর উন্মোচন করেছেঃ প্রশিক্ষণের জন্য টিপিইউ ভি 8 টি সানফিশ এবং অনুমানের জন্য টিপিইউ ভি 8 আই জ্যাব্রাফিশ, নতুন ভার্গো ডেটা সেন্টার ফ্যাব্রিকের পাশাপাশি।এজেন্টিক এআই যুগের জন্য তৈরি, এই চিপগুলি বড় মিশ্রণ-অফ-বিশেষজ্ঞ (এমওই) মডেল প্রশিক্ষণের জন্য অনুকূলিত এবং কম বিলম্বিত টোকেন ব্যয়-কার্যকর মূল্যের সাথে পরিবেশন করে। একই হোস্ট প্ল্যাটফর্ম এবং আন্তঃসংযোগ ফ্যাব্রিক ভাগ করে নেওয়ার সময়,v8t এবং v8i মেমরিতে ভিন্ন, এসআরএএম, টপোলজি এবং হার্ডওয়্যার বিশেষীকরণ।
একটি ভি৮টি সুপারপড ৯৬০০ চিপকে ২ পিবি এইচবিএম সহ সমর্থন করে এবং ১২১ ইএফএলওপিএস এফপি৪ কম্পিউটিং সরবরাহ করে, যা পূর্ববর্তী আইরনউড প্রজন্মের পারফরম্যান্সের প্রায় তিনগুণ। ভি৮আই স্কেলগুলি ১,০০০ পর্যন্ত।২৮৮ জিবি এইচবিএম এবং ৩৮৪ এমবি অন-চিপ এসআরএমের সাথে ১৫২ টি চিপআইরনউডের তুলনায় ৮০% বেশি খরচ-কার্যকারিতা প্রদান করে।৪৭ পিবি/সেকেন্ডের নন-ব্লকিং ব্যান্ডউইথ প্রদান করে ৪ গুণ উচ্চতর গতির গতি এবং ৪০% কম লেটেন্সি.
মৌলিক টিপিইউ আর্কিটেকচার বনাম জিপিইউ
টিপিইউ হল কাস্টম এএসআইসি যা বড় ম্যাট্রিক্স মাল্টিপ্লাই ইউনিট (এমএক্সইউ), সফ্টওয়্যার-পরিচালিত এসআরএএম এবং সময়-আগাম সংকলন দ্বারা চিহ্নিত। জিপিইউ এর গতিশীল ছোট-কোর সময়সূচী থেকে ভিন্ন,টিপিইউতে সিস্টোলিক অ্যারে সহ নির্ধারক ডেটা প্রবাহ রয়েছে, ঘন ম্যাট্রিক্স ওয়ার্কলোডগুলিতে উচ্চতর ফ্লপস ব্যবহারের জন্য ক্যাশে জিটটার এবং ওয়ার্প প্রোগ্রামিং ওভারহেড দূর করে। তবে টিপিইউগুলি গতিশীল আকারের সাথে লড়াই করে,অনিয়মিত স্পারসিটি এবং জটিল গ্রাফ নেটওয়ার্ক, একই সাথে JAX এবং XLA দ্বারা প্রভাবিত আরও সংকীর্ণ সফ্টওয়্যার ইকোসিস্টেম সমর্থন সরবরাহ করে।
স্পারসিটি সাপোর্টের কাঠামোগত পার্থক্যটি স্পষ্টভাবে টিপিইউ এবং জিপিইউকে আলাদা করে। এনভিআইডিএ টেনসর কোরগুলি স্থানীয়ভাবে নির্দেশ-স্তরের সংকোচনের মাধ্যমে 2:4 কাঠামোগত স্পারসিটি সমর্থন করে। এর বিপরীতে,টিপিইউ সিস্টোলিক অ্যারেগুলি শক্ত লকস্টেপে কাজ করে, পাইপলাইন স্টল বা অতিরিক্ত ডিকম্প্রেশন হার্ডওয়্যার ছাড়াই শূন্য-স্কিপিং অকার্যকর করে তোলে।
টিপিইউগুলি টেবিলগুলি এমবেডিং এবং এমওই রাউটিংয়ের জন্য অনিয়মিত সংগ্রহ-বিচ্ছিন্নকরণ কাজগুলি পরিচালনা করতে স্পারসকোরগুলিকে সংহত করে। এই বিশেষায়িত কোরগুলি বাছাই, পারমিটেশন এবং ডেটা পুনরায় সাজানোর ক্ষেত্রে দুর্দান্ত,সুপারিশের কাজের চাপ এবং বিশেষজ্ঞের টোকেন প্রেরণ যা স্ট্যান্ডার্ড এমএক্সইউগুলি দক্ষতার সাথে প্রক্রিয়া করতে পারে না.
টিপিইউ ভি৮টি সানফিশঃ প্রশিক্ষণ ত্বরণকারী
ভি 8 টি প্রশিক্ষণ চিপটি 216 জিবি এইচবিএম 3 ই মেমরি এবং 128 এমবি এসআরএএম দিয়ে সজ্জিত। নেটিভ এফপি 4 নির্ভুলতা প্রতি চক্রের থ্রুপুট দ্বিগুণ করে, একক-চিপ কম্পিউটিংকে 12.6 পিএফএলওপিএসে ঠেলে দেয়।এটি একটি 3D torus interconnect এবং আপগ্রেড 19.2 Tb/s ICI ব্যান্ডউইথ, বড় আকারের প্রশিক্ষণে রিং-ভিত্তিক সমষ্টিগত যোগাযোগের জন্য আদর্শ।
উত্তরাধিকারসূত্রে প্রাপ্ত স্পারসকোরগুলি এমওই অনিয়মিত সমস্ত-সবার ডেটা সংক্রমণকে অনুকূল করে তোলে। দুটি সমালোচনামূলক আপগ্রেড বড় আকারের বোতলঘাটগুলি ভেঙে দেয়ঃটিপিডিরেক্ট আরডিএমএ এবং টিপিডিরেক্ট স্টোরেজ সরাসরি টিপিইউ মেমরি অ্যাক্সেস সক্ষম করতে হোস্ট সিপিইউ বাইপাস করেএছাড়াও, v8t হোস্ট প্রসেসর হিসাবে গুগলের আর্ম-ভিত্তিক অ্যাকশন সিপিইউ গ্রহণ করে।সিঙ্ক্রোনাইজড মাল্টি-চিপ প্রশিক্ষণের জন্য হোস্ট জিটার বিচ্ছিন্ন করা এবং প্রিপ্রসেসিং স্থিতিশীলতা বাড়ানো.
টিপিইউ ভি৮আই ∆জেব্রাফিশ ∆: ইনফারেন্স অ্যাক্সিলারেটর
মেমরি-ব্যান্ডউইথ-বান্ধব inference workloads এর জন্য নির্মিত, v8i low-latency token generation কে অগ্রাধিকার দেয়।এটিতে 384 এমবি এসআরএএম রয়েছে যা আইরনউডের তুলনায় তিনগুণ বেশি, চিপটিতে কেভি ক্যাশে করতে এবং পুনরাবৃত্তি এইচবিএম পাঠ্য হ্রাস করতেদুটি টেনসরকোর এবং ২৮৮ জিবি এইচবিএম৩ই দিয়ে এটি ১০.১ পিএফএলওপিএস এফপি৪ কম্পিউটিং অর্জন করে, উচ্চতর স্থায়ী ব্যবহারের জন্য স্বল্প-বেচ অনুমানের কাজগুলি ওভারল্যাপ করে।
স্পারসকোরসকে প্রতিস্থাপন করে, ডেডিকেটেড কোলেক্টিভস অ্যাক্সিলারেশন ইঞ্জিন (সিএই) অন-চিপ সিঙ্ক্রোনাইজেশন লেটেন্সিকে 5x পর্যন্ত কমিয়ে দেয়, ঘন ঘন ছোট-বেজ সমষ্টিগত ক্রিয়াকলাপগুলি অনুকূল করে।V8i ড্রাগনফ্লাই-ভিত্তিক বোর্ডফ্লাই টপোলজির জন্য 3 ডি টরাস ত্যাগ করে, সর্বোচ্চ চিপ-টু-চিপ হপ ১৬ থেকে কমিয়ে ৭ করা এবং এমওই অল-টু-অল লেটেন্সি ৫০% কমিয়ে আনা।
কুমারী এবং বৃহস্পতি ফ্যাব্রিক শ্রেণিবিন্যাস
ভার্গো ইন্ট্রা-ডেটা সেন্টার স্কেল আউট ফ্যাব্রিক হিসেবে কাজ করে, পূর্ব-পশ্চিম এআই ট্র্যাফিকের জন্য ওভারসাবস্ক্রিপশন দূর করার জন্য একটি দ্বি-স্তরীয় নন-ব্লকিং আর্কিটেকচার গ্রহণ করে। এমইএমএস অপটিক্যাল সুইচ দ্বারা চালিত,এটি মিলিসেকেন্ড স্তরের ত্রুটি পুনরায় পরিচালনা করতে সক্ষম করে এবং ভি 8 টি সুপারপডগুলির জন্য 97% গুডপুট বজায় রাখে. জুপিটার এর সাথে মিলিত গুগলের দীর্ঘ দূরত্বের ক্রস-ডেটা সেন্টার ফ্যাব্রিক স্তরযুক্ত ইন্টারকানেকশন সিস্টেমটি একক লজিক্যাল ক্লাস্টারে এক মিলিয়নেরও বেশি টিপিইউ চিপকে সমর্থন করে।7 ZFLOPS মোট FP4 গণনা.
পারফরম্যান্স, টিসিও এবং মার্কেট পজিশন
উচ্চ গুডপুট এবং স্থিতিশীল মডেল ফ্লপ ব্যবহার (এমএফইউ) টিপিইউগুলিকে আকর্ষণীয় ব্যয় সুবিধা দেয়। 40% এমএফইউতে, টিপিইউ প্রশিক্ষণের ব্যয় এনভিআইডিআইএ জিবি 300 এর তুলনায় 62% কম। হার্ডওয়্যারের তুলনায়,v8t ঘনত্ব FP4 পারফরম্যান্স GB200 এবং GB300 মধ্যে অবস্থিত, যখন গুগল 9,600-চিপ একক পডের সাথে বড় আকারের ক্লাস্টারিংয়ে আধিপত্য বিস্তার করে, যা এনভিআইডিআইএর 72-জিপিইউ এনভিলিংক ডোমেনকে অতিক্রম করে।
ভবিষ্যতের দিকে তাকিয়ে, এনভিআইডিআইএ এর ভেরা রুবিন, রুবিন আল্ট্রা এবং কাইবার টিপিইউ এর পারফরম্যান্স ফাঁক 2026 থেকে 2027 পর্যন্ত হ্রাস করবে। টিপিইউ এর দুর্বলতাগুলির মধ্যে রয়েছে ছোট প্রতি-চিপ এইচবিএম,হার্ডওয়্যারের অভাব এবং সীমিত বাস্তুতন্ত্রের সামঞ্জস্যযাইহোক, গুগল এমওই ওয়ার্কলোডের জন্য ব্যাপক ক্লাস্টারিং, নির্ধারক বিলম্ব এবং ব্যয় দক্ষতার ক্ষেত্রে শক্তি বজায় রেখেছে।
গুগল টিপিইউ এবং এনভিআইডিআইএ জিপিইউ অবকাঠামো উভয়ই প্রসারিত করছে। মেটা ২০২৭ সাল থেকে বহু বিলিয়ন ডলারের টিপিইউ গ্রহণের চুক্তির পরিকল্পনা করছে। এজেন্টিক যুগের জন্য অনুকূলিত ডুয়াল-চিপ প্রজন্ম হিসাবে, মেটা ম্যাক্রোসফ্টের একটি নতুন প্রযুক্তির সাথে কাজ করছে।টিপিইউ ভি৮ সীমান্তের বড় আকারের এআই স্থাপনের জন্য এনভিআইডিআইএ গ্রেস-ব্ল্যাকওয়েল এর বিরুদ্ধে গুগলের প্রতিযোগিতামূলকতা নিশ্চিত করে.
বেইজিং চিয়ানসিং জিয়েটং টেকনোলজি কোং লিমিটেড।
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
হোয়াটসঅ্যাপ / ওয়েচ্যাটঃ +৮৬ ১৩৪২৬৩৬৬৮২৬
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইটঃ www.qianxingdata.com/www.storagesserver.com
ব্যবসায়িক ফোকাসঃ
আইসিটি প্রোডাক্ট বিতরণ/সিস্টেম ইন্টিগ্রেশন ও সার্ভিসেস/ইনফ্রাস্ট্রাকচার সমাধান
২০+ বছরের আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা বিশ্বব্যাপী শীর্ষস্থানীয় ব্র্যান্ডগুলির সাথে অংশীদার হয়ে নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করি।
স্যান্ডি ইয়াং/গ্লোবাল স্ট্র্যাটেজি ডিরেক্টর
হোয়াটসঅ্যাপ / ওয়েচ্যাটঃ +৮৬ ১৩৪২৬৩৬৬৮২৬
ইমেইল: yangyd@qianxingdata.com
ওয়েবসাইটঃ www.qianxingdata.com/www.storagesserver.com
ব্যবসায়িক ফোকাসঃ
আইসিটি প্রোডাক্ট বিতরণ/সিস্টেম ইন্টিগ্রেশন ও সার্ভিসেস/ইনফ্রাস্ট্রাকচার সমাধান
২০+ বছরের আইটি বিতরণ অভিজ্ঞতার সাথে, আমরা বিশ্বব্যাপী শীর্ষস্থানীয় ব্র্যান্ডগুলির সাথে অংশীদার হয়ে নির্ভরযোগ্য পণ্য এবং পেশাদার পরিষেবা সরবরাহ করি।