logo
বাড়ি মামলা

৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে

সাক্ষ্যদান
চীন Beijing Qianxing Jietong Technology Co., Ltd. সার্টিফিকেশন
চীন Beijing Qianxing Jietong Technology Co., Ltd. সার্টিফিকেশন
ক্রেতার পর্যালোচনা
বেইজিং Qianxing Jietong প্রযুক্তি কোং, লিমিটেডের বিক্রয় কর্মীরা খুব পেশাদার এবং ধৈর্যশীল। তারা দ্রুত কোটেশন প্রদান করতে পারেন. পণ্যের মান এবং প্যাকেজিংও খুব ভালো। আমাদের সহযোগিতা খুবই মসৃণ।

—— 《ফেস্টফিং ডিভি》LLC

যখন আমি জরুরীভাবে ইন্টেল CPU এবং Toshiba SSD খুঁজছিলাম, তখন বেইজিং Qianxing Jietong Technology Co., Ltd-এর Sandy আমাকে অনেক সাহায্য করেছিল এবং আমার প্রয়োজনীয় পণ্যগুলি দ্রুত পেয়েছিল। আমি সত্যিই তার প্রশংসা.

—— কিটি ইয়েন

Beijing Qianxing Jietong Technology Co.,Ltd-এর স্যান্ডি একজন অত্যন্ত সতর্ক সেলসম্যান, যিনি সার্ভার কেনার সময় আমাকে কনফিগারেশন ত্রুটির কথা মনে করিয়ে দিতে পারেন। প্রকৌশলীরা খুব পেশাদার এবং দ্রুত পরীক্ষার প্রক্রিয়াটি সম্পূর্ণ করতে পারে।

—— স্ট্রেলকিন মিখাইল ভ্লাদিমিরোভিচ

বেইজিং কিয়ানক্সিং জিয়েটং-এর সাথে কাজ করার অভিজ্ঞতা নিয়ে আমরা খুবই খুশি। পণ্যের গুণমান চমৎকার, এবং ডেলিভারি সবসময় সময় মতো হয়। তাদের বিক্রয় দল পেশাদার, ধৈর্যশীল এবং আমাদের সমস্ত প্রশ্নের উত্তর দিতে খুবই সহায়ক। আমরা তাদের সমর্থনকে সত্যিই মূল্যায়ন করি এবং দীর্ঘমেয়াদী অংশীদারিত্বের জন্য অপেক্ষা করছি। অত্যন্ত সুপারিশকৃত!

—— আহমাদ নাভিদ

গুণমানঃ ¢আমার সরবরাহকারীর সাথে দুর্দান্ত অভিজ্ঞতা। মাইক্রোটিক আরবি 3011 ইতিমধ্যে ব্যবহৃত হয়েছিল, তবে এটি খুব ভাল অবস্থায় ছিল এবং সবকিছু নিখুঁতভাবে কাজ করে। যোগাযোগ দ্রুত এবং মসৃণ ছিল,এবং আমার সকল উদ্বেগ দ্রুত সমাধান করা হয়খুব নির্ভরযোগ্য সরবরাহকারী ঃ অত্যন্ত সুপারিশ ঃ

—— জেরান কোলেসিও

তোমার দর্শন লগ করা অনলাইন চ্যাট এখন

৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে

March 12, 2026
সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে
কিছু সার্ভার কেবল বিদ্যমান ক্ষমতা উন্নত, অন্যরা সম্পূর্ণরূপে redefine কি সম্ভব হয় এবং Dell PowerEdge R7725xd দৃঢ়ভাবে দ্বিতীয় শ্রেণীর মধ্যে পড়ে।যখন 24 Micron 9550 PRO PCIe Gen5 NVMe SSD এবং চারটি 2x 200GbE নেটওয়ার্ক ইন্টারফেস কার্ড (NIC) দিয়ে সজ্জিত করা হয়, এই 2U সার্ভারটি আমরা যে কোনও সিস্টেমের তুলনায় উচ্চতর কাঁচা স্টোরেজ থ্রুপুট অর্জন করেছে। অভ্যন্তরীণভাবে প্ল্যাটফর্মটি তার NVMe স্টোরেজ পুল জুড়ে 300 গিগাবাইট / সেকেন্ডেরও বেশি থ্রুপুট বজায় রেখেছে,এবং নেটওয়ার্কের উপর, এটি অপ্রয়োজনীয় জটিলতা যুক্ত না করেই স্ট্যান্ডার্ড আরডিএমএ প্রযুক্তি ব্যবহার করে 160 গিগাবাইট / সেকেন্ড সরবরাহ করেছে।
 
সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  0
 
ডেল পাওয়ার এজ R7725xd
এটি কেবল একটি দ্রুত স্টোরেজ সার্ভারের চেয়ে অনেক বেশি; এটি এমন একটি সিস্টেম যা ডেটা-নিবিড় কম্পিউটিংয়ের স্থাপত্যকে রূপান্তরিত করে।আজকের এআই প্রশিক্ষণ এবং অনুমান পাইপলাইনগুলি প্রায়শই জিপিইউ প্রসেসিং পাওয়ার দ্বারা সীমাবদ্ধ হয় না, তবে যে গতিতে ডেটা মঞ্চায়িত, স্ট্রিম করা, মিশ্রিত এবং চেকপয়েন্ট করা যেতে পারে। উচ্চ-পারফরম্যান্স জিপিইউ নোডগুলি যদি স্টোরেজ সিস্টেমগুলি তাদের ডেটা চাহিদার সাথে তাল মিলিয়ে রাখতে না পারে তবে তারা অলস বসে থাকবে।এই সীমাবদ্ধতা কাটিয়ে উঠতে, দলগুলি প্রায়শই ক্যাশে, অতিরিক্ত সরবরাহিত হার্ডওয়্যার এবং জটিল স্তরের কৌশলগুলির উপর নির্ভর করে যাতে অ্যাক্সিলারেটরগুলি তাদের বিনিয়োগকে ন্যায়সঙ্গত করার জন্য পর্যাপ্ত দ্রুত ডেটা গ্রহণ করে।
 
ডেল পাওয়ার এজ R7725xd এই সমস্যা সমাধান করে। সার্ভারটি ২৪ বে U.2 ব্যাকপ্লেনের চারপাশে নির্মিত।প্রতিটি ড্রাইভ একটি ডেডিকেটেড PCIe Gen5 x4 লিঙ্ক পেয়ে যা সরাসরি AMD EPYC CPU কমপ্লেক্সের সাথে সংযোগ স্থাপন করেফ্যান-আউট ডিজাইন থেকে কোনও ব্যান্ডউইথ থ্রোটলিং নেই এবং সমান্তরালতা হ্রাস করতে কোনও মিডপ্লেন এক্সপ্যান্ডার ব্যবহার করা হয় না।পারফরম্যান্স মসৃণভাবে স্কেল করে কারণ হার্ডওয়্যারটি সংস্থান বিতর্ক ছাড়াই সমষ্টিগত থ্রুপুট ডিজাইন করা হয়েছে. একটি সাধারণ ২-সকেট কনফিগারেশনে, সিপিইউগুলি ইন্টার-সকেট যোগাযোগের জন্য ৪ টি এক্সজিএমআই সংযোগের মাধ্যমে সংযুক্ত থাকে। R7725xd এ,এই লিংকগুলির মধ্যে একটি CPU প্রতি অতিরিক্ত 16 লেন PCIe Gen5 যোগ করার জন্য পুনরায় ব্যবহার করা হয়, যার ফলে সার্ভারে সামগ্রিকভাবে 160 টি পিসিআইই জেনারেল 5 লেন 96 টি সামনের এসএসডি বেগুলিতে বরাদ্দ করা হয়েছে এবং 64 টি চারটি পিছনের পিসিআইই স্লটগুলির জন্য সংরক্ষিত রয়েছে। When paired with Micron’s 9550 PRO SSDs—designed for sustained write workloads and high endurance—the system becomes a high-throughput data engine capable of supporting checkpoint-heavy and continuous streaming workloads.
 
আমরা এই আর্কিটেকচারের উপরে পিইএকেঃএআইও বাস্তবায়ন করেছি যাতে সমান্তরাল জমা দেওয়ার পথগুলিকে কাজে লাগানো যায় এবং সমান্তরালতা বাড়ার সাথে সাথে দক্ষতা বজায় রাখা যায়।ফলাফলটি কেবলমাত্র চিত্তাকর্ষক শীর্ষ কর্মক্ষমতা ছিল না, তবে ভারী লোডের অধীনে ধারাবাহিকভাবে চলমান কর্মক্ষমতা ছিল. প্ল্যাটফর্মটি প্রিপ্রসেসিং, প্রশিক্ষণ, বা ডেটা রূপান্তরের জন্য স্থানীয় এক্সিকিউশন নোড হিসাবে কাজ করতে পারে, অথবা এটি নেটওয়ার্কের মাধ্যমে একাধিক জিপিইউ সিস্টেমে উচ্চ ব্যান্ডউইথ স্টোরেজ সরবরাহ করতে পারে।যারা সীমানা অতিক্রম করতে চায় তাদের জন্য, এটি একই সময়ে উভয় কাজই করতে পারে।
 

মূল বিষয়

  • একক নোডে অভূতপূর্ব থ্রুপুট:R7725xd অভ্যন্তরীণ ব্যান্ডউইথের 300 গিগাবাইট / সেকেন্ড এবং NVMe-oF RDMA এর মাধ্যমে 160 গিগাবাইট / সেকেন্ড ধরে রেখেছিল, একটি 2 ইউ চ্যাসির অভ্যন্তরে মাল্টি-নোড স্টোরেজ ক্লাস্টারগুলির সাথে প্রতিদ্বন্দ্বিতা করে।
  • সত্যিকারের জেনারেল ৫ আর্কিটেকচার, কোন সুইচ নেই, কোন ফ্যান-আউট নেই:সমস্ত 24 মাইক্রন 9550 প্রো এসএসডিগুলি সরাসরি সিপিইউ কমপ্লেক্স থেকে ডেডিকেটেড এক্স 4 পিসিআইই জেনার 5 লেনগুলি গ্রহণ করে, যা বিতর্ক ছাড়াই লাইন-রেট স্কেলিংয়ের অনুমতি দেয়।
  • এএমডি ইপিওয়াইসি ৯০০৫ সিরিজ দ্বারা চালিতঃদ্বৈত এএমডি ইপিওয়াইসি 9575 এফ প্রসেসরগুলি ধারাবাহিক উচ্চ-সমকক্ষ I / O এর জন্য প্রয়োজনীয় লেনের সংখ্যা, মেমরি ব্যান্ডউইথ এবং NUMA টোপোলজি সরবরাহ করে।
  • এআই, অ্যানালিটিক্স এবং চেকপয়েন্ট-হাইভ ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছেঃসিস্টেমটি আধুনিক জিপিইউ পাইপলাইনগুলিকে আটকাতে পারে এমন আই / ও বোতলগলা দূর করে, অবিচ্ছিন্ন, উচ্চ-ব্যান্ডউইথ ডেটা বিতরণ সক্ষম করে।
  • PEAK:AIO সম্পূর্ণ সমান্তরালতা আনলক করে:PEAK: AIO এর সফটওয়্যার স্ট্যাক লোডের অধীনে সারি কাঠামোগুলিকে স্যাচুরেট রাখে, একটি আকর্ষণীয় ডলার-প্রতি-জিবি অনুপাতের সাথে এন্টারপ্রাইজ পারফরম্যান্স সরবরাহ করে।
এনভিএমই থ্রুপুটের জন্য বিশেষভাবে নির্মিত
সর্বশেষ প্রজন্মের সার্ভারগুলির মধ্যে, ডেল স্টোরেজ-ঘন সার্ভার সেটআপগুলিতে পিসিআইই সুইচগুলি অন্তর্ভুক্ত করা থেকে সরে গেছে। পাওয়ারএজ আর 770 এবং আর 7725 এর মতো মডেলগুলিতে পিসিআইই জেনারেল 5 এক্স 4 বে রয়েছে,১৬ টি পর্যন্ত এসএসডি সহ কনফিগারেশন সমর্থন করে, এবং বৃহত্তর স্টোরেজ ব্যাকপ্লেন সেটআপগুলি ব্যবহার করার সময় এক্স 2 বেগুলিতে স্যুইচ করুন। পূর্ববর্তী প্রজন্মের সার্ভারগুলি যেমন পাওয়ারএজ আর 760 24-বে এনভিএম কনফিগারেশনে একটি পিসিআইই স্যুইচ অন্তর্ভুক্ত করেছে।পিসিআইই সুইচগুলির দ্বারা উত্পাদিত বিল্ডগুলিকে সহজতর করতে এবং জটিলতা দূর করতে, নতুন সার্ভারগুলি স্টোরেজ-ঘন কনফিগারেশনে পিসিআইএলই লেনের সংখ্যা হ্রাস করার পদ্ধতি গ্রহণ করেছে। তবে, R7725xd এর আগমনের সাথে এটি পরিবর্তিত হয়েছে।
 
স্ট্যান্ডার্ড R7725 এবং R7725xd এর মধ্যে মূল পার্থক্য হল যে প্ল্যাটফর্মগুলি কীভাবে পিসিআইইউ রুট-কম্প্লেক্স সংস্থান বরাদ্দ করে। বেস R7725 স্টোরেজ, জিপিইউ সম্প্রসারণ,এবং সাধারণ উদ্দেশ্য I/O¢xd¢ ভেরিয়েন্ট এই রিসোর্স বাজেটকে পুনরায় বরাদ্দ করে এনভিএম উপসিস্টেমকে পিসিআইই ব্যান্ডউইথের প্রাথমিক গ্রাহক করে তোলে। 24 ইউ 2 বেগুলি সরাসরি সিপিইউ এর পিসিআইই জেনার 5 রুটের সাথে সংযুক্ত থাকে,প্রতিটি এসএসডি একটি পিসিআইই সুইচ বা রি-টাইমার গাছের মাধ্যমে উপলব্ধ একটি ভাগ করা আপলিংকের পরিবর্তে নিজস্ব এক্স 4 এন্ডপয়েন্ট পেয়ে থাকেএটি প্রতিটি ড্রাইভকে স্বাধীন ক্যু স্ট্রাকচার এবং মেমরি কন্ট্রোলারের দিকে পরিচালিত স্বাধীন ডিএমএ পাথ প্রদান করে।
 
সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  1
 
ব্যাকপ্লেন এবং রিজার টপোলজি NVMe পারফরম্যান্সে এই ফোকাসকে প্রতিফলিত করে। ডেল উভয় AMD EPYC সকেটে NVMe সংযোগকারী এবং PCIe স্লট বিতরণ করে,তাই প্রতিটি প্রসেসর ড্রাইভ সেট একটি অংশ উপর সরাসরি নিয়ন্ত্রণ আছে. ব্যবহারিকভাবে এটি দুটি সমান্তরাল এনভিএম ডোমেন তৈরি করে, প্রতিটি স্থানীয় বিলম্বের বৈশিষ্ট্য এবং সম্পূর্ণ পাঠ / লেখার সমান্তরালতার সাথে।তাদের স্লট স্থাপন প্রতিটি এনআইসিকে সংশ্লিষ্ট এনভিএম গ্রুপের সাথে সারিবদ্ধ একটি পিসিআইএল ডোমেইনে থাকার অনুমতি দেয়NVMe-over-RDMA এর অধীনে, এর অর্থ হল নেটওয়ার্ক ট্র্যাফিক স্থানীয়ভাবে সংশ্লিষ্ট ড্রাইভ I/O পরিচালনা করে এমন সকেটে থাকে,ইন্টার-সকেট ইনফিনিটি ফ্যাব্রিক হপ এড়ানো যা সাধারণত বিলম্ব যোগ করে এবং ভারী লোড অধীনে ব্যান্ডউইথ গ্রাস করে.
 
তাপীয় পারফরম্যান্সও ধারাবাহিক থ্রুপুটকে সমর্থন করে।2 ঘন জেনারেটর 5 কনফিগারেশনে একটি স্ট্যান্ডআউট পছন্দ রয়ে গেছে কারণ এটি প্রতিটি ডিভাইসের জন্য একটি সংজ্ঞায়িত বায়ু প্রবাহ চ্যানেল এবং পূর্বাভাসযোগ্য হিটসিঙ্ক পৃষ্ঠতল এলাকা সরবরাহ করে. R7725xd ′ এর উচ্চ স্ট্যাটিক চাপের ফ্যান মডিউল এবং চ্যাসি নলগুলি সমস্ত 24 টি খাল জুড়ে স্থিতিশীল বায়ু প্রবাহ বজায় রাখে, যা সম্পূর্ণ ড্রাইভের লেখার ওয়ার্কলোডগুলি স্ট্রোটিং ছাড়াই অবিচ্ছিন্নভাবে চলতে সক্ষম করে।যান্ত্রিক নকশা বৈদ্যুতিক স্থাপত্যের পরিপূরক: প্রতিটি ড্রাইভ পূর্ণ হার কর্মক্ষমতা বজায় রাখতে পারেন কারণ প্ল্যাটফর্ম লোড অধীনে 24 সমান্তরাল Gen5 ডিভাইস শীতল করার জন্য ডিজাইন করা হয়.
 
রুট-কম্প্লেক্স সারিবদ্ধতা, ধারাবাহিক নন-ইউনিফর্ম মেমরি অ্যাক্সেস (এনইউএমএ) লেন লেআউট, সকেট-সচেতন এনআইসি স্থানান্তর এবং তাপীয়ভাবে স্থিতিশীল ইউ এর এই সংমিশ্রণ।2 প্যাকেজিং সিস্টেমকে স্কেলে লাইন রেট I / O অর্জন করতে দেয়এই আর্কিটেকচারটি বোতল ঘা দূর করে এবং পারফরম্যান্সের সম্ভাব্যতা সর্বাধিক করে তোলে।
 
Dell PowerEdge R7725xd iDRAC 10 ওভারভিউ
অনেক অন্যান্য 17th জেনারেশন প্ল্যাটফর্মের মত যা আমরা পরীক্ষা করেছি, এই প্রজন্মের R7725xd Dell এর নতুন iDRAC 10 প্ল্যাটফর্মের বৈশিষ্ট্যগুলি দূরবর্তী ব্যবস্থাপনা, স্বাস্থ্য পর্যবেক্ষণ,এবং ব্যান্ডের বাইরে নিয়ন্ত্রণ. ড্যাশবোর্ড ভিউ সামগ্রিক সিস্টেম অবস্থা, স্টোরেজ অবস্থা, এবং সাম্প্রতিক কার্যকলাপের একটি তাত্ক্ষণিক ওভারভিউ প্রদান করে। আমাদের পরীক্ষার ইউনিট জন্য সিস্টেম এবং স্টোরেজ স্বাস্থ্য রিপোর্ট একটি সবুজ অবস্থা দেখায়,সার্ভারটি প্রত্যাশিত হিসাবে কাজ করছে তা নিশ্চিত করে. মডেল, হোস্ট নাম, BIOS সংস্করণ, আইডিআরএসি ফার্মওয়্যার স্তর, আইপি ঠিকানা এবং লাইসেন্সিং তথ্য সহ প্রধান সিস্টেমের বিবরণ ইন্টারফেসের ডানদিকে প্রদর্শিত হয়।
 
ড্যাশবোর্ডে একটি টাস্ক সংক্ষিপ্তসার প্যানেল রয়েছে যা সম্পন্ন, মুলতুবি এবং চলমান ক্রিয়াকলাপগুলি দেখায়। এর নীচে,সাম্প্রতিক ঘটনা একটি লগ চ্যাসি অনুপ্রবেশ সতর্কতা এবং পাওয়ার সাপ্লাই বার্তা captures, গভীর মেনুতে নেভিগেট করার প্রয়োজন ছাড়াই হার্ডওয়্যার অবস্থা পরিবর্তনগুলিতে দ্রুত দৃশ্যমানতা সরবরাহ করে। ভার্চুয়াল কনসোল প্যানেলটি নীচের ডানদিকে অবস্থিত, যা সম্পূর্ণ রিমোট কেভিএম নিয়ন্ত্রণ সক্ষম করে.
 

সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  2

iDRAC 10 এর স্টোরেজ বিভাগটি R7725xd এ ইনস্টল করা সমস্ত শারীরিক ডিস্কের একটি সম্পূর্ণ ওভারভিউ উপস্থাপন করে। সংক্ষিপ্ত প্যানেলটি সমস্ত সংযুক্ত ড্রাইভের উচ্চ স্তরের গণনা প্রদর্শন করে,একটি চাক্ষুষ পাই চার্ট সহগামী যা ড্রাইভের অবস্থা চিত্রিত করে. এই কনফিগারেশনে, 24 টি এনভিএমই এসএসডি সক্রিয় এবং প্রস্তুত হিসাবে রিপোর্ট করছে, সিস্টেমে দুটি অতিরিক্ত বুট ডিভাইস উপস্থিত রয়েছে, প্রাথমিক ফ্রন্ট এনভিএমই ব্যাংক থেকে পৃথক।

ডানদিকে, ডিস্কগুলির সংক্ষিপ্তসার প্যানেলটি এগুলিকে শারীরিক ডিস্ক এবং কোনও সম্পর্কিত ভার্চুয়াল ডিস্কে বিভক্ত করে। যেহেতু R7725xd প্রচলিত RAID কন্ট্রোলার ছাড়াই সরাসরি NVMe আর্কিটেকচার ব্যবহার করে,সমস্ত ড্রাইভকে নন-আরএআইডি এবং স্বতন্ত্রভাবে ঠিকানাযোগ্য হিসাবে রিপোর্ট করা হয়, যা বড় এনভিএমই পুল এবং এসডিএস প্ল্যাটফর্মের জন্য সিস্টেমের নকশার সাথে সামঞ্জস্যপূর্ণ।

স্থিতি সংক্ষিপ্তসারটির নীচে, সম্প্রতি লগ করা স্টোরেজ ইভেন্ট অঞ্চলটি বে এবং স্লট দ্বারা সংগঠিত প্রতিটি পিসিআইই এসএসডি এর জন্য সন্নিবেশ লগগুলি তালিকাভুক্ত করে।এই রেকর্ড সব ড্রাইভ bays মধ্যে সঠিক সনাক্তকরণ নিশ্চিত করে এবং আসন সঙ্গে কোনো সমস্যা সনাক্ত করতে সাহায্য করে, ক্যাবলিং, বা হট-সোয়াপ কার্যকলাপ। বড় স্থাপনার জন্য, এই লগগুলি ড্রাইভ সরবরাহের ট্র্যাকিং বা প্রত্যাশিত হিসাবে ক্ষমতা পূরণ করা হয়েছে কিনা তা যাচাই করার জন্য দরকারী।

সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  3

চূড়ান্ত স্ক্রিনশটটি আইডিআরএসি 10 এর মধ্যে বিস্তারিত এনভিএম ডিভাইস ভিউ দেখায়। সিস্টেমে ইনস্টল করা প্রতিটি এনভিএম ড্রাইভ তার অবস্থা, ক্ষমতা এবং বে অবস্থানের সাথে তালিকাভুক্ত করা হয়।একটি পৃথক ড্রাইভ নির্বাচন তার বৈশিষ্ট্য একটি সম্পূর্ণ ভাঙ্গন খোলে.

এই উদাহরণে, ড্রাইভ তথ্য প্যানেলটি সম্পূর্ণ মডেল স্ট্রিং, ডিভাইস প্রোটোকল, ফর্ম ফ্যাক্টর এবং আলোচনা করা পিসিআইই সেটিংগুলি প্রদর্শন করে।এনভিএমই ডিভাইসগুলি একটি আলোচনাযুক্ত এক্স 4 সংযোগের সাথে 32 জিটি / সেকেন্ডের লিঙ্ক গতিতে চলছে, যা নিশ্চিত করে যে ড্রাইভগুলি সিস্টেমের PCIe Gen5 ব্যাকপ্লেনে পূর্ণ ব্যান্ডউইথের সাথে কাজ করছে। তথ্য বিভাগে ধৈর্যের শতাংশ, উপলব্ধ রিপ্লে স্টেট এবং প্রোটোকল টাইপও রিপোর্ট করা হয়,প্রশাসকদের ড্রাইভ স্বাস্থ্য এবং জীবনচক্র প্রত্যাশা নিরীক্ষণ সাহায্য.

এই গ্রানুলার ড্রাইভ রিপোর্টিং উচ্চ ঘনত্বের NVMe কনফিগারেশনে মূল্যবান যেখানে লিঙ্ক প্রস্থ, আলোচনার গতি এবং মিডিয়া স্বাস্থ্য সরাসরি ওয়ার্কলোড আচরণ এবং স্টোরেজ কর্মক্ষমতা প্রভাবিত করে।

সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  4

সামগ্রিকভাবে, আইডিআরএসি 10 ইন্টারফেসটি R7725xd ′s NVMe স্টোরেজ আর্কিটেকচারের একটি পরিষ্কার, হার্ডওয়্যার-কেন্দ্রিক দৃশ্য সরবরাহ করে, যা লিঙ্ক স্বাস্থ্য, ড্রাইভের অবস্থা,এবং এক নজরে সিস্টেম অখণ্ডতা.

Dell PowerEdge R7725xd পারফরম্যান্স

পরীক্ষার আগে, আমাদের সিস্টেমটি ভারসাম্যপূর্ণ কিন্তু উচ্চ-কার্যকারিতা লোডআউট দিয়ে কনফিগার করা হয়েছিল। সিস্টেমটি দুটি AMD EPYC 9575F প্রসেসর দিয়ে সজ্জিত, প্রতিটিতে 64 উচ্চ-ফ্রিকোয়েন্সি কোর রয়েছে,এবং ২৪ টি ৩২ গিগাবাইট ডিডিআর৫ ডিআইএমএম এর সাথে জুটিবদ্ধ, যা ৬৪০০ এমটি/সেকেন্ডে কাজ করে. স্টোরেজের জন্য, চ্যাসিটি 24 15.36TB মাইক্রন 9550 প্রো ইউ 2 এনভিএম এসএসডি দিয়ে সম্পূর্ণভাবে ভরাট, প্রতিটি একটি ডেডিকেটেড পিসিআইই জেনারেল 5 এক্স 4 লিঙ্কের মাধ্যমে সংযুক্ত। এটি 368.64 টিবি মোট কাঁচা ক্ষমতা সরবরাহ করে,এবং মাইক্রন 9550 প্রো ড্রাইভ 14 পর্যন্ত ক্রমাগত পড়া গতি প্রদান,000 এমবি / সেকেন্ড এবং 10,000 এমবি / সেকেন্ড পর্যন্ত ধারাবাহিক লেখার গতি। নেটওয়ার্কিং চারটি ব্রডকম বিসিএম 57608 অ্যাডাপ্টার দ্বারা পরিচালিত হয় যা একত্রিত আটটি 200 গিগাবাইট পোর্ট সরবরাহ করে,একটি BCM57412 OCP NIC এর সাথে দুটি অতিরিক্ত 10 গিগাবিট পোর্ট সরবরাহ করে.

সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  5

পরীক্ষার সিস্টেমের স্পেসিফিকেশন

  • সিপিইউঃ2x AMD EPYC 9575F 64-কোর হাই-ফ্রিকোয়েন্সি প্রসেসর
  • স্মৃতিঃ24x 32GB DDR5 @ 6400MT/s
  • সঞ্চয়স্থান:24x 15.36TB মাইক্রন 9550 প্রো ইউ 2 ড্রাইভ (প্রতিটি পিসিআইই জেনার 5 এর 4x লেনগুলিতে সংযুক্ত); উচ্চতর ক্ষমতা সহ আজ 128TB ড্রাইভ পর্যন্ত সমর্থন করে
  • নেটওয়ার্কঃ4x ব্রডকম BCM57608 2x200G NIC, 1x BCM57412 2x10Gb OCP NIC
  • সুইচঃডেল পাওয়ার সুইচ Z9664

এফআইও পারফরম্যান্স বেঞ্চমার্ক

পাওয়ার এজ R7725xd এর স্টোরেজ পারফরম্যান্স পরিমাপ করার জন্য, আমরা শিল্প-মানক মেট্রিক্স এবং FIO টুল ব্যবহার করেছি। এই বিভাগে আমরা নিম্নলিখিত FIO বেঞ্চমার্কগুলিতে ফোকাস করিঃ

  • র্যান্ডম 4K ¢ 1M
  • ধারাবাহিক 4K 1M
সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  6

এফআইও ∙ স্থানীয় ∙ ব্যান্ডউইথ

ডেল পাওয়ার এজ R7725xd এর ভিতরে 24 PCIe Gen5 NVMe ড্রাইভের স্থানীয় অ্যাক্সেসের পরীক্ষা করার সময়,সিস্টেম আপনি একটি প্ল্যাটফর্ম থেকে আশা করবে ঠিক কি দেখায় যেখানে প্রতিটি ড্রাইভ একটি পূর্ণ x4 লেন PCIe Gen5 লিঙ্ক ব্যবহার করে CPUs সংযুক্ত করা হয়. কোন নেটওয়ার্ক স্তর জড়িত, এই Dell এর Gen5 স্টোরেজ লেআউট এবং AMD EPYC প্ল্যাটফর্মের PCIe ব্যান্ডউইথের বিশুদ্ধ, অভ্যন্তরীণ থ্রুপুট সীমাবদ্ধতা ছাড়াই কাজ করে।

ধারাবাহিক পাঠ 184 গিগাবাইট / সেকেন্ডে 4 কে ব্লকের সাথে শুরু হয় এবং ব্লকের আকার বাড়ার সাথে সাথে দ্রুত স্কেল হয়। 512 কে থেকে 1 এম পর্যন্ত সার্ভারটি ধারাবাহিক 312 থেকে 314 গিগাবাইট / সেকেন্ড বজায় রাখে,যা একটি শক্তিশালী ইঙ্গিত দেয় যে সিস্টেমটি কোনও নিয়ামক-পর্যায়ের বোতলঘাট ছাড়াই সমস্ত 24 × 4 জেনার 5 লেনকে টেকসই পাঠ্য ব্যান্ডউইথের মধ্যে একত্রিত করতে পারে.

ধারাবাহিক লেখাগুলি একটি ভিন্ন বক্ররেখা অনুসরণ করে তবে প্রত্যাশিত পরিসরে দৃ firm়ভাবে থাকে। 149 গিগাবাইট / সেকেন্ড থেকে শুরু করে, ফলাফলগুলি 100 এর দশকের মাঝামাঝি পর্যন্ত বৃদ্ধি পায় এবং 1 মিলিয়ন এ 182 গিগাবাইট / সেকেন্ডে পৌঁছে যায়।এটি মাইক্রন 9550 প্রো এসএসডিগুলির লেখার আচরণের সাথে সামঞ্জস্যপূর্ণ এবং উচ্চ সমান্তরাল এনভিএমের অন্তর্নিহিত ওভারহেডটি অনেকগুলি স্বাধীন ডিভাইসে লিখেছে.

র্যান্ডম রিড পারফরম্যান্স আরেকটি হাইলাইট। সিস্টেমটি ক্ষুদ্রতম ব্লক আকারে প্রায় 300 গিগাবাইট / সেকেন্ডের গতি অর্জন করে, মাঝারি পরিসরে সামান্য ড্রপ,এবং তারপর বড় ব্লক মাপ উপর উপরের 200s এবং নিম্ন 300s পুনরুদ্ধার১ এম এ, র্যান্ডম রিডস সর্বোচ্চ ৩১৮ গিগাবাইট / সেকেন্ডে পৌঁছায়, যা প্ল্যাটফর্মের 24 টি ড্রাইভ জুড়ে মিশ্র অপারেশনগুলি সমানভাবে বিতরণ করার ক্ষমতা প্রদর্শন করে।

এলোমেলো লেখাগুলি কম হারে আসে, যা বিস্তৃত এনভিএমই সেট জুড়ে ছড়িয়ে থাকা মেটাডেটা এবং লেখার বরাদ্দকরণ কাজের জন্য সাধারণ।ফলাফলগুলি বেশিরভাগ পরীক্ষার জন্য 140 থেকে 160 গিগাবাইট / সেকেন্ডের মধ্যে থাকে এবং 1 এম এ 100 গিগাবাইট / সেকেন্ডের নিচে কিছুটা হ্রাস পায়.

সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  7

এফআইও ∙ স্থানীয় ∙ আইওপিএস

আইওপিএসের দিকে পরীক্ষা করার সময়, R7725xd শক্তিশালী ছোট ব্লক কর্মক্ষমতা প্রদর্শন করে,বৃহত্তর ব্লক আকার একটি ব্যান্ডউইথ-চালিত প্রোফাইলের দিকে ওয়ার্কলোড স্থানান্তর করার আগে অনুরোধের হার কয়েক মিলিয়ন পর্যন্ত পৌঁছানোর সাথে.

৪ কে তে, পাঠ করা হয়েছে ৪৪.৯ মিলিয়ন আইওপিএস এবং লেখা হয়েছে ৩৬.৩ মিলিয়ন।সমস্ত ড্রাইভ জুড়ে উচ্চ-ক্যুইজ ওয়ার্কলোডগুলি দক্ষতার সাথে বিতরণ করার সিস্টেমের ক্ষমতা প্রদর্শন করাব্লকের আকার বাড়ার সাথে সাথে এই মানগুলি স্বাভাবিকভাবেই হ্রাস পায়, তবে 8K, 16K এবং 32K পরিসরে অগ্রগতি ধারাবাহিক থাকে।

১৬ কে এবং ৩২ কে ব্লকের মধ্যে, পাঠগুলি ১৭.৪ মিলিয়ন এবং ৮.৩৫ মিলিয়ন আইওপিএসে স্থির হয়, যার মধ্যে এলোমেলো পাঠগুলি ১৬.৫ মিলিয়ন এবং ৮.১৫ মিলিয়ন। লেখাগুলি প্রত্যাশিত প্যাটার্ন অনুসরণ করে,নিম্ন ট্র্যাকিং কিন্তু উভয় ধারাবাহিক এবং এলোমেলো অ্যাক্সেস প্যাটার্ন জুড়ে স্থিতিশীল থাকা.

যখন আমরা ৬৪ কে এবং তার উপরে চলে যাই, তখন পরীক্ষাগুলি খাঁটি আইওপিএস থেকে আরও ব্যান্ডউইথ-বদ্ধ পরিস্থিতিতে চলে যায়। আইওপিএস কম মিলিয়ন পরিসরে পড়ে এবং শেষ পর্যন্ত কয়েকশো হাজার।1M ব্লকের আকারে, আইওপিএস পড়তে প্রায় 300K জমি, প্রায় 174K লিখুন, এবং এলোমেলো অপারেশন একই আশপাশের শেষ.

সামগ্রিকভাবে, স্থানীয় আইওপিএসের ফলাফলগুলি স্পষ্টভাবে দেখায় যে সিস্টেমটি ছোট ব্লকগুলিতে খুব উচ্চ ক্যু গভীরতার ওয়ার্কলোডগুলি বজায় রাখার ক্ষমতা রাখে।ট্রান্সফার বাড়ার সাথে সাথে পূর্বাভাসযোগ্য স্কেলিং এবং ব্যান্ডউইথ প্রভাবশালী ফ্যাক্টর হয়ে ওঠে.

সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  8

কেন ডেল পাওয়ারএজ R7725xd এই কাজের চাপ ফিট করে

PEAK: AIO এমন পরিবেশের জন্য ডিজাইন করা হয়েছে যা অত্যন্ত দ্রুত, কম বিলম্বের অ্যাক্সেসের চাহিদা রাখে, সাধারণত এআই প্রশিক্ষণ, অনুমান পাইপলাইন, আর্থিক মডেলিং এবং রিয়েল-টাইম বিশ্লেষণের জন্য।প্ল্যাটফর্মটি ঘন এনভিএম স্টোরেজে উন্নতি করে, সুষম পিসিআইই ব্যান্ডউইথ, এবং স্কেলে ভবিষ্যদ্বাণীযোগ্য বিলম্ব।অবলম্বনকারী হার্ডওয়্যারটি একই সাথে ভারী লোডের অধীনে ধারাবাহিক এবং পুনরাবৃত্তিযোগ্য পারফরম্যান্স বজায় রেখে ধারাবাহিক প্রবাহ সরবরাহ করতে হবে.

এখানে ডেল পাওয়ারএজ R7725xd স্বাভাবিকভাবেই PEAK:AIO এর সাথে সারিবদ্ধ হয়। সিস্টেমের আর্কিটেকচারটি PCIe Gen5 সংস্থানগুলিকে সর্বাধিকতর করার জন্য ডিজাইন করা হয়েছে, এর 24 ফ্রন্ট-মাউন্ট ইউ এর সম্পূর্ণ ব্যান্ডউইথ প্রকাশ করে।2 NVMe বে সরাসরি CPU তেএই বিন্যাসটি পিইএকেঃএআইওকে আধুনিক এনভিএম-ভিত্তিক ডেটা পাইপলাইন থেকে প্রত্যাশিত সমান্তরালতা এবং বিলম্বের প্রোফাইল দেয়।সিস্টেম কনফিগারেশন NVMe এসএসডি দুটি RAID0 গ্রুপে বিভক্ত.

সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  9

পরীক্ষিত দৃশ্যকল্পে, আমরা R7725xd এর সাথে সংযুক্ত দুটি ক্লায়েন্ট সিস্টেম ব্যবহার করেছি, প্রতিটি ব্রডকম BCM57608 2x 200G NIC দিয়ে সজ্জিত। যা প্রতিটি ক্লায়েন্টে খাওয়ানো মোট চারটি 200G আপলিংক তৈরি করেছে,R7725xd একটি বাস্তবসম্মত উচ্চ কর্মক্ষমতা কনফিগারেশনে ধাক্কা যা PEAK কি প্রতিফলিতএই স্তরের নেটওয়ার্ক ব্যান্ডউইথ আমাদের NVMe সাবসিস্টেম, PCIe টপোলজি,এবং সিপিইউ এনআইসি স্তর এ বোতল ঘা ছাড়া interconnects.

ফলাফলটি একটি প্ল্যাটফর্ম যা কার্যকরভাবে পিইএকেঃএআইও ওয়ার্কলোডগুলির সাথে সারিবদ্ধ হয়। R7725xd ঘন NVMe ক্ষমতা, পিসিআইই জেনার 5 থ্রুপুট, সমান্তরালতার জন্য দ্বৈত AMD EPYC 9005 প্রসেসর সরবরাহ করে,এবং প্রতি ক্লায়েন্টের শত শত গিগাবিট এ মাল্টি-ক্লায়েন্ট ডেটা ইনজেকশন বজায় রাখার নেটওয়ার্কিং ক্ষমতাএই সমস্ত বৈশিষ্ট্য PEAK:AIO এর পারফরম্যান্স প্রত্যাশা অর্জনের জন্য মৌলিক।

PEAK:AIO ️ NVMe-of RDMA ️ ব্যান্ডউইথ

PEAK: AIO সহ PowerEdge R7725xd-এ NVMe-oF RDMA ব্যান্ডউইথের ফলাফলগুলি পরীক্ষা করে, সামগ্রিক প্রবণতাটি আমরা এই PCIe এবং নেটওয়ার্ক ব্যান্ডউইথের সাথে একটি সিস্টেম থেকে যা আশা করি তা ঠিক।ব্লকের আকার বাড়ার সাথে সাথে, প্ল্যাটফর্মের ব্যবহারিক সীমার কাছাকাছি স্থিতিশীল হওয়া পর্যন্ত সঞ্চালন দ্রুত বৃদ্ধি পায়।

ছোট ব্লকের আকারে, পারফরম্যান্স উভয়ই পড়ার এবং লেখার জন্য 20 গিগাবাইট / সেকেন্ডের মাঝামাঝি পরিসরে শুরু হয়, যা স্বাভাবিক কারণ 4K এবং 8K স্থানান্তরগুলি আইওপিএস পথকে থ্রুপুট পথের চেয়ে অনেক বেশি চাপ দেয়।একবার আমরা 16K এবং 32K ব্লক পেতে, পাইপলাইনটি খোলা হয়। পাঠগুলি 32K এ প্রায় 154 গিগাবাইট / সেকেন্ডে ঝাঁপিয়ে পড়ে এবং 160 গিগাবাইট / সেকেন্ডের পরিসরে আরোহণ অব্যাহত রাখে, যা ঠিক যেখানে আমরা চারটি 200 গিগাবাইট / সেকেন্ডের ল্যান্ডিংয়ের উপর দ্বৈত ক্লায়েন্ট সেটআপ আশা করব।

র্যান্ডম রিড পারফরম্যান্স মিরর প্রায় নিখুঁতভাবে ক্রমিক।তাই এলোমেলো পাঠ ব্যান্ডউইথ মূলত ধারাবাহিক পাঠ ব্যান্ডউইথ সব পথ আপ ট্র্যাক, প্রায় 159 থেকে 161 গিগাবাইট / সেকেন্ডে 32K থেকে 1M পর্যন্ত স্থিতিশীল। এটি ইঙ্গিত দেয় যে মিশ্র অ্যাক্সেস প্যাটার্নগুলির অধীনে স্টোরেজ স্ট্যাকটি বোতল ঘা নেই,এবং R7725xd ¢ s PCIe টপোলজি 24 Gen5 NVMe ড্রাইভ জুড়ে লোড সমানভাবে বিতরণ করা হয়.

লেখার পারফরম্যান্স অনুরূপ বক্ররেখা অনুসরণ করে, যদিও এটি পাঠের তুলনায় কিছুটা কম। মধ্যম আকারের ব্লকগুলির মাধ্যমে ক্রমিক লেখাগুলি 140 থেকে 148 গিগাবাইট / সেকেন্ডের পরিসরে থাকে,প্রায় 117 গিগাবাইট / সেকেন্ডে 128K এ ডুব দেওয়া কিন্তু ব্লকের আকার বৃদ্ধি হিসাবে পুনরুদ্ধার করা. র্যান্ডম লেখাগুলি ভিন্ন আচরণ করে এবং 110-117 গিগাবাইট / সেকেন্ডের কাছাকাছি সমতল হয়, যা মিশ্র-কোয়াইড ওয়ার্কলোডগুলির জন্য স্বাভাবিক যা অতিরিক্ত ওভারহেড প্রবর্তন করে।

এই বিভাগ থেকে মূল বিষয় হল যে R7725xd এর NVMe-oF এর উপর অত্যন্ত উচ্চ ব্যান্ডউইথ বজায় রাখতে কোনও সমস্যা নেই, এমনকি একাধিক ক্লায়েন্ট সিস্টেমটিকে তার সীমাতে চালিত করে।একবার ব্লকের আকার 32K বা তার বেশি হলে, সার্ভার ধারাবাহিকভাবে তার উপলব্ধ নেটওয়ার্ক এবং স্টোরেজ ব্যান্ডউইথ saturates. এই ঠিক কর্মক্ষমতা PEAK:AIO ধরনের নিষ্কাশন করার জন্য ডিজাইন করা হয়,এই ফলাফলগুলিকে বাস্তব বিশ্বের অবস্থার অধীনে প্ল্যাটফর্মের স্কেল করার ক্ষমতাকে শক্তিশালীভাবে যাচাই করে.

সম্পর্কে সর্বশেষ কোম্পানী কেস ৩০০ জিবি/সেকেন্ড ২ইউ-তে: Dell PowerEdge R7725xd স্টোরেজ পারফরম্যান্সের প্রত্যাশা নতুন করে সংজ্ঞায়িত করছে  10

পিইএকে আইওও ∙ এনভিএম-ওএফ আরডিএমএ আইওপিএস

আইওপিএসের দিক থেকে, পাওয়ার এজ R7725xd শক্তিশালী ছোট ব্লক পারফরম্যান্স প্রদর্শন করে, যদিও আমরা প্রাথমিকভাবে প্রত্যাশার চেয়ে কম সংখ্যা পর্যবেক্ষণ করেছি;এই সমস্যাটি ভবিষ্যতে উন্নত নেটওয়ার্ক ড্রাইভার সাপোর্ট দিয়ে সমাধান করা হবে বলে আশা করা হচ্ছেএমনকি এটি খেলার সাথে, সামগ্রিক স্কেলিং প্রবণতা ঠিক যেমন NVMe-of RDMA সাধারণত আচরণ করে যখন ব্লক আকার বৃদ্ধি পায়।

ক্ষুদ্রতম ব্লকের আকারে, সিস্টেমটি ধারাবাহিক এবং এলোমেলো উভয় ওয়ার্কলোড জুড়ে 6 মিলিয়নেরও বেশি আইওপিএস সরবরাহ করতে পারে। পড়ুন, লিখুন, এলোমেলোভাবে পড়ুন,এবং র্যান্ডম লিখুন সব 4K এবং 8K এ প্রায় একই পরিসরে বসতে, যা নির্দেশ করে যে ফ্রন্ট-এন্ড ক্লায়েন্ট, পিসিআইই অবকাঠামো এবং এনভিএমএ ড্রাইভগুলি নিজেই অনুরোধের হারের সাথে চলতে সমস্যা হয় না।

ব্লক আকার বৃদ্ধি হিসাবে, IOPS প্রত্যাশিত ড্রপ শুরু হয়. 32K এ, পড়া জমি প্রায় 4.7 মিলিয়ন IOPS, যখন লিখেছে ট্রেইল সামান্য পিছনে প্রায় 4.4 মিলিয়ন. র্যান্ডম লিখেছে এখানে সবচেয়ে বড় হিট নিতে,প্রায় ৩.৩ মিলিয়ন আইওপিএসে নেমেছে, যা মিশ্র অ্যাক্সেস প্যাটার্ন দ্বারা প্রবর্তিত অতিরিক্ত সারি এবং সিপিইউ ওভারহেডের সাথে সামঞ্জস্যপূর্ণ।

বড় বড় ব্লকগুলোতে, আইওপিএস একটি পূর্বাভাসযোগ্য রৈখিক পদ্ধতিতে হ্রাস পেতে থাকে। যখন আমরা ২৫৬ কে এবং ৫

যোগাযোগের ঠিকানা
Beijing Qianxing Jietong Technology Co., Ltd.

ব্যক্তি যোগাযোগ: Ms. Sandy Yang

টেল: 13426366826

আমাদের সরাসরি আপনার তদন্ত পাঠান (0 / 3000)