أعلنت شركة KIOXIA Europe اليوم عن نجاح عرض شركة KIOXIA لتوسيع نطاق البحث عن المتجهات عالية الأبعاد إلى 4.8 مليار متجه على خادم واحد باستخدام تقنية البحث التقريبي عن أقرب جار (ANNS) الخاصة بتقنية KIOXIA AiSAQ مفتوحة المصدر. بالإضافة إلى ذلك، أظهرت KIOXIA انخفاضًا كبيرًا في وقت بناء الفهرس من خلال الاستفادة من تسريع وحدة معالجة الرسومات عبر NVIDIA cuVS. يمثل هذان الإنجازان تقدمًا كبيرًا في حلول البحث في التوليد المُعزز بالاسترجاع (RAG). ولا يزال التطوير مستمرًا لدعم عمليات نشر على نطاق أوسع تتجاوز 4.8 مليار متجه.
إن وقت بناء الفهرس على قاعدة بيانات متجهات ضخمة هو نقطة ضعف حاسمة في هذا المجال. ولكن بالتعاون مع NVIDIA، حققت KIOXIA تحسنًا يصل إلى 20 ضعف وقت بناء فهرس KIOXIA AiSAQ للمتجهات عالية الأبعاد ذات 1024 بُعدًا، وتحسنًا يصل إلى 7.8 ضعف أوقات البناء من البداية إلى النهاية. يمثل هذا التحسين بمقدار 20 ضعفًا انخفاضًا من 28.4 يومًا باستخدام وحدة المعالجة المركزية إلى 1.4 يومًا باستخدام أربع وحدات معالجة رسومات NVIDIA Hopper لبناء الفهرس، وانخفاضًا من 31 يومًا إلى 4 أيام في الاختبار من البداية إلى النهاية.
قد تعتمد تطبيقات الذكاء الاصطناعي الآن على كميات أكبر من المعلومات الخاصة بالمتجهات التي تصل إلى عشرات المليارات من المتجهات وأكثر مخزنة على محركات أقراص SSD، بينما تصبح ذاكرة الوصول العشوائي الديناميكية (DRAM) وحدها غير عملية حتى على نطاق مليار متجه. تتيح KIOXIA بنية تخزين قابلة للتوسع بدرجة كبيرة باستخدام تقنية KIOXIA AiSAQ™ من خلال تحقيق بحث على نطاق مليار متجه، متجاوزة متطلبات زمن استجابة تطبيقات التوليد المُعزز بالاسترجاع (RAG) باستخدام خادم استعلام واحد في بيئة Milvus vectorDB مدعومة بتسريع وحدة معالجة الرسومات في عمليات بناء الفهرس التي تجعل عمليات النشر واسعة النطاق عملية.
قال جيسون هاردي، نائب رئيس تقنيات التخزين في NVIDIA :”تُعتبر قواعد بيانات المتجهات أساسًا للتطبيقات التي تحتاج إلى فهم النية والسياق والتشابه عبر مجموعات بيانات ضخمة وغير منظمة في الوقت الفعلي”. واضاف :”من خلال الاستفادة من الفهرسة التي يتم تسريعها بواسطة وحدة معالجة الرسومات مع مكتبة NVIDIA cuVS، تدعم KIOXIA قواعد بيانات المتجهات عالية الأبعاد التي يمكنها التوسع وبناء الفهارس بكفاءة غير مسبوقة”.
تم الإعلان لأول مرة العام الماضي عن تقنية البرمجيات مفتوحة المصدر KIOXIA AiSAQ، وهي تعالج تحديات قابلية التوسع في التوليد المُعزز بالاسترجاع (RAG) من خلال تمكين البحث عن المتجهات مباشرةً من محركات أقراص SSD، مع تقليل استخدام ذاكرة الوصول العشوائي الديناميكية (DRAM). توفر تقنية KIOXIA AiSAQ قابلية توسع عالية، مما يجعلها مناسبة لكل من البيئات متعددة المستخدمين وعمليات نشر الفهرس المتجانسة واسعة النطاق. تستفيد التقنية من خوارزمية الفهرسة العالمية المبتكرة التي تجمع بين التجميع المختلط والبحث البياني لتقديم بحث فعال عن المتجهات على نطاق واسع للغاية. مع خيارات الضبط المرنة التي تحقق التوازن بين الأداء وقابلية توسع المتجهات العالية، يجعل برنامج KIOXIA AiSAQ™ عمليات النشر واسعة النطاق أكثر سهولة في التوسع.
قال أكسل ستورمان، الرئيس التنفيذي للتقنية ونائب الرئيس في شركة KIOXIA Europe GmbH :”إن الوصول إلى بحث عن المتجهات قابل للتوسع على نطاق مليارات المتجهات على خادم واحد هو إنجاز كبير في هذا المجال”. واضاف :”بفضل البحث عن المتجهات المعتمد على محركات أقراص SSD في KIOXIA AiSAQ والفهرسة التي يتم تسريعها بواسطة وحدة معالجة الرسومات باستخدام NVIDIA cuVS، سنقلل أوقات بناء الفهرس من أسابيع إلى أيام – وهي خطوة حاسمة نحو تفعيل أنظمة التوليد المُعزز بالاسترجاع (RAG) واسعة النطاق”.
ما زالت KIOXIA ملتزمة بتطوير حلول الذكاء الاصطناعي المدفوعة بالتخزين التي تدعم معالجة البيانات الذكية على نطاق واسع، وتواصل تطوير KIOXIA AiSAQ لإجراء عمليات نشر لتريليونات المتجهات.
رابط لتنزيل برنامج KIOXIA AiSAQ مفتوح المصدر: https://github.com/kioxia-jp/aisaq-diskann.
