الأنفس جي تجميع جديد

المصدر: معهد ماساتشوستس للتكنولوجيا

المحرر: ليو شياو تشين

[استعراض فاز جي الجديدة بالإجماع علوم الحاسوب ومختبر الذكاء الاصطناعي (CSAIL) في الباحثون MIT تصميم جهاز يستخدم ذاكرة فلاش رخيصة فقط باستخدام أجهزة الكمبيوتر الشخصية سوف تكون قادرة على التعامل مع الكثير من الرسومات، والآلاف من الدولارات متناول الخادم التقليدي الأداء. ويعتقد الباحثون أن هذا سوف يتغير تماما الطريقة التي نتعامل بها مع البيانات الكبيرة.

في البيانات لغة العلمي، الشكل (الرسم البياني) وهو يشير إلى هيكل لرسم خرائط لعدد كبير من العلاقات البيانات المعقدة من العقد (العقد) وخط الاتصال (خطوط الربط) في. الرسم البياني هو مفيد في كثير من التطبيقات، مثل رتبة صفحة، تحليل الشبكات الاجتماعية للحصول على الرأي السياسي، أو رسم تحليل بنية الخلايا العصبية في الدماغ.

ومع ذلك، فإن حجم كبير من الرسوم البيانية والمليارات من العقد التي تتكون على مستوى TB خط لا يمكن أن يتحقق. عادة، وتجهيز بيانات الخريطة يتطلب استهلاك الطاقة الكبيرة عبر عدة الخادم في تكلفة A ذاكرة الوصول العشوائي الديناميكية (DRAM) نفذت.

في الآونة الأخيرة، MIT علوم الحاسوب ومختبر الذكاء الاصطناعي صمم (CSAIL) الباحثون جهاز يستخدم غير مكلفة ذاكرة فلاش (من النوع الذي يستخدم في الهواتف الذكية)، واستخدام واحد فقط PC سوف تكون قادرة على التعامل مع عدد كبير من الرسومات.

ويضم الجهاز ذاكرة فلاش رقاقة مجموعة (FIG 8 رقائق باللون الأسود) ومحسوب "مسرع" (يسار رقاقة مجموعة). الباحثون اقتراح خوارزمية جديدة، كل طلب الوصول إلى البيانات رسومات للذاكرة فلاش يمكن فرز ترتيب يسهل الوصول إليها، فضلا عن العديد من طلبات دمج لخفض التكاليف الفرز.

فلاش رقاقة ذاكرة مجموعة + calcd مسرع، ومن فئة خادم أداء الروافد PC

عند معالجة بيانات الصورة، ذاكرة فلاش عادة أبطأ بكثير من DRAM. ومع ذلك، فقد طور الباحثون جهازا وذاكرة فلاش رقاقة مجموعة الحوسبة "مسرع" تتألف من ذاكرة فلاش يمكن تحقيق أداء مماثل لDRAM.

جهاز القيادة هو خوارزمية جديدة، والتي يمكن أن يتم فرز جميع طلبات الوصول إلى بيانات الخريطة في ذاكرة فلاش بسرعة وسهولة أجل الوصول إليها. فإنه سيتم أيضا بعض الطلبات الاندماج للحد من تكلفة تسلسل - مزيج من الوقت الحوسبة والذاكرة وعرض النطاق الترددي، وموارد الحوسبة الأخرى.

الباحثون العملية باستخدام جهاز من FIG عدة كبيرة مع العديد من أنظمة عالية الأداء التقليدية، بما في ذلك واسع بيانات ويب العموم ارتباط تشعبي الرسم البياني، الرسم البياني 3.5 مليار و128000000000 العقد خطوط اتصال. للتعامل مع هذا الرسم البياني، فإن النظام التقليدي تكلف آلاف الدولارات في خادم و128GB من DRAM. الباحثان الأجهزة الجديدة (DRAM والذاكرة فلاش مجموعه 1TB من 1GB) الوصول إلى أجهزة الكمبيوتر المكتبية، والحصول على نفس الأداء. وعلاوة على ذلك، من خلال الجمع بين العديد من الأجهزة يمكن التعامل مع أكبر FIG - ما يصل إلى أربعة مليارات و 128000000000 العقد الذي يربط سلك - أنظمة أخرى لا يمكن التعامل مع الخادم 128G على FIG.

الباحثون جهازين (DRAM والذاكرة فلاش مجموعه 1TB من 1GB) الوصول إلى جهاز كمبيوتر سطح المكتب، يمكنك الحصول على نفس الأداء مع الآلاف من الدولارات في الخوادم التقليدية.

"الشيء الأكثر أهمية هو، يمكننا استخدام طاقة أقل وأقل وأقل درجة حرارة الجهاز لا يزال هو نفس الأداء." ونشرت الدراسة في الحاسوب الدولية لهذا العام: CSAIL طالب دراسات عليا، المؤلف الأول، وقال سانغ وو يونيو الهندسة المعمارية ورشة عمل نظام (ISCA) جرا.

ويمكن استخدام الجهاز للحد من التكاليف المرتبطة تحليل الرسوم البيانية واستهلاك الطاقة، وحتى يمكن تحسين الأداء في العديد من التطبيقات. على سبيل المثال، يقوم الباحثون حاليا على تطوير برنامج يمكن تحديد الجينات التي تسبب السرطان. جوجل وغيرها من شركات التكنولوجيا الكبيرة يمكن أيضا الاستفادة من هذه الأجهزة عن طريق استخدام عدد أقل من الأجهزة لتشغيل تحليل للحد من استهلاك الطاقة.

وقال استاذ علوم الكومبيوتر والهندسة ارفيند "الرسومات (معالجة الرسم البياني) هي فكرة شائعة جدا،" متعاون الدراسة، "بيج رانك والاختبارات الجينية ان تكون مشتركة؟ بالنسبة لنا، أنها هي نفسها المشكلات الحسابية، ولكن معاني مختلفة في مختلف الرسم البياني التعبير ".

وكذلك شارك في تأليف اثنين من طلاب الدراسات العليا CSAIL Shuotao شو واندي رايت، وSizhuo زارة تشانغ الهندسة الكهربائية وعلوم الحاسوب.

الفرز لحد من الخوارزمية

في تحليل FIG، وقيمة النظام وفقا لاتصال والمقاييس الأخرى من العقد مع العقد الأخرى للبحث وتحديث العقدة. على سبيل المثال، ترتيب الصفحة، كل عقدة تمثل صفحة. إذا العقدة A يحتوي على قيمة أعلى، وتوصيلها إلى العقدة B، ثم عقدة B زيادة قيمة.

في نظام DRAM التقليدية، مما يجعلها جميع بيانات الخرائط المخزنة في معالجة سريعة للبيانات، ولكن يؤدي أيضا إلى استهلاك مكلفة والسلطة. وبعض الأنظمة أن تكون جزءا من البيانات المخزنة على فلاش لتفريغ، أرخص بهذه الطريقة، ولكن بوتيرة أبطأ، أقل كفاءة، وبالتالي لا يزال يتطلب الكثير من DRAM.

تعمل على ما يسمى البحوث CSAIL وتطوير أجهزة جديدة "ترتيب-الحد على "الخوارزمية التي يحل مشكلة كبيرة مع استخدام ذاكرة فلاش كمصدر التخزين الرئيسي: نفاية .

يحتاج نظام تحليل الرسم البياني للوصول إلى مسافة طويلة بين بعضها البعض من خلال عدد كبير من العقد، هيكل الرسم البياني متفرق. النظام عادة مباشرة الوصول إلى بيانات طلب بايت 4-8، لتحديث قيمة عقدة. تقدم DRAM سريع جدا الوصول المباشر. ومع ذلك، فإن ذاكرة فلاش يمكن فقط الوصول إلى البيانات من 4KB إلى 8KB كتل، ولكن لا يزال تحديث قليلة فقط بايت. في نمط التقديم، يضيع كل تكرار عرض النطاق الترددي وصول الطلب.

الفرز لحد خوارزمية بدلا باستخدام جميع طلبات الوصول المباشر، ونوع لهم في ترتيب معرفات معرف عرض طلب جهة - على سبيل المثال، كافة التحديثات إلى العقدة A في مجموعة، وكل إسناد إلى عقدة B. وبهذه الطريقة، وذاكرة فلاش يمكن الوصول إليها في وقت واحد طلب قطع من حجم آلاف كيلوبايت، وبالتالي تحسين الكفاءة بشكل كبير.

من أجل إنقاذ القدرة الحاسوبية وعرض النطاق الترددي، في حين أن خوارزمية حزمة البيانات مجتمعة إلى أصغر ممكن . طالما سجل خوارزمية مطابقة معرف، فإنه سيتم تحميل البيانات إلى حزم البيانات - على سبيل المثال، A1 و A2 الدمج إلى A3. هذا النهج الذي يتكرر عدة مرات، وخلق حزم أصغر مع معرف المطابقة، حتى يمكن طلب حزمة الحد الأدنى. هذا يقلل بدرجة كبيرة من عدد الطلبات الوصول مكررة.

واستخدم الباحثون نوعا-يقلل الخوارزمية على اثنين من الرسوم البيانية كبيرة، وسوف يتم تحديث كافة البيانات في ذاكرة الفلاش بنسبة حوالي 90 .

معجل مخصص

ومع ذلك، من أجل المضيف، وكمية كبيرة من حساب الفرز يقلل الخوارزمية. ولذلك، فإن الباحثين إضافة مسرع مخصصة في الجهاز. يعمل مسرع كنقطة وسيطة بين المضيف ورقاقة ذاكرة فلاش، وينفذ كل حساب الخوارزمية. هذا التسريع يقلل بشكل ملحوظ من استهلاك الطاقة، لذلك يمكنك استخدام PC المنخفضة للسلطة أو جهاز الكمبيوتر المحمول كمضيف لإدارة البيانات فرزها وأداء المهام قاصر أخرى.

وقال أرفيند: "تم استخدام مسرع أصلا لمساعدة حساب المضيف، ولكن تظهر النتائج الحالية، المضيف يصبح أقل أهمية".

"MIT لهذا العمل يبرهن على وجود طريقة جديدة لإجراء تحليل على خريطة كبيرة جدا: ذاكرة فلاش استخدام الرسومات تخزين واستخدام FPGA (الدوائر المتكاملة مخصصة) مع طرق مبتكرة لأداء البيانات المطلوبة معالجة وتحليل،" دي وقالت جامعة تكساس في أوستن أستاذ علوم الكمبيوتر كيشاف Pingali "، على المدى الطويل، وهذا قد يتسبب في النظام لمعالجة كميات كبيرة من البيانات على الكمبيوتر المحمول أو المكتبي، والتي سوف بكفاءة تماما تغيير الطريقة التي نتعامل بها مع البيانات الكبيرة . "

قال باحثون MIT أنه نظرا لالمضيفين انخفاض استهلاك الطاقة، الهدف على المدى الطويل هو خلق منصة والبرامج المشتركة والمكتبات لتطوير تطبيق الخوارزميات الخاصة المستخدم هو خارج تحليل الرسم البياني. وقال جون: "يمكنك وضع هذا البرنامج في الكمبيوتر المحمول، تحميل البرنامج، ومن ثم كتابة برنامج بسيط، يمكنك الحصول على أداء من الدرجة الخادم على جهاز الكمبيوتر المحمول الخاص بك."

الأصل: HTTP: //news.mit.edu/2018/device-allows-personal-computer-process-huge-graphs-0531