مذكرة لى فنغ الشبكة: صاحب البلاغ هو NVIADIA AR & VR فريق من العلماء مورغان ماجواير، في هذه المقالة، وتفاصيل الأفلام تقديم صورة، والألعاب، والآن VR صورة تقديم الخلافات، ويواجه VR في الجانب تقديم صورة ومن التحديات. في الوقت نفسه، ويقول أيضا قصة كيف NVIDIA GPU والبرمجيات في حل هذه المشاكل. هذا هو الجزء الأول من هذه المادة، شبكة لى فنغ جمعت على النحو التالي.
المؤلف: العلماء الدكتور مورغان ماجواير NVIADIA AR ومجموعة أبحاث VR. ساهمت له سلسلة من المباريات في Skylanders أكتيفيجن وفي THQ، نداء الواجب الأعجوبة في نهاية المطاف التحالف وتيتان كويست الإنتاج. شارك في تأليف كتاب المبادئ والممارسة: مورغان لا يزال الرسومات الدستور ورسومات الحاسوب. وفي الوقت نفسه، شغل أيضا منصب أعضاء هيئة التدريس في كلية وليامز وجامعة واترلو.
البحث NVIADIA البحوث في جميع أنحاء العالم، ونحن العلماء والجامعات المحلية لديها تعاون وثيق. وتشمل المجالات البحثية لدينا اتجاهات القيادة من تطبيقات متعددة، الروبوتات والصور لعبة الفيلم.
ابتكاراتنا في تجربة افتراضية كنت قد سمعت من بعض، مثل التركيز على تقديم تقنيات (نقيري تقديم)، والبصريات التكبير، والتصوير الثلاثي الأبعاد والمجالات البصرية. هذه المقالة سوف تصف بالتفصيل عملنا البحوث الحالية هو أكثر أهمية هو إظهار كيف انطلقنا من خلال سلسلة من الدراسات للتفاعل مع ثورة الكمبيوتر واقعا.
تم NVIDIA العمل لتحقيق أفضل GPU في العالم. دورنا في هذه الدراسة هو أن الخروج من التحسن المطرد للدورات المنتج، تسعى للتغيير الثوري وتطبيقات جديدة. نحن في الواقع الافتراضي من مفهوم المبكر للثورة الكمبيوتر.
أبحاث الرؤية
رؤيتنا هي: في المستقبل، سوف VR يكون واجهة في شكل من كافة أجهزة الكمبيوتر، واستبدال شاشة الهاتف، شاشة الكمبيوتر ولوحة المفاتيح وجهاز تلفزيون وجهاز التحكم عن بعد، وكذلك لوحات السيارات. نحن الراحة، مع المواد VR لتمثيل كل تجربة افتراضية (لا يهم عند اتخاذ ارتداء يعرض رئيس محمولة، إذا كنت تستطيع رؤية كل من العالم الحقيقي).
وضعنا هدفا لكافة الواجهات الكمبيوتر، لأننا في مهمة NVIDIA هو إيجاد تقنية ثورية، ولكن فقط عندما تصبح تقنية استخدام الناس اليومية، ويمكن أن يسمى ثوريا حقا. تقنية يجب أن تخترق تماما في حياتنا، يمكن أن يكون حقا لها تأثير. التكنولوجيا الأكثر أهمية هو شيء أن نأخذ أمرا مفروغا منه.
وإذا كان هدفنا هو أن جميع أجهزة الكمبيوتر واجهة على نطاق واسع، فإنه يجب أن نذكر VR تجربة اللعبة. أصبحت مباراة اليوم مجالا هاما من تطبيقات VR. NVIDIA لديها بالفعل المنتجات ذات الصلة، ويوفر بنية GPU لدينا أيضا الأساس لوظيفة VR جديدة. NVIDIA الألعاب على محمل الجد، ونحن نعتقد اعتقادا راسخا بأن VR سيجلب مفاجآت جديدة للعبة. ولكن القدرة الحقيقية للVR ليست مجرد لعبة، لأنها ليست سوى جزء من لعبة الكمبيوتر. لذلك علينا أن نبدأ من اللعبة VR، ولكن تم تمديد هذه التكنولوجيا لعمل ذات الصلة بالحاسوب والاجتماعية، واللياقة البدنية، والصحة، والسفر، والتكنولوجيا، ومجالات التعليم.
NVIDIA لديها وضع خاص والمساهمة في هذه الثورة VR. قبل عام 1999، وإدخال GPU الحديث، ونحن قد حولت الكمبيوتر المستهلك، وتوفير الحوسبة عالية الأداء. واليوم، جهاز الكمبيوتر الخاص بك، اللوحية، والهواتف المحمولة والسيارات والتلفزيون لها GPU لدينا، لأنها توفر يمكن تحقيق عدد كبير من القوة إلا مرة واحدة في العملاق بالنسبة لك. وبفضل كل مكان من GPU الجهاز، والآن يمكننا الاستمتاع رفع مستوى إنتاجية عالية، وسهولة الاستخدام ومجموعة متنوعة من تطبيقات الترفيه.
لجعل VR تصبح جزءا لا يتجزأ من حياتنا، يجب أن تكون أنظمة VR أكثر ملاءمة للاستخدام وغير مكلفة ودائم. لذلك نحن بناء جديدة تقنية العرض الرأس: نظارات رقيقة بدلا من استخدام الليزر والصور ثلاثية الأبعاد للرئيس مرهقة VR الحالي بشكل ملحوظ، ويمكن تطبيقه في مجموعة متنوعة من المسطحة، والهواتف المحمولة وأجهزة الكمبيوتر المحمولة، وهذه العملية أكثر بساطة، ويمكن أن تكون AR / بين VR / MR بسهولة تحويل ثلاثة أنماط، وسوف تحمل GPU والرسوم في البرنامج الجديد.
كل هذه الابتكارات وأشار التفاعل الكمبيوتر إلى اتجاه جديد، وبطبيعة الحال، كما طرح متطلبات جديدة: ليس فقط تحتاج إلى معدات أو برمجيات جديدة، ولكن في حاجة الى نظام VR جديدة. في NVIDIA، ونحن نستخدم الأدوات المتطورة، وأجهزة الاستشعار، والفيزياء، والذكاء الاصطناعي، والمعالجات، والخوارزميات وهياكل البيانات وتقنيات العرض لإنشاء مثل هذا النظام.
NVIADIA البحوث والتمسك عقل منفتح، من خلال نشر المجلات وفتح شفرة المصدر لتبادل نتائج البحوث لدينا. أولا، لتوضيح رؤيتنا للمستقبل AR / VR، نحن بحاجة إلى فهم كيفية الموجودة الأفلام والألعاب ويعمل نظام VR.
الفيلم تقديم صورة
الآن في كثير من الأحيان مزيج أفلام الحركة في هوليوود من أناس حقيقيين والحاسوب ولدت الصور (CGI) لتقديم تأثيرات بصرية مذهلة. تكنولوجيا CGI الحالية ناضجة جدا، ومشهد، وحتى في هوليوود يمكن لجميع أن تتولد عن طريق الكمبيوتر. في عام 2016، "Deadpool"، يتم تقديم الكوريغرافيا المشهد من كل كائن بواسطة الكمبيوتر بدلا من لقطة حقيقية، وليس الانفجارات عادلة والرصاص، وأيضا بما في ذلك المباني والمركبات والأفراد.
من الناحية الفنية، عالية الدقة الصور المرئية لإنشاء نظام الفيلم يمكن وصفها من قبل FIG التالية:
FIG مراحل متعددة، هو خلق مرحلة أقصى اليسار يليه الجسيمات، مثلث، الرسم البياني النمذجة الأولي من سطح التقسيم، حتى العارض النهائي. يستخدم العارض تقنية تسمى "مسار تتبع" خوارزمية للضوء على محاكاة في المشهد الظاهري.
بعد تقديم، ولكن أيضا تركيب صورة دليل ثنائي الأبعاد من لون ومرحلة ما بعد المعالجة. دورات هذه العملية تعديل بشكل مستمر ردود الفعل البصري مدير ومحرر والفنانين حتى العرض النهائي للجمهور. جودة الصورة من الفيلم هو الهدف الذي تسعى هذه الواقعية VR.
لعبة تقديم صورة
نظام تطورت إلى نظام مماثل لتصميم فيلم 3D لعبة. تعكس لعبة سعينا (حتى بعض التطبيقات غير الترفيه) للسرعة ومرونة في التفاعل VR. هو مبين أدناه نظام اللعبة الرسومات:
أنا هنا في عروض خاصة خط أنابيب التظليل المؤجلة، وهي الطريقة المستخدمة من قبل معظم الألعاب PC، لأنها توفر أعلى جودة الصورة ومعدل التدفق.
أفلام مماثلة، والألعاب، وأيضا يبدأ نظام الرسومات العملية الإبداعية، ولكن الفن والتصميم من اللعبة هو حلقة كبيرة، لأن اللعبة تحتاج لاعبين لإنتاج دورة تفاعلية. عندما يرى اللاعبين الكائنات على الشاشة، وقال انه سوف تتفاعل من خلال النقر على الزر الخاص به. لاعب سوف يدخل في الرسومات تجهيز خط أنابيب في إطار لاحق. هذه العملية هو "تأخر"، وإدخال اللاعب يستغرق وقتا طويلا لتحديث الإطار التالي. من أجل السماح للاعبين للحصول ردود الفعل الفورية، لعبة الفيديو التقليدية، يجب أن يكون هذا التأخير أقل من 150ms، بل هو تحد للحفاظ على هذا النظام الكمون الألعاب منخفضة.
ومع ذلك، هناك العديد من العوامل التي يمكن أن تزيد من تأخير. على سبيل المثال، تستخدم اللعبة "تنقيط" تقديم خوارزمية بدلا من تتبع المسار، والمؤجلة التظليل صريف خط أنابيب لديه العديد من المراحل، فإن كل مرحلة إضافة بعض التأخير. في نفس الوقت، مثل الأفلام والألعاب، وهناك العديد تجهيز آخر 2D المحتوى، وعلى رأس خريطة خط أنابيب متعددة المراحل المسمى "PostFX". مثل خط تجميع، هذا الخط الطويل يزيد من معدل التدفق، ويمكن أيضا تحقيق معدل الإطار عالية الجودة والقرار، ولكن على حساب من تعقيد معدل تأخير.
اذا نظرتم الى الناتج صورة، خرج بكسل من هذا الخط بسرعة جدا، والتي هي لعبة PC لديه أسباب ارتفاع معدل الإطار. ولكن في الواقع، فإن بكسل وقتا طويلا في الطريق، لأن خط أنابيب يتكون من عدة مراحل. يمثل FIG العمودية النقاط تزامن حاجز الحمراء، وأسهب تأخر بسبب نقطة ضعف فصاعدا، يجب المرحلة المقبلة تنتظر بكسل السابق مرحلة بكسل يمكن معالجتها بعد الانتهاء لتتم معالجتها.
يمكن للخط أنابيب رسومات اللعبة أيضا تجلب تجربة بصرية مذهلة. تحت إشراف الفني بعناية، يمكن أن الفنيين في التعامل مع CGI ذات جودة الفيلم وحتى عمل فيلم ناري في أعلى GPU على شاشة اللعبة. على سبيل المثال، ونحن على دراية لعبة فيديو "حرب النجوم: جبهة القتال (2017)."
ومع ذلك، فإن أفضل حرب النجوم شاشة اللعبة لا تزال أعلى من أفلام حرب النجوم أكثر ثابتة. وذلك لأن الآثار اللعبة البصرية يجب أن يتم تعديلها وفقا لأداء الألعاب. يعني ذلك أن التغييرات في الظل الخفيف ووالهندسة من شاشة اللعبة لا يمكن أن تكون رائعة، على الشاشة الكبيرة. ولكن ربما كنت معتادا بالفعل مع هذه البيئة لعبة ثابتة نسبيا.
VR تقديم صورة
والآن، دعونا ننظر في في الأفلام والألعاب مع VR الحديثة اي اختلاف. عندما المطورين سيجعل الألعاب التي لعملية زرع لVR، فإن التحدي الأول الذي يواجهونه هو زيادة حجم. اللعبة تحتاج الأصلي استهلاك الطاقة الرسومات هو بكسل فقط 60 مليون في الثانية الواحدة، إلى VR، تحتاج إلى 450 مليون بكسل في الثانية الواحدة. وهذه ليست سوى البداية، في العام القادم سوف استهلاك الطاقة VR سيتضاعف.
مقارنة لعبة 1080P 30fps، كوة المتصدع أو HTC فيف 45،000 مليون بكسل في الثانية على استهلاك الطاقة، وزيادة عدد البكسل في تجهيز الثاني قبل ما يقرب من سبع مرات. وهذا يؤدي أيضا إلى زيادة الإنتاجية (الإنتاجية)، لأنها سوف تغيير سرعة الانتقال من وحدات البكسل من نظام الرسومات.
قوة رفع كبيرة، ولكن التحدي هو أكبر الأداء. يذكر أن اللعبة التقليدية، ومشغلات دخول بكسل الشاشة يتغير التفاعل بين تأخير حوالي 100-150ms. لكن وVR، نحن لم يزد سوى 7 مرات الإنتاجية، ولكن أيضا سبع مرات خفض الكمون. كيف يتم المطورين VR اليوم أن نفعل ذلك؟ نبدأ تبدو متأخرة.
هو مبين أدناه، وهذا هو، وتأخير البيانات مرحلة الانتقال من اليسار إلى المرحلة المناسبة من وقت النظام. وكلما كان النظام على مراحل، فإن الإنتاجية تكون أعلى، لأن العملية يمكن أن تكون بالتوازي مع ذلك، ولكن هذا أيضا سبب خط أنابيب يصبح أطول، ومشكلة تأخير سيكون أكثر خطورة. للحد من التأخير، فمن الضروري للحد من عدد من المربعات الحمراء وFIG.
كما قد تتوقع، من أجل الحد من التأخير، يمكن للمطورين إزالة قدر الإمكان في مرحلة التنفيذ، كما تم تعديلها في الشكل أعلاه، وهو ما يعني التحول إلى "العودة" للخطوط الأنابيب في المشهد 3D، كاملة كل معالجة، بدلا من إضافة الظلال في 2D و PostFX أوقات المعالجة. وهذا يقلل الإنتاجية، التضحية بالجودة الرسومات، ولكن للأسف، فإن مثل هذا الأسلوب للحد من التأخير لا يزال غير كاف.
لذا التكنولوجيا الرئيسية VR الحديث حل ما يسمى تأخير "الوقت الاعوجاج (الوقت الاعوجاج)" . في هذه الطريقة، يمكن تحديث الصورة المعروضة على الشاشة دون خط أنابيب رسومات الكامل. تتبع البيانات يمكن أن تذهب مباشرة إلى مرحلة رئيس GPU المستخدم بعد تقديم اكتمال. منذ مرحلة رصد "أقرب"، يمكن أن يشوه وقد أصدرت الصورة لتتناسب مع أحدث رئيس تتبع البيانات، دون الحاجة إلى المرور عبر خط أنابيب تقديم كامل. في تقنية التنبؤ ببعض حركة الرأس، والتأخير يمكن خفضها الى الصفر 50ms حتى.
قضية رئيسية أخرى هي أن الأجهزة الحديثة VR عدسة تشويه (عدسة تشويه) . ويتكون العنصر البصري جيدة الكاميرا لا يقل عن خمسة العدسات من الزجاج ذات جودة عالية. ولكن هذا هو جعل رأس كبير يصبح الثقيلة، ضخمة ومكلفة، وكنت لا تريد في أول اثنين من الرفوف كاميرات SLR.
وهذا هو أيضا السبب العديد من رئيس محمولة على عرض استخدام اثنين من العدسات البلاستيكية الرخيصة. هذه العدسات هي مدمجة وخفيفة الوزن، ولكن جودة الصورة ليست عالية. من أجل تشويه صورة الصحيح واللون عدسة واحدة، كمية تظليل من تطور المطلوبة لعكس الصورة.
NVIDIA GPU الأجهزة والبرامج لتسريع VRWorks لدينا VR خط أنابيب الرسومات الحديثة. غيفورسي 1080 وغيرها من العمارة GPU باسكال باستخدام تقنية تسمى "في وقت واحد متعدد الإسقاط" من الميزات الجديدة من زوايا متعددة الصور المقدمة في وقت واحد على التوالي، على حد سواء زيادة الإنتاجية وخفض الكمون. توفر هذه الميزة ستيريو قناة واحدة، وبالتالي فإن تأثير الظل للعيون العدسة أثناء تقديم مطابقة، وجعلها مباشر صورة قبل تصحيح، والأداء وبالتالي أفضل، وصورة أكثر وضوحا. وفي الوقت نفسه، GTX 1080 في GDDR5X ذاكرة جيل يوفر أكثر من 1.7 أضعاف نسبة عرض النطاق الترددي، والأجهزة المادية التكنولوجيا السمعية يساعد على خلق عالم افتراضي أكثر دقة، من أجل زيادة الشعور الغمر.
الحد من مرحلة خط أنابيب، وذلك باستخدام "التفاف الوقت"، من أجل حل تشويه العدسة، مع GPU PC كفاءة، وهذا شكل من أشكال أنظمة VR الحديثة.
توضح هذه المقالة تشغيل أفلام اليوم، والألعاب وVR، المقال القادم، وتركز على الكتاب على حدود الإدراك البصري الإنسان، ويقدم وسيلة لتحسين أداء مستقبل VR نظام NVIDIA تدرس.
شبكة لى فنغ جمعت عبر roadtovr.com
