Ding dong ~ لقد تضررت من الرفاهية! من الآن فصاعدًا ، "2020 AI Developers Conference" 299 تذكرة مجانية! ادخل إلى صفحة التسجيل [2020 AI Developers Conference (Online Live Tickets) -IT Training Live-CSDN Academy] ، انقر على "سجل الآن" ، واستخدم رمز الخصم "AIP1410" أثناء التسوية ، وسيصبح السعر "0" يوان! كانغ مشغول بالأنف الشمالية

[مقدمة] يغطي نظام حوار اللغة الطبيعية المزيد والمزيد من سيناريوهات الحياة والخدمة ، وفي نفس الوقت ، لا تزال القدرة على فهم حوار اللغة الطبيعية ومعدل استدعاء الحوار للمعرفة الدقيقة يمثلان تحديًا تقنيًا.

من خلال إنشاء روابط موضوعية بين نقاط المعرفة ، يمكّن الحوار الإرشادي نظام الحوار من اكتشاف المعرفة ذات الصلة بنشاط ، وإفساح المجال كاملاً لتآزر المعرفة ، وتوجيه عملية الحوار ، وتقديم المعرفة بفعالية للمستخدمين في الوقت المناسب. لا يتم البحث عن المعرفة بشكل سلبي فقط في شكل الرسوم البيانية المعرفية أو قواعد بيانات الأسئلة والأجوبة ، ولكن المعرفة في الحوارات التجريبية تجمع بين الخبرة السابقة وعادات حوار المستخدم ، وبالتالي امتلاك دور معرفي ، مما يجعل فهم الحوار وتدفق الحوار أكثر طبيعية ، وأكثر قيمة المستخدمين.

في هذه الدورة المفتوحة ، دعا معسكر قاعدة تكنولوجيا الذكاء الاصطناعي Ge Fujiang ، رئيس قسم البرمجة اللغوية العصبية في Spirit ، إلى تقديم شرح منهجي وفرز بشأن "إدارة المعرفة في الحوار الإرشادي".

تم تنظيم المحتوى التالي للفئة المفتوحة للمخيم الأساسي.

اليوم ، أود أن أشارككم حول نظام إدارة المعرفة في الحوار الإرشادي. يتضمن المحتوى المشترك الجوانب الخمسة التالية:

هندسة نظام الحوار

الأول هو بنية نظام الحوار ، دعونا نلقي نظرة على عملية نظام الحوار.

بشكل عام ، سيناريوهات تطبيق نظام الحوار ، كما هو الحال في السماعات الذكية وأجهزة التلفزيون الذكية ، بما في ذلك المعدات المثبتة حاليًا على السيارة ، وما إلى ذلك ، عندما يقول المستخدم سؤالاً ، تجيب خدمة العملاء الذكية تلقائيًا على الأسئلة والمحادثات. العملية الأساسية لمثل هذا النظام هو أنه يستقبل المستخدم سؤالًا أو جملة قالها المستخدم ، ثم تتم بعض المعالجة في النظام لإعطاء المستخدم ردًا.

هناك فرق مهم بين نظام الحوار الذي نتحدث عنه اليوم ونظام الإجابة على الأسئلة التقليدي. نظام الحوار يحافظ على السياق. عند إجراء حوار ، هناك مشهد سياقي. في عملية هذا السياق ، من الضروري السيطرة على حالة بعض الحوارات. فهم تماما نية المستخدم.

على سبيل المثال ، يسأل المستخدم إذا كانت ستمطر غدًا؟ سيقوم النظام ببعض عمليات المعالجة المسبقة ، أي معالجة بعض ميزات معالجة اللغة الطبيعية ، مثل تجزئة الكلمات ، وعلامات جزء من الكلام ، والتعرف على الكيانات المسماة والوحدات النمطية الأخرى ، حيث يمكن تحديد بعض الكيانات ، مثل الوقت الداخلي غدًا ، وظاهرة الطقس هي المطر التالي ، وهذا ما يمكن للكيانات المسماة أن تفعله.

بعد معالجة الميزة والتعرف على الكيان المسمى ، أدخل الفهم الرسمي لهذه الجملة. بادئ ذي بدء ، لكل سؤال للمستخدم ، يجب إصدار حكم ميداني. بشكل عام ، يتم إصدار هذا الحكم الميداني لأن السيناريوهات المختلفة مدعومة في نظام الحوار. أولاً ، تقتصر جملة المستخدم على مشهد ثابت ، ثم يمكن القيام بالمتابعة المناسبة.

هناك طرق مختلفة بشكل عام للحكم على المجال ، سواء كان ذلك لكتابة قالب أو بعض خوارزميات التصنيف. على سبيل المثال ، إذا أرسلنا هذه الجملة إلى المصنف ، فقد يكون قادرًا على الحكم على أنها مرتبطة بمجال الطقس. هنا ، من خلال Slot Filling ، يمكنه الحصول على نية مجال الطقس ، وهو مجال الطقس ، مع موقعه ووقته. بالطبع ، لا تذكر هذه الجملة الموقع ، لأن مثل هذا النظام سيحصل عمومًا على موقع افتراضي أو مدينة افتراضية من خلال أجهزة الاستشعار أو معلومات تحديد الموقع ، أو IP ، أو معلومات حول السيناريوهات المختلفة المتعلقة بالجهاز.المعلومات ، ومن ثم نحصل على هيكل منظم نوايا.

ثم يتم إرسال هذه النية المنظمة إلى وحدة تتبع حالة الحوار أو إدارة الحوار ، وتصدر إدارة حالة الحوار حكمًا لتقول ما إذا كانت الفتحة الخاصة بها راضية في المجال الحالي ، مثل مجال الطقس. بالنسبة لمجال الطقس ، الأمر بسيط نسبيًا ، فقد وجدت أن هذه الجملة قد استوفت بالفعل نواياها الميدانية ووقتها وموقعها ، ثم أضفت هذه الخانات.

وفقًا لهذه المعلومات التكميلية ، فهي في الواقع معلومات منظمة.وفقًا لظاهرة الوقت والموقع والطقس ، انتقل إلى خدمة البيانات في الخلفية لإجراء بحث ، وحدد الطقس الحقيقي ، مثل ما إذا كانت ستمطر غدًا أو خذ جزءًا من المعلومات مثل يوم مشمس ، ثم قم بإنشائه من خلال إجابة ، وحدة مثل Response Generation ، ثم قم بإنشاء جملة أكثر طبيعية ، على سبيل المثال ، قد يكون يومًا مشمسًا غدًا ، وبعد ذلك سيكون سيكون يومًا مشمسًا. إذا قلت ذلك بشكل طبيعي ، ربما يُقال إنه وقت جيد للسفر ، شيء من هذا القبيل ، ربما تكون العملية برمتها على هذا النحو ، إنها في الواقع عملية بسيطة نسبيًا.

من خلال هذه العملية ، أود أن أشارككم البنية الأساسية لنظام الحوار. أولاً ، يحتاج إلى معالجة استعلام المستخدم ، ثم يحتاج إلى المرور عبر وحدة إدارة الحوار. تحتفظ إدارة الحوار هذه فعليًا بالمعلومات السياقية. فيما يلي فهم النية ، والتي يمكن فهمها بطرق مختلفة ، بما في ذلك قاعدة المعرفة أو الرسم البياني المعرفي ، بما في ذلك شكل السؤال والجواب ، ومطابقة تشابه السؤال ، وبعض المقاصد العامة والمتنوعة الأخرى. الفهم ، بما في ذلك القصد لتصنيف هذه الأشياء.

في هذا ، تكون إدارة الحوار في هذا. بشكل عام ، إدارة الحوار هي في الواقع شيء مشابه لمخطط انسيابي. على سبيل المثال ، في الطقس الآن ، يطلق عليه فعليًا Slot Filling. بعد ملء بضع أجزاء من المعلومات ، هذا كل شيء. ثم في بعض عمليات الحوار الأخرى ، مثل خدمة العملاء النموذجية ، في الواقع ، في سيناريوهات محددة لخدمة العملاء ، مثل عمل مالي معين في المجال المالي أو يستفسر المستخدم عن منتج مالي ، مثل التأمين ، تأمين معين. المنتج الذي يحتوي على بعض المعلومات ، فهو في الواقع في شكل مخطط انسيابي.

هناك أيضًا حوار إرشادي سنذكره لاحقًا ، والجمع بين هذه الأشكال هو في الواقع إدارة حوار. الآن قد يتعامل النظام العام مع نوع معين من الحوار ، أو أنه ملء الفتحات ، أو أنه عملية محددة ، أو هو مجريات الأمور ، وقد لا يكون من الممكن دمجها كثيرًا.

استمرارًا في هذه الصورة ، أشرت إلى أن إدارة الحوار هي DM ، وفهم الحوار هو أساس المعرفة ، والسؤال والجواب صحيح ، وهناك بعض الأمور العامة ، مثل الشكوى ، حالة عامة ، بشكل عام ، قد يكون وسيلة. من التصنيف بعد فهم NLU هذا ، تحتاج كل وحدة إلى اتخاذ قرار بعد تنفيذ NLU ، لأنه في الأنظمة المختلفة ، قد تجد جملة المستخدم إجابة ، أي إجابة يجب أن نختارها ، لذلك فقط قم بالفرز ، بعد الفرز ، يتم إنشاء الإجابة ، وأخيرًا يتم الرد على المستخدم.

بالطبع ، هناك وحدة أخرى على الجانب ، وهي إدارة السياق. يتم استخدامها في إدارة الحوار ، NLU ، والوحدات النمطية للفرز وتوليد الإجابات. وتحافظ على بعض معلومات السياق. بالطبع ، هيكل هذه الصورة بسيط نسبيًا ، ولكن في الواقع هناك الكثير من الأشياء في كل واحدة. سننظر إلى المحتوى المحدد لاحقًا. أخيرًا ، عندما ننظر إلى هذه الصورة ، قد يكون هناك بعض الأشياء المختلفة.

قبل المشاهدة ، دعنا نلخص الوضع الحالي لبعض روبوتات الحوار ، وكيفية تقييم روبوت الحوار العام أو حالته الحالية ، ومعيار التقييم العام ، وتقييمنا للروبوتات ليس جيدًا جدًا ، فنحن نقوم بنظام أو نقوم بعمل أكاديمي. تأثير هذا الروبوت بشكل عام هو في الواقع شيء مهم للغاية ، ونحن بحاجة إلى وضع معيار قبل القيام بذلك.

بشكل عام ، هناك عدة أمور تقييم رئيسية في نظام الحوار ، أحدها معدل الدقة ، وقد يعتمد معدل الدقة على ما إذا كانت بعض الأسئلة والأجوبة صحيحة أم خاطئة ، أو ما إذا كانت إجابات الحوار صحيحة أم خاطئة. على سبيل المثال ، تم إجراء هذا الحوار لعشر جولات ، عدة مرات صحيح ، عدة مرات خاطئة ، تعطي حكم صفر واحد مباشرة ، ثم احسب الدقة.

الآخر هو التسجيل اليدوي ، لأنه قد لا يكون حكمًا مطلقًا في عملية الحوار هذه ، وأحيانًا قد لا تكون الإجابة التي يقدمها معقولة جدًا ، ولكنها مقبولة إلى حد معين ، لذلك يمكن للناس عمومًا إعطائها النقاط ، مثل 1 إلى 10 نقاط أو من 1 إلى 5 نقاط ، تعطي درجة ، وأخيراً تمنح الروبوت درجة شاملة.

أكاديميًا ، من الممكن الاعتماد على بعض معايير النظام الأخرى ، مثل الحيرة أو قيمة BLEU ، لإعطاء بعض الدرجات. بشكل عام ، يتم استخدام هذا المعيار بشكل أكبر لقياس هذه الجملة في مجموعة بيانات محدودة ، ويتم إنشاء هذه الجملة. لغتها يمكن قياس الطلاقة بشكل أكبر من منظور الطلاقة اللغوية. بالطبع ، الحيرة أو قيمة BLEU لها ميزة أنه يمكن الحكم عليها تلقائيًا ، ولكن العيب هو أنه من الصعب في الواقع القياس بدقة من المعنى. جيد أو سيء.

في بعض المجالات الضيقة جدًا ، مثل طلب الطعام ، أو حتى أضيق نطاقًا ، مثل طلب بيتزا أو قهوة ، أو إجراء مكالمة هاتفية ، في هذا المجال الضيق جدًا ، في الواقع ، يمكن لكل من أساليب التعلم الآلي وطرق القوالب تحقيق نتائج أفضل صحة.

التعلم الآلي أو التعلم العميق ، ولكن التعلم العميق يعتمد أيضًا على كمية كبيرة نسبيًا من البيانات في هذا السيناريو مقارنة بهذا السيناريو ، لأنه بشكل عام في هذا النوع من التجارب ، لا يزال سيناريو هذا السيناريو صغيرًا نسبيًا. إذا كان هناك العديد من المشاهد ، الآن في مشهد أكثر تعقيدًا ، فإن تأثير التعلم العميق قد لا يكون جيدًا جدًا ، أي في مشهد جولات متعددة من الحوار ، وهناك مشاهد متعددة مختلطة.

بالإضافة إلى ذلك ، في بعض المجالات الأكبر ، مثل خدمة العملاء ، وسيناريوهات خدمة العملاء ، يكون ذلك عمومًا لخدمة عملاء المؤسسة ، وقد تشتمل خدمة عملاء المؤسسة على العديد من المنتجات ، وحتى فئة المنتجات ستشمل أيضًا هذه الفئة خطوط إنتاج مختلفة و نماذج مختلفة ، خدمة العملاء مجال واسع نسبيًا.

الآن سواء كان التعلم العميق أو التعلم الآلي التقليدي ، إذا تم استخدام التعلم العميق ككل ، فإن معدل دقته منخفض نسبيًا ، ونادرًا ما يكون قادرًا على تحقيق أكثر من 50 ، أي في مجال كبير نسبيًا. الآن في مجال خدمة العملاء ، تعتمد العديد من الأنظمة على الاسترجاع أو النموذج. وتعني طريقة الاسترجاع أنها أعدت بعض أزواج الأسئلة والأجوبة القياسية ، لأنه عندما تقوم مؤسسة بخدمة العملاء الخاصة بها ، فإنها عادة ما تجمع بعض بالنسبة للأسئلة والأجوبة القياسية الخاصة بمنتجاتك الخاصة ، فإن سؤال المستخدم موجود هنا للعثور على السؤال الأكثر تشابهًا ، ثم إعطائه إجابة. هذه الطريقة تستخدم حاليا أكثر.

الآخر هو القالب ، اكتب يدويًا بعض قوالب القواعد أو القوالب الدلالية ، ثم اشرح المعلومات الرئيسية الواردة في سؤال المستخدم ، ثم قم بمطابقتها مع نية إعطاء إجابة. في هذه الحقول ، في الواقع ، خوارزمية الآلة لا يزال التعلم يواجه بعض التحديات في المجال الأكبر. حتى استخدام النماذج ينطوي على العديد من التحديات ، لأنه بعد وجود عدد كبير جدًا من القوالب ، سيكون هناك تعارضات ومشكلات في الصيانة.

نظام الحوار الهورى

نظام الحوار الاسترشادي هو نظام حوار استرشادي نعمل عليه. نظام الحوار الاسترشادي لديه الآن بعض المفاهيم المماثلة ، مثل الحوار النشط. الحوار الاسترشادي الذي اقترحه Spiech بشكل أساسي بهذه الطريقة ، في بعض سيناريو المؤسسة ، مرات عديدة يواجه المستخدم في الواقع روبوتًا للمحادثة. إنه ليس متأكدًا تمامًا من نوع الأسئلة التي يمكنه طرحها ، أو نوع القدرات التي يمكن أن يطرحها الروبوت ، أو نوع الأسئلة التي يمكنه الإجابة عليها ، أو ربما يعرف المستخدم ما يريد. ماذا ، ولكن لا يزال يتعين عليه قضاء القليل من العقول لطرح الأسئلة.

الحوار الارشادي ربما يكون مثل هذه العملية. إنه في الواقع يحافظ على استمرار هذه المحادثة من خلال بعض الروابط وراء هذه المشكلات. بالطبع تقول أنك لا تريد أن تعرف ثم انتهى الأمر. هذا هو المفهوم الأساسي.

دعونا نلقي نظرة على الخصائص الأساسية للحوار الاسترشادي. أولاً ، يتم توجيه تفاعل الحوار بشكل فعال وفقًا لسؤال المستخدم. يطرح المستخدم سؤالاً ، وسيدرج النظام بعض الأسئلة ذات الصلة بناءً على هذا السؤال أو يسأل المستخدم إذا كان يريد ان يعرف. يرتبط سؤال المستخدم بنقطة المعرفة بأشكال مختلفة. بالطبع ، بعد هذا الحوار ، نسميها نقطة المعرفة. في طريقة نقطة المعرفة ، قد يكون ربط نقطة المعرفة لمشكلة معينة ، وقد تكون هذه المشكلة لها أنواع مختلفة اسأل القانون ، كلنا نعتقد أنه نقطة معرفة.

في أشكال مختلفة ، يشير إلى الشكل الشائع الآن. قد يكون في شكل زوج من الأسئلة والأجوبة. وخلف نظام الحوار هذا ، قد يكون في شكل زوج من الأسئلة والأجوبة ، أو ربما موجودة في شكل رسم بياني معرفي ، لكن اتصالهم موحد ، ويتم إدارتهم بنقطة معرفة.

إذا تم فهم نقطة المعرفة بشكل حدسي ، فيمكننا الاعتقاد بأنها شيء مثل زوج من الأسئلة والأجوبة أو سمة مرتبطة بالكيان في الرسم البياني للمعرفة. بين نقاط المعرفة هذه أو بين الأسئلة ، يتم دمجها من خلال الموضوعات والموضوعات مفيدة للمستخدمين في الواقع. مفهوم غير مرئي ، يتم استخدامه لتقديم توصيات ، لأنه بعد ربط السؤال من خلال الموضوع ، يقوم الحوار الإرشادي الأخير في الواقع ببعض الخيارات بناءً على الموضوع ، ويطرح المستخدم سؤالاً ، ونطرح السؤال نقطة المعرفة هذه ، الموضوع الذي تنتمي إليه ، حسب هذا الموضوع للعثور على بعض الموضوعات ذات الصلة ، ثم البحث عن بعض الأسئلة المقابلة ضمن تلك الموضوعات ، ثم التوصية بها للمستخدمين.

توجد بعض العلاقات الدلالية أو المنطقية بين الموضوعات ، وسنناقش كيفية تنظيم هذه الموضوعات لاحقًا. قد تعتمد عملية الحوار بأكملها على التخطيط الشامل والقفز في الموضوع. فيما يلي بعض ميزات الحوار الاسترشادي بأكمله الآن.

هذا مثال ملموس ، هذا هو شكل المنتج ، أي تنظيم الموضوع. بالنسبة لعميل مؤسسة ، إذا أراد إنشاء نظام حوار له ، فيمكنه تعيين بعض الموضوعات بشكل مصطنع. ويتم تنظيم هذا الموضوع في نوع شجرة. على سبيل المثال ، هناك موضوع حول الزهور ، مثل كيفية تعلم الزهور الترتيب ، مختلف المعلومات المتعلقة بترتيب الزهور ، لكل موضوع ، الجزء البرتقالي هو تنظيم هذا الموضوع ، شجرة الموضوع ، يمكن للمستخدمين تعيين تنظيم مثل هذا الموضوع. تحت هذا الموضوع ، يمكن للمستخدمين تحت كل موضوع تحديد البعض ، مثل سادة الزهور ، يمكن للمستخدمين تحت سادة الزهور تحديد المعلومات المتعلقة ببعض الأشخاص تحتها ، ثم سرد المعلومات ذات الصلة بهؤلاء الأشخاص.

يمكن لمستخدم الجهاز الطرفي أن يطلب معلومات عن الأشخاص ، لذلك ربما توجد عدة أشكال من الموضوعات. أولاً ، في شكل الصورة الموجودة على اليمين ، قد يكون هناك موضوعان أو ثلاثة من هذه الموضوعات تحت موضوع معين. بالطبع ، هذا يمكن أن يكون للموضوع أيضًا تسلسل هرمي ، ويمكن أن يحتوي على موضوعات فرعية وموضوعات أحفاد. ويمكن تنظيم هذا الهيكل الهرمي وتوسيعه. بالطبع ، يمكن أن يكون هناك العديد من الموضوعات ضمن الموضوع ، والشكل التنظيمي لهذا الموضوع ، وهذه المفاهيم الأساسية.

إدارة المعرفة في نظام الحوار

دعنا نلقي نظرة على كيفية لعب المعرفة في نظام الحوار دورًا في فهم الحوار وإدارة الحوار. لاحقًا ، سأجمع بين التقنيات الحالية ، والتي تُستخدم بشكل شائع في الحوارات. التقنيات ذات الصلة ، ثم ، جنبًا إلى جنب مع الحوارات الاستكشافية ، نقدم إدارة المعرفة في أنظمة الحوار.

لنلقِ نظرة أولاً على بعض الأمثلة ، بعض المشكلات التي قد تواجهها الروبوتات في فهم اللغة ، وهذا سيمنحك إحساسًا بديهيًا بالمشكلات التي قد تواجهها. على سبيل المثال ، من حيث الفهم ، عندما يفهم الروبوت اللغة ، على سبيل المثال ، إدخال مثل "هل تيانجين مناسبة لغسيل السيارات اليوم؟" إذا كان الإدخال في الصوت أو بينيين ، فقد تكون هناك مثل هذه المشاكل ، "هل تيانجين مناسب لغسيل السيارات اليوم "قد يكون مثل" اليوم ، هيكسي ، تيانجين "، هناك منطقة هيكسي في تيانجين ، قد تسيء فهمها ، وقد ترتكب أخطاء من بينيين إلى نص. في الواقع ، هذا مشابه جدًا.

هذا هو أنه قد يكون لدينا بعض المشاكل في اللغة ، فعندما تقوم الآلة بذلك ، يكون من الصعب الحكم على ذلك ، فالبشر لديهم بعض المعرفة الخلفية والمعرفة السياقية.

دعونا نلقي نظرة. هناك العديد من الأسئلة المدرجة الآن. بشكل عام ، سنقوم بعمل جوهر هذا الحوار. لقد رأينا الأجزاء الأساسية الثلاثة لنظام الحوار في الرسم التخطيطي الأولي للهندسة المعمارية. أحدها هو فهم اللغة الطبيعية ، و والآخر هو فهم اللغة الطبيعية ويتكون من ثلاثة أجزاء: فهم مقصد الحوار وإدارة الحوار وتوليد الإجابات بالحوار.

يهتم الجميع أكثر بالجانبين الأولين ، فهم الحوار وإدارته. ربما يكون الفهم الأكثر شيوعًا لهذا الجزء هو النظام القائم على القواعد. على سبيل المثال ، سنكتب نمطًا ، والباحثين ، والوقت ، والمقالات المنشورة ، وما إلى ذلك في. هناك بعض القواميس والقواعد المنظمة في نظام القواعد هذا. بالطبع ، هناك سلسلة من مشاكل تنظيم القواعد. في الواقع ، إنه أيضًا مشروع ضخم نسبيًا ، ولكن من منظور الخوارزمية أو فهمنا ، قد نعتقد إنها طريقة بسيطة نسبيًا. بالطبع ، من الصعب جدًا الحفاظ عليها بعد وجود المزيد من القواعد.

الاحتمال الآخر هو تصنيفها من خلال النية ، مثل تصنيفها من خلال بعض أساليب التعلم الآلي. على سبيل المثال ، إذا فعلنا شيئًا بسيطًا ، مثل الطقس ، طالما أن نظام الحوار يفهم أنه الطقس ، فسنقوم ببث تنبؤ بالطقس له ، وهو أمر مقبول للمستخدمين في العديد من السيناريوهات. أشياء محددة فيه ، ولكن يفهم فقط نية معينة ، ثم قم ببثها. يمكن استخدام الخوارزميات الشائعة لهذا النوع من التصنيف هنا.

الطريقة الأخرى هي طريقة استرجاع الاستعلام ، والتي تُستخدم بالفعل على نطاق واسع في الدردشة أو خدمة العملاء. نتحدث عن حديث صغير. في الواقع ، من الناحية الأكاديمية ، قد تقوم العديد من الأبحاث بعمل محادثة صغيرة للتعلم العميق ، ولكن في المشهد الفعلي الحديث الصغير ، يتم استرداد العديد منها أيضًا من خلال استرجاع الأسئلة والأجوبة. بالطبع ، يتطلب الأمر عدد كبير من أزواج الأسئلة والأجوبة. يتم فرز أزواج الأسئلة والأجوبة هذه يدويًا مسبقًا ، وهو أمر يتطلب عمالة مكثفة ، وتغطيته محدودة.

الطريقة العامة للقيام بذلك هي تمرير فهرس مقلوب أولاً ، واسترداد مجموعة من الأسئلة بعد ظهور سؤال المستخدم ، ثم اختيار مرشح له ، ثم إجراء بعض الفرز. قد تحتوي خوارزمية الفرز على أوزان مختلفة ، وهناك تعلم الترتيب وخوارزميات التعلم العميق للمطابقة الدلالية العميقة يمكننا إلقاء نظرة على بعض الأمثلة على هذه الخوارزميات لاحقًا.

هناك أيضًا بعض تصنيفات الأسئلة التي تستخدم التعلم العميق الحالي بشكل مباشر ، مثل التضمين ، وهو في الواقع تعلم عميق الآن ، مثل نموذج التسلسل المتسلسل المذكور أعلاه ، والذي يمكنه تضمين سؤال المستخدم مباشرة في متجه ، ويمكننا فعل ذلك فعلاً عن طريق أخذ هذا المتجه مباشرة.التصنيف أو حساب التشابه لبعض الأسئلة ، هذه الصورة هي حوالي 2000 سؤال من المستخدمين ، ومن ثم إجراء التضمين ، أي باستخدام التسلسل للتسلسل لعمل التضمين.

في هذا الوقت ، استخدم هذا النوع من أدوات التصور لتصورها. يمكننا أن نرى أنه يمكن تقسيمها على الأرجح. هذه ثلاثة أنواع من المشاكل. في الواقع ، إنها بالفعل ثلاثة أنواع من المشاكل. على الرغم من وجود بعض التقاطعات بينها ، الآن تتمتع طريقة التعلم العميق هذه بقدرة قوية على النمذجة لهذا النوع من الأشياء ، ولا يزال من الممكن التمييز بين فئات المشكلات الأساسية.

في الصورة أدناه ، هذه الخوارزميات في هذا التعلم العميق الأساسي لها نموذج أساسي للغاية ، وهو نموذج التسلسل إلى التسلسل ، والذي يعتمد على كل كلمة يتحدثها المستخدم ، مثل ABC هي كلمة إدخال ، ABC هي سؤال الإدخال ، A هي كلمة ، B كلمة ، C هي كلمة ، ومن ثم قد يكون ناتجها XYZ ، فإنها ترسلها إلى الشبكة العصبية للتسلسل إلى التسلسل ، A هي كلمة ، بعد إدخال نموذج RN ، إنها تفعل مثل هذا التضمين ، في الواقع ، يصل إلى ABC ، ثم eos ، وهذا هو نهاية الجملة.

بعد النهاية ، تكون الطبقة الوسطى للشبكة العصبية عبارة عن حرف W. ويمكن أن يمثل هذا الحرف W التمثيل الدلالي للجملة. استخدم حرف W لفك شفرة إجابة. وبعد الكثير من التدريب على البيانات ، يمكن بالفعل إنشاء إجابة. محادثة توليد هذا النموذج ، بما في ذلك التمثيل W في المنتصف ، يمكن استخدامه في الواقع لتصنيف الأسئلة أو حساب تشابه الأسئلة.

هذا نموذج أساسي. الآن نقوم بعمل أسئلة. لقد ذكرنا للتو أنه يتم استخدام عدد كبير من الأسئلة العملية لمطابقة تشابه الأسئلة. ربما تكون إحدى الطرق لحساب تشابه الجمل. هذه الصورة هي تشابه الجملة. النموذج الأساسي لحساب الدرجة ، هذه كلها طرق موجودة.

على سبيل المثال ، يتم استخدام LSTM لتشفير جملة.النموذج الأساسي لـ LSTM مشابه لمرحلة ترميز التسلسل للتسلسل الآن. تمر مشكلة مستخدم ومشكلة في النظام عبر LSTM ، ويمثل هذا X الإدخال ، تمثل H الطبقة المخفية في منتصف النموذج ، يتم ترميز جملة المستخدم في حالة مثل h3 (a) من خلال LSTM ، وهناك سؤال قياسي (السؤال المراد استرداده) ، والذي يتم ترميزه كـ In the state من h4 (b) ، يمكن إرسال الاثنين إلى المصنف بعد حساب المسافة ، وإصدار حكم مشابه أو غير متماثل لهما.

هذه الطريقة هي تحويل المستخدم إلى مشكلة تصنيف ، مشكلة تصنيف ثنائي ، مشكلة المستخدم مشابهة أو غير مشابهة للمشكلة الموجودة في مكتبتنا القياسية ، ومن ثم إصدار حكم. يمكن القيام بذلك أيضًا بهذه الطريقة ، هذه طريقة أكثر كلاسيكية ، في الواقع ، تأثيرها جيد جدًا ، وهي مناسبة تمامًا للعديد من السيناريوهات.

دعنا نلقي نظرة على المقالة التالية ، أعتقد أن هذه المقالة هي مقالة كلاسيكية في حساب التشابه ، وهي تقوم بعمل جيد. الجانب الأيسر منه هو الإدخال ، على سبيل المثال ، هناك u_1 ، u_n-1 ، u_n هو مدخلات المستخدم ، u_1 إلى u_n هو السياق الكامل لمدخلات المستخدم ، وربما قال أكثر من جملة واحدة. r هي استجابة الاستجابة.

يمر هذا السياق عبر تضمين Word ، يمكن تضمين كل منها في تمثيل متجه كلمة ، ثم الانتقال عبر GRU أو LSTM ، ثم تشفيرها في متجه. هذه عملية أكثر تعقيدًا. الجزء الأوسط ، الجزء M1M2 ، هو عبور مدخلات المستخدم والإجابة لإجراء حساب داخلي للمنتج. كلها متجهات. في الواقع ، كلها مصفوفات. قم بإجراء عملية خلط منتج داخلي بينهما ، وبعد الانتقال الكافي ، انتقل عبر CNN و CNN ثم انتقل إلى Pooling ، وبعد التجميع ، انتقل إلى GRU مشابه لما هو موجود هنا ، وأخرج النتيجة في النهاية.

الاختلاف الأكبر بين هذا وطريقة LSTM الآن هو أنه ، أولاً وقبل كل شيء ، زاد عدد الطبقات ، لأنه يحتوي على GRU في المقدمة ، و GRU في النهاية ، وطبقة CNN في المنتصف. الوظيفة من طبقة CNN هذه في الواقع لحل المشكلة ، امزج جيدًا مع معلومات الإجابة للعثور على نقاط متشابهة أو مجمعة فيها ، ثم تعال لإعطاء إجابة. يكون تأثير هذا النموذج أفضل في العديد من السيناريوهات ، وهو في الواقع أفضل في بعض التجارب ، ولكن المشكلة في أنه لأنه قد خضع لخلط كافٍ للغاية ، نرى أن له تأثيرًا جيدًا على المدخلات. هناك متطلبات معينة: هذا المدخل طويل نسبيًا ، ومعلوماته كافية نسبيًا ، ومن الأفضل القيام بذلك. لكن في بعض سيناريوهات الحوار ، عندما يكون الحوار قصيرًا نسبيًا ، يكون تأثيره في الواقع محدودًا. هذه طريقة واحدة.

هذه الصورة في مقال من Google. تستخدم فقط "الاهتمام" لحلها ، مثل الإدخال والإخراج. بعد سلسلة من الانتباه ، يتم إخراجها في النهاية ، ونتخذ قرار التصنيف. عندما نستخدم نموذج الانتباه ونموذج الانتباه متعدد الطبقات للقيام بمهمة التصنيف هذه ، في بعض الحالات بنصوص قصيرة نسبيًا ، عندما تكون المشكلات قصيرة نسبيًا ، يكون تأثيرها أفضل في الواقع. في الواقع ، قد لا تكون هذه النماذج كلي القدرة ، فلكل نموذج سيناريوهات قابلة للتطبيق ، ووفقًا للبيانات ، يمكننا أن نرى السيناريوهات الأفضل أو التي لها مزاياها. كل نموذج له نقاط قوته وضعفه.

هناك أيضًا بعض طرق الرسم البياني للمعرفة. يتم إجراء الرسم البياني المعرفي الأكثر بديهية من خلال بعض التعبيرات المنطقية. على سبيل المثال ، سؤال بسيط هو أين ولدت زوجة ياو مينغ. يخزن الرسم البياني المعرفي ياو مينج وزوجته يي لي ، هذه الطريقة من السهل نسبيًا أن نفهم ، أي إجراء مثل هذا البحث ، ولكن عندما يكون الرسم البياني المعرفي كبيرًا نسبيًا ، في الواقع ، يظل السؤال والإجابة على الرسم البياني المعرفي صعبًا نسبيًا. السبب الرئيسي هو أنه من الصعب على تعبير المستخدم أن يطابق تمامًا ما هو موجود في الرسم البياني المعرفي. بشكل عام ، تحلل هذه الطريقة بدقة سؤال المستخدم من الكيانات وعلاقاتها في السؤال ، ثم تحولها إلى منطقي التعبير ، الذي يتم من خلاله البحث في الرسم البياني المعرفي. هذه الطريقة في الواقع شائعة جدًا.

لقد قدمت للتو الطرق الرئيسية للفهم الآن ، ولكن هناك أيضًا العديد من الطرق لقول التكامل. أقوم بدمج الأساليب المذكورة أعلاه ، ثم أقوم بتعلم متكامل ، مثل طريقة فهم السؤال ، وطريقة السؤال والجواب ، وهذا هو أو الاسترجاع أو خريطة المعرفة أو التضمين نعم ، يمكن استخدامها للأسئلة والأجوبة. قد يكون للأسئلة والأجوبة المستندة إلى المهام قواعد أو تضمين أو تصنيف. قد تتمثل المشكلات المعقدة في وجود العديد من الأسئلة في خدمة العملاء. في الواقع ، إنها معقدة للغاية و الطول طويل نسبيًا. يمكنك استخدام هذا النوع من التصنيف أو الاسترجاع يمكن أيضًا أن يتم بطريقة أكثر صرامة للتحليل الدلالي. تم دمج هذه الطرق والخوارزميات المختلفة ، في الواقع ، يقوم العديد منهم بذلك الآن ، ولا يزال التأثير جيدًا جدًا.

أي أننا نصنع نموذجًا لاتخاذ قرار. على سبيل المثال ، قمنا بعمل ثلاثة أو خمسة نماذج لفهمها ، ويمكن للمستخدم فهم كل هذه النماذج في جملة واحدة. بعد الفهم ، سنقوم بالتكامل ، ثم نقوم النهائي بعد التكامل. ناتج التكامل هو في الواقع تحديد الاختيار. ما هو النموذج الذي يمثل الإجابة؟ بالطبع ، هناك طريقتان رئيسيتان للتكامل. أحدهما هو خط الأنابيب. أقوم بترتيب هذه النماذج بترتيب واحد. احصل على الإجابة للخارج ، ثم لا تعود ، والآخر هو تكامل النموذج ، فقد ذهب كل نموذج ، ثم يتم اتخاذ قرار لتحديد نتيجة النموذج الذي يجب اختياره.

ما سبق هو الجزء الخاص بـ NLU في الحوار ، والجزء الآخر حول إدارة المعرفة في الحوار ، أو إدارة المعرفة في إدارة الحوار ، جزء إدارة الحوار.

تكون إدارة الحوار بشكل عام على هذا النحو. عندما يكون لدينا سياق ، تعني إدارة الحوار أننا قد نكون قادرين على تحليل نية المستخدم في الوقت الحالي ، وأحيانًا لا يمكننا حتى تحليل نية في الوقت الحالي. على سبيل المثال ، إذا قال أحد المستخدمين شنغهاي ، فنحن في الواقع لا نعرف ما يعنيه المستخدم عندما يقول شنغهاي. إذا كان المستخدم يتحدث عن الطقس ، فإن شنغهاي مرتبطة بالطقس. إذا كان المستخدم يتحدث عن الحجز ، فعندئذ شنغهاي مرتبطة بالحجز. هناك نية حالية للمستخدم ، حتى لو لم تكن نية ، ثم هناك ما سبق ، أي الحقل هو بعض مما سبق ، وهناك معلومات المستخدم ، وأحيانًا قد تكون هناك بعض المعلومات طويلة المدى للمستخدم ، وفقًا لهذه المعلومات تجعل بعض السلوكيات ، سواء للرد أو الرفض أو مطالبة المستخدم بالمكملات ، يحتاج المستخدم إلى استكمال بعض المعلومات.

هناك عدة نماذج رئيسية في إدارة الحوار. أحدها يعتمد على الفتحة. قد تكون الفتحة فتحة تعبئة. إذا كانت هناك ثلاث خانات ، والوقت والمكان وظاهرة الطقس ، فسأقوم بملئها ، وسأقوم بملء أي واحدة هذا مفقود. اسأل المستخدم عن أي مستخدم لديه. هناك مشكلة أخرى ليس من السهل حلها بشكل خاص مع الفتحة وهي أن بعض العمليات معقدة للغاية ، خاصة في خدمة العملاء ، مثل المشهد في هذه الصورة ، هذا مشهد لخدمة العملاء ، وعملية معقدة للغاية. عندما يصل المستخدم في مكان معين ، يحتاج إلى الحكم على المعلومات حول هذا المكان ، ثم اتخاذ الإجراء التالي ، وهو الشيء الرئيسي لإدارة الحوار هذا.

تقدم هذه الصورة إدارة الحوارات الأساسية ، مثل SlotFilling. وهي تحدد مشهد هذا الحجز مقدمًا ما إذا كان هناك سياق ، ومن ثم تحتوي على بعض معلومات السياق حول كيفية التحكم فيه. تم ذكر هذا المشهد الآن. عند وصوله لن أخوض في التفاصيل.

هناك أيضًا إدارة حوار قائمة على الموضوع في الحوار الاسترشادي. أولاً وقبل كل شيء ، الموضوع نفسه ، لأنه يقدم مفهومًا جديدًا هو الموضوع ، ويقدم الموضوع بالإضافة إلى الأسئلة التي يطرحها المستخدم. يمكن أن يكون الموضوع تم إنشاؤه يدويًا ، أو يمكن أن يتم حسابه تلقائيًا بواسطة النظام ، أو يمكن إنشاؤه بواسطة النظام تحت إشراف المستخدم. هذا الموضوع هو ما رأيناه عندما تحدثت لأول مرة عن الحوار الإرشادي. طريقة التعلم هي لاستكشاف الموضوعات بين المشكلات ، خاصة في بعض سيناريوهات خدمات المؤسسة ، لأن المؤسسة نفسها لديها سيناريوهات تطبيق واضحة خاصة بها ، لذلك لديها بعض الموضوعات ، وقد نظمت نفسها حول هذه المواضيع.

بالطبع هناك بالفعل العديد من المشاكل في تنظيم الموضوعات ، فمثلاً نستخدم شجرة لتنظيم هذه الموضوعات وكيفية تنظيم هذا الموضوع في الجزء الخلفي من النظام. على سبيل المثال ، لتنظيم الموضوعات حسب المنتجات والشخصيات ، كل المنتجات هي موضوع ، وكل الشخصيات هي موضوع ، لكن عندما أريد حقًا أن أسأل هذا النظام ، ستجد أن هناك تداخلًا بين المنتجات والشخصيات ، لأن الأشخاص ، مثل كأشخاص في مجال التكنولوجيا وأشخاص في مجال الترفيه ، قد لا يكون لديهم أي مجالات شاملة ، وليس من المناسب لنا وضعها تحت موضوع واحد. لذلك فإن تقسيم الموضوعات له بالفعل تداخل معين ، وبالطبع نظهر أنه منظم بشكل عام بطريقة تشبه الشجرة ، مما يسهل على المستخدمين فهمها. ولكن هناك في الواقع الكثير من التقاطع وراء إدارتها الحقيقية.

إدارة الحوار ، في الواقع ، بشكل عام ، يمكننا التفكير فيها على أنها هذه الحالة. قد تكون عملية انتقال الحالة هذه عملية قرار ماركوف النموذجية ، حيث S عبارة عن مجموعة من الدول ، A هي مجموعة من الإجراءات ، في حالة معينة ، إنه يواجه شيئًا ما ، ثم أي نوع من الاستجابة أو نوع الإجراء الذي يجب القيام به ، قد تحتاج طريقة التعلم الآلي إلى تنظيم هذا الحوار في مثل هذه الحالة ، والمكان المهم هنا هو أن هناك حاجة إلى بعض وظيفة العودة.

على سبيل المثال ، عندما يقوم التعلم المعزز بهذا النوع من الحوار ، فليس بالضرورة أن يقوم بإدارة الحوار. هناك أيضًا مثل هذا السيناريو عند القيام بتوليد الحوار ، أي أنه يحدد حوارًا في الحوار ، فهو يحاكي جولات متعددة ، ووفقًا لوظيفة مكافأة محددة مسبقًا ، ثم إصدار حكم. هذه هي إدارة الحوار ، والتي يمكن إجراؤها من خلال التعلم المعزز. في الواقع ، التعلم المعزز هو محاكاة جولات متعددة من الحوار ، ثم العودة لتحديد الخطوة المناسبة للحالة الحالية.

هذه حالة بسيطة تستخدم التعلم المعزز العميق لتتبع حالة الحوار. على سبيل المثال ، إذا أدخل المستخدم جملة ، من خلال التعرف على الكلام ، فيمكن أن يكون لديه إدارة حالة ، ثم يدير هذه الحالة ويتحكم في مخرجاتها من خلال إستراتيجية. بالطبع ، جزء من جوهرها الأوسط هو وظيفة المكافأة. في الحوار ، تعتبر وظيفة المكافأة مهمة جدًا. بشكل عام ، لم يتم تحديدها جيدًا. لأننا نتحدث ، ما هو المناسب وما هو غير مناسب؟ هذا ليس يمكن السيطرة عليها للغاية.

دعونا نلقي نظرة على استخدام التعلم المعزز للحوار. باختصار ، في الحالة S ، قد يكون لها عمليات m. لا نعرف أيًا من هذه العمليات يمكن أن يجلب أي نوع من المكافآت ، لذلك دعونا نقوم بالاستكشاف. ، لاستكشاف مكافأة كل عملية ممكنة ، استخدم هذه المكافأة للرد أو اتخاذ قرار أو تسجيل نتيجة لهذه المكافأة.

بالإضافة إلى ذلك ، يتم إجراء ذلك أيضًا مع شبكات الخصومة ، ولكن هناك مشكلة في شبكات الخصومة ، وهي في الواقع لا يمكن التحكم فيها بشكل كبير ، وفي بعض الحالات قد تفرض اتجاه هذه المحادثات ، كما أن استقرار الشبكات العدائية يمثل مشكلة أيضًا. أثناء عملية التدريب ، يعتبر الاستقرار أيضًا مشكلة.

سواء كان التعلم العميق أو التعلم الآلي التقليدي ، بعض الأساليب أو الوظائف في NLU لإدارة الحوار والحوار ، فيما سبق بعض الأساليب الحالية ، وكيفية القيام بذلك ، ولكن ستكون هناك بعض المشاكل في ذلك ، التعلم الآلي في كثير من الحالات ، إذا كان إنتاجيًا ، فمن الصعب التحكم في ما إذا كان قد تم إنشاؤه أم لا ، ومن الصعب الحكم عليه. إذا كان نوع الاسترجاع ، فإن الجملة التي قالها المستخدم ستعطيه إجابة استرجاع بغض النظر عما إذا كانت الإجابة للمستخدم أم لا ، ويطرح المستخدم سؤالًا غير ذي صلة ، ويمكنني أيضًا استعادته من أجله. الجواب ، الجواب هو العطاء أو عدم العطاء؟ هذه أيضا مشكلة. في الواقع ، يتم استخدام المعرفة هنا ، وهذه العملية مهمة للغاية.

تنقسم المعرفة إلى نوعين هنا ، أحدهما هو خريطة المعرفة ، وخريطة المعرفة الصارمة ، وهنا هذا الجزء من KG. البعض الآخر عبارة عن معرفة اللغة ، مثل تجميع اللغة ، وتحويل قواعد اللغة ، ومشكلات التهجئة ، ومشاكل المجال ، في الواقع ، بما في ذلك بعض مشاكل كلمات المجال ، والكلمات المتشابهة ، والمرادفات ، وقد تطورت هذه الأشياء في اللغة الطبيعية لسنوات عديدة. في الواقع ، تم تجميع الكثير من المعرفة في هذا المجال ، ولكن من الصعب بالفعل دمج هذه الأشياء في التعلم العميق.

من خلال نموذج حساب التشابه المذكور أعلاه ، يمكننا إكمال مشكلة حساب التشابه للغة الطبيعية المذكورة أعلاه ، ولكن الإجابة التي قدمناها من المحتمل أن تكون خاطئة ، لذلك بعد خصائص هذه اللغات ومعرفة KG ، ضع المعرفة يستخدم كدليل للتحقق من المرشحين ، ويقدم النموذج الدلالي العميق إجابات متعددة للمرشحين. بالنسبة لهذا المرشح المحتمل ، نقوم بتحليله من خلال الرسم البياني المعرفي أو ظاهرة اللغة ، ثم نجد بعض الأدلة ، والتي سيتم التحقق منها مرة أخرى. أي إجابة تختار . لأنه بشكل عام ، هناك مشكلة عند استخدام رسم بياني معرفي صارم لتحليل مشكلة بشكل مباشر. في كثير من الحالات ، لا يمكننا تحليل هذه المشكلة بدقة ، ولكن يمكننا فقط تحليل جزء منها.

باقتراح من المعلم Ge Fujiang ومجموعة أدوات ذات صلة بالمحتوى الأساسي.