مذكرة لى فنغ الشبكة: هذه المادة هي عبارة عن تجميع للAI Yanxishe بلوق التكنولوجيا، الأصلي اللقب 3 طرق لتطبيق الكامنة التحليل الدلالي على كوربوس كبير نص على محطة ماك، JupyterLab، وColab، من تأليف الدكتور GP Pulipaka.

الترجمة | لين جيا تشانغ Zhifei التدقيق | يوهانغ التشطيب | MY

استخدام على مجموعات كبيرة من البيانات ولدت لغة وصف الطبيعي لمعالجة السيناريو الاكتشاف، التحليل الدلالي كامنة تلعب دورا في ذلك. هناك العديد من الطرق المختلفة التي يمكن تشغيلها التحليل الدلالي كامنة على مستويات متعددة، مثل مستوى النص، عبارة مستوى ومستوى الجملة. الأهم من ذلك، يمكن تلخيص التحليل الدلالي في دلالات المفردات والعطف في الجملة إلى شرائح أو الدراسة في. دلالات المفردات التي يمكن تصنيفها والتحلل من العناصر المعجمية، وذلك باستخدام هيكل الدلالي المفردات لها خصائص مختلفة للتمييز أوجه الشبه والاختلاف بين مضمون كلمة. الجزء مصطلح أو جملة الدرجة هو hypernym، hyponym مثال على العلاقة بين المعنى الوارد hyponym. Hyponym ديك قواعد مماثلة أو هجاء مماثل في بنية مماثلة، ولكن لها معان مختلفة. عدم وجود ارتباط بين انخفاض كلمة. "الكتاب" هو مجرد كلمة أقل، بالنسبة لبعض الناس، والقراءة، أو لها نفس الهجاء وشكل قواعد أو الحجز السلوك، ولكن المعنى مختلف جدا. تعدد المعاني المعجمية هو ظاهرة أخرى، فإنه يشير إلى وأفهم كلمة واحدة يمكن أن يكون أكثر يرتبط أو مرتبطة معنى مختلف تماما، تعدد المعاني هي كلمة يونانية، وهناك العديد من الرموز يمثلونها. يوفر بيثون مكتبة NLTK، لتحقيق النص المجرد من قبل كتل قطع من النص أو العبارات سلسلة ذات مغزى. يتم الحصول على تجهيز النصوص عن طريق رمزية مجردة، Lemmatization الانتقال من النص الحالي هو شكل مقوس من شكل أساسي.

الشكل 1: Lemmatization المتكررة

الشكل 2: معالجة اللغة الطبيعية على مصادر بيانات مختلفة في بيثون

الكامنة التحليل الدلالي

تطبيق التحليل الدلالي الكامنة على مجموعات البيانات الكبيرة من الوثائق والنصوص، هو طرق الحساب الرياضية والإحصائية المستخدمة في النص جسم كبير. في معظم الحالات، وأثر التحليل الدلالي الكامنة للحاق بركب مستوى الإنسان، وأنواع من المهم اختبار الطبقة المسيطرة. دقة عالية من التحليل الدلالي كامنة، لأنه يتم قراءتها من خلال وثائق وآلة نص يمكن قراءته على حجم الشبكة. وانفجرت تطبيق البند الكامنة التحليل الدلالي في تحليل المكون الرئيسي وتقنيات قيمة فريدة (PCA). ويمكن التعبير عن مصفوفة الوثيقة بوصفها A = Z Y، مجموعة من الصفوف في المصفوفة ممثل من الوثيقة. ممثل عن وثيقة نموذجية على نطاق واسع نص الإحضار مصفوفة في صفوف عدد كبير من المئات. تطبيق تجزئ القيمة المنفردة اقترح سلسلة من العمليات لتكون مصفوفة الى عوامل. NLTK حزمة بايثون معالجة اللغة الطبيعية لتطبيق بعض تقريب رتبة أدنى مستوى مصفوفة كلمة تردد، بعد ذلك، يساعد مؤشر تقريبي رتبة منخفضة واستعادة الوثائق التي لأن الكثير من تجميع النص كان فهرسة الدلالات الكامنة اسمه.

يطلع الجبر الخطي

A = Z Y مصفوفة تضم القيم الحقيقية، وذلك باستخدام مصفوفة غير سلبية تردد كلمة. تحديد رتبة المصفوفة يرافقه عدد كبير من الصفوف مستقلة خطيا أو أعمدة المصفوفة. مصفوفة A {Z، Y} رتبة. A-نوع مربع ج ج يمثل مصفوفة قطرية، والقيم قطري صفر أي غير. في المصفوفة الاختبار، وإذا كان كل قطري مصفوفة ج 1، ثم يتم تمثيل المصفوفة قانون العمل ج أبعاد المصفوفة. لمربع مصفوفة Z Z، لم تضمين جميع ناقلات الصفر ك. تتحلل مناسبة للاستخدام مصفوفة التحلل في بالمتجه الذاتي المنتج مصفوفة مصفوفة. هذا يمكن أن تقلل من الكلمات البعد، قدم من خريطة ثنائية الأبعاد على تصور الأبعاد عالية. تحليل (PCA) المكون الرئيسي وتجزئ القيمة المفردة (SVD) من تقنيات للحد من أبعاد للحفاظ على علاقة قوية في معالجة اللغة الطبيعية. خصائص Zipfian من الوثيقة كلمة التردد بحيث يتم تحديد التشابه في المفردات مرحلة ثابتة أمر صعب. ولذلك، فإن التحلل قيمة مميزة هو ناتج ثانوي لتجزئ القيمة المنفردة، لأن الوثيقة المدخلات غير متناظرة للغاية. الكامنة التحليل الدلالي هو تقنية خاصة، فإنه يوزع المستند على الفضاء الدلالي، وتحديد تعدد المعاني مع مكتبة NLKT. الموارد PUNKT مماثلة ويجب تحميلها من مكتبة وردنت NLTK.

استخدام جوجل Colab أجهزة الكمبيوتر المحمولة دراسة متعمقة واسعة النطاق

الشكل (3) توظيف عدة مداخن دراسة NVIDIA GPU-العمق

تدريب على وحدة المعالجة المركزية أو آلة التعلم عميقة نماذج التعلم قد يستغرق عدة ساعات طويلة، وكذلك من حيث البرمجة الكفاءة، لذلك، يمكن وصفها تكلفة الوقت وموارد الطاقة الكمبيوتر كما مكلفا للغاية. لأغراض البحث والتطوير، الذي بني جوجل البيئة المحمول Colab. تشغيله كليا في السحابة، دون توفير أجهزة أو برامج إضافية لكل جهاز. هو بالضبط نفس Jupyter المحمول، ويمكن أن يساعد العلماء عن طريق تخزين البيانات على القرص الثابت لتبادل الدفاتر Colab في محرك جوجل السحابية، انها مثل بعض جداول جوجل أو وثائق في بيئة تعاونية. GPU دفتر Colab لتمكين برنامج لتشغيل لتشغيل الإجراء المعجل، لا يوجد استهلاك الآخرين. على عكس Jupyter دفتر بأن الوصول إلى البيانات يمكن مباشرة من الدليل الجهاز المحلي، وتحميل البيانات إلى Colab سيكون هناك بعض التحديات. في Colab، سيكون هناك مجموعة متنوعة من الخيارات لملفات المصدر عند تحميل الملفات من نظام الملفات المحلي، أو يمكنك تثبيت برنامج تشغيل، مثل لتحميل البيانات من خلال المجمع محرك FUSE جوجل.

الشكل (4) تثبيت جوجل سائق FUSE المجمع

بعد الانتهاء من هذه الخطوة اكتمال، ويعرض سجل لا يولى على النحو التالي:

شنت على سجل التثبيت هو مبين في الشكل. 5 ماك

والخطوة التالية هي لتوليد مصادقة رمزية للتحقق من وثائق التفويض في Google Drive، ومحرك Colab جوجل.

أوراق اعتماد المصادقة 6

إذا تم عرض رمز وصول المكتسبة بنجاح، سوف Colab يكون جاهزا.

وصول FIG رمز التحقق 7

......

تريد مواصلة القراءة، يرجى الانتقال إلى مجتمعنا AI Yanxishe: الشبكي: //club.leiphone.com/page/TextTranslation/870

المزيد من المحتوى المثير لجعل AI Yanxishe.

مختلف المجالات بما في ذلك رؤية الكمبيوتر، ودلالات الكلام، سلسلة كتلة، الطيار الآلي، واستخراج البيانات، التحكم الذكي، لغات البرمجة وغيرها تحديثها يوميا.

شبكة شبكة لى فنغ لى فنغ (عدد الجمهور: ليو فنغ شبكة)