شبكة لى فنغ منظمة العفو الدولية تكنولوجي ريفيو: "ديب التعلم" هذا الكتاب هو من الكتب الثقيلة في مجال تعلم الآلة، آلة التعلم ثلاثة مؤلفين هم المشاهير، مؤلف GAN، وجوجل أبحاث الدماغ عالم إيان غودفلوو، ثلاثة المؤسسين مجال الشبكات العصبية بت واحد من مؤسسي جامعة مونتريال أستاذ يوشوا بيجيو (أيضا معلم إيان غودفلوو)، ومع الشبكات العصبية واستخراج البيانات في جامعة مونتريال أستاذ هارون كورفيل. سوف نعرف بالتأكيد قد تحدث نظرة على تشكيلة من هذا الكتاب حول أحدث الأساليب من أساسيات ومبادئ عمق التعلم، ولكن أيضا في تطبيق التكنولوجيا، وهناك العديد من وصف محددة. وهذا الكتاب هو الكائن وليس يتعلم طلاب الجامعات المهنية ذات الصلة فقط، ولكن أيضا لتوفير التوجيه الصوت للباحثين والموظفين التقنيين الصناعة لتقديم أفكار جديدة لحل المشكلة.

مواجهة مثل هذا المحتوى كتاب رائع، إذا كان لديك لبدء لبدء القراءة، لى فنغ شبكة AI Yanxishe على أمل أن أعطيك المناقشة المشتركة، وفرصة لتحسين معا. لذلك نحن دعا عملوا في بايدو وعلي، أحد كبار المهندسين وانغ تشى ون خوارزمية للمشاركة مشاعره مع الجميع القراءة.

حصة الشخص: وانغ تشى ون، كبير المهندسين الخوارزمية، وعملت في بايدو والعمل علي، وقد فعلت أنظمة توصية، واستخراج البيانات الموزعة، النمذجة المستخدم، والدردشة الروبوت. "خوارزمية على الطريق، ونخفف إلى الأمام."

"التعلم العميق" القراءة حصة (أ) - الفصل الأول مقدمة مقدمة

مرحبا بالجميع، وهذه المرة لاقول لكم ان "التعلم العميق" هذا الكتاب أكثر شهرة. المزيد من المحتوى، ما مجموعه 20 فصول و 600 صفحة. نحن نمضي خطوة خطوة، للحديث عن الفصل الأول مقدمة. هذا الجزء هو مقدمة أساسية لبعض من عمق التعلم، وبعض من التاريخ. يمكنك أن تبحث في غلاف المناظر الطبيعية الجميلة، وسنترال بارك في نيويورك وعلى الأزاليات في إزهار كامل، يبدو قريبا قليلا أقل المعتاد، نعم، هذا الكمبيوتر ولدت، بل هو تحفة من deepmind جوجل فريق - دريم بارك. وهنا الروابط التي دفاتر العناوين مفتوحة المصدر MIT. العنوان الثاني هو جامعة بكين الصينية نسخة من مساهمة الفريق تشانغ تشى هوا، فإنها يمكن ربط أنفسهم للعثور على جيثب.

أما بالنسبة لي، وأنا على درجة الماجستير من العمر 11، وقد عملت لأكثر من ست سنوات التي BAT مهندس العاديين، ولا كيف مستوى مرتفع. لقد تم القيام قبل استخراج البيانات، والتعلم الآلي، البيانات الكبيرة هذه القطعة من العام الماضي، والوصول إلى التعلم العميق، أكثر اهتماما في نقل العمل إلى علي سحابة، وفعلت ستة أشهر بوت. وإنما هو أيضا مبتدئ، وسجل هاميلتون، ثم ليس هناك الكثير من الخبرة القتالية الفعلية، والقدرة بشكل عام. تبادل لا ضمان يتحدث بشكل جيد، ولكن سأحاول.

لماذا هذا للمشاركة؟ الأول هو للتعلم، والكلمة الثانية هي مثل لاتخاذ هذه الحصة للضغط على نفسي، لأنني كنت على التعلم في حد ذاته هو خاملة إلى حد ما (النسخة المطبوعة من هذا الكتاب اشترى ستة أشهر، وتناول الطعام لا يتحرك). ثالثا، وهذا الكتاب هو في الواقع الحصول على مبلغ أكبر، وأكثر من 600 صفحة، يستند فقط على بلدي سلطة شخص واحد قد لا يكون كافيا، لذلك آمل أن يكون أكثر الناس انضمام إليه، سهم.

أيضا إعادة التأكيد على أن الآن هو عصر الإنترنت، الحمل الزائد للمعلومات، ونحن نرى مجموعة واسعة من المعلومات، يبدو كثيرا، ولكن من السهل أن تجزئة، الشرق والغرب، ومطرقة العصا، والتجزؤ، مما يؤدي إلى عسر الهضم. لذلك، تريد حقا هو أن نتعلم تقنية، فمن الأفضل أن مضغ الطوب، وهذه هي الطريقة الأكثر غباء، ولكن الأكثر صلابة. هل هناك طريقة بسيطة يمكنك التحقق من إتقان مهارة، وهذا هو لنرى كيف العديد من الكتب. تناول المزيد من الكتب، وأكثر أساس متين، وأوسع مجال الرؤية.

تعطيك حوالي خريطة الحفاظ عليها لفترة طويلة، أنا وضعت هذه الصورة على جيثب على الصفحة الرئيسية، وأذكر نفسي دائما، تولي اهتماما للتعلم. ويقال إن هذا الرقم لتعلم التكنولوجيا الجديدة، من المفهوم بداية من الاسم الذي بعد نحو أسبوع، وأساليب مختلفة للإنجاز، والاحتفاظ المعرفة هو عدد التوالي.

نظرة على الأول: الاستماع، وهذا هو، ونحن الآن دولة، كنت استمع لي. معدل الاحتفاظ فقط حوالي 5، وهذا يعني بعد الاستماع إليكم اليوم، الأسبوع المقبل تحدثت عن ما يمكن أن تذكر 5 فقط، قد تكون مجرد فكرة قليل من "التعلم العميق"، أو أضع بعض الصور، وضع اف أكثر متعة، أو شيء أكثر إثارة للاهتمام، ولعلكم تتذكرون هذه فقط، كان معدل الاحتفاظ بنسبة 5، وإذا كنت الاستماع، تليها قراءة الكتب، ومشاهدة أشرطة الفيديو وغيرها، ومشاهدة شخص تظهر لك، ثم معدل الإحتفاظ في أحسن الأحوال 30 فقط، وبعد ذلك نشط بعد تعلم هذا الجزء من ذلك، إذا كنت الانتهاء من المدرسة بعد مناقشات مع الآخرين، وهذا هو، 50، ثم اليدين إلى رمز الكتابة، فمن 75. والأخير هو مكاني الآن في 90، وهذه الخطوة، لنكون صادقين، من الصعب جدا (من القراءة، والبحث عن المعلومات، هضم فهم، على أن تفعل PPT، وأقضي في المتوسط من 4-8 ساعات كل فصل، والمزيد من الوقت) . إذا كنت تريد حقا أن تعرف عمق التعلم، وتحاول أن يوصي نفسي للآخرين، فإنه سيكون الأقدر على الانضمام معا لحصة (هدايا من الورود، واليد اليسرى العالقة العطر) . (يضحك)

(ملاحظة: بعدا آخر، إبنجهاوس نسيان يظهر منحنى الوصول إلى المعلومات، 20min، انخفض 1H بحدة إلى 58، 25 بعد أسبوع، والشعور مرتفعة جدا، يمكنك الذهاب للبحث عن مزيد من التفاصيل)

على الرسم البياني على اليمين يظهر تكوين هذا الكتاب. هذا الكتاب هو أيضا ليست الشيء نفسه مع غيرها من الكتب، التي تبدأ في خريطة معينة، الوصف العام للما هو كل فصل العلاقة بين ما، الفصول والأقسام، وهذا أمر جيد جدا، وسوف تساعدنا تشكيل رأي عالمي.

FIG تقسيم الداخل إلى ثلاثة أجزاء رئيسية، الجزء الأول هو الأساس الرياضي، وينطوي على عدد من المفاهيم الرياضية الأساسية، فضلا عن تعلم الآلة الأساسية. الرياضيات تشمل الجبر الخطي، نظرية الاحتمالات، نظرية المعلومات، والتحليل العددي، فضلا عن كمية صغيرة من التحسين.

الجزء الثاني هو عمق التعلم الخوارزمية الأساسية. هذه الخوارزمية هي أساسا بعض الشبكات العصبية نموذجية، من DFN، وهذا هو، وعمق من شبكة feedforward، بداية، ثم تطورت بشكل منفصل في كيفية استخدام العادية، وكيفية الأمثل. CNN أيضا جزء من ما يلي، هو امتداد لشبكات feedforward، في الواقع، وهو مستمد RNN من شبكة feedforward، بطبيعة الحال، CNN هو شبكة feedforward أصيلة تماما. التالي هو ممارسة منهجية، وهو مؤلف لخص عادة بعض الخبرة العملية.

الجزء الثالث هو محتوى أكثر عميقة الجذور، عامل يتعلق نموذج الخطي، والتشفير. هذا جزء مهم جدا، هينتون يتعلق RBF، هناك مكدسة Dingdingyouming RBF لتشكيل تعددية DBN. ثم هناك يتعلم وأساليب مونتي كارلو، هيكل نموذج احتمالي، ونموذج الجيل العمق، وهو الظهور الأخير من العمر، الذي يسمى GAN ولدت ضد الشبكة، وسيلة قوية جدا.

في الزاوية اليمنى العليا من هذا القسم من الدليل. في الواقع محتويات الكتاب هو باختصار، أود أن أضيف بعض تفسيرهم الخاص للبنية الكتاب للقيام ببعض التعديلات، أي ما يعادل إعادة الإعمار، لذلك نحن نفهم أكثر مريحة، فإنه سيكون بمثابة عملية المترجمة.

الهيكل الجديد هو أنه، أولا، وإدخال ما هو التعلم العميق، وثانيا، لمعرفة ما يجب القيام به مع الجهاز، وثالثا، والتاريخ الشبكات العصبية، الرابع، والتعلم العميق لماذا حتى النار؛ الخامس وعمق تعلم أن تفعل ما. الفكرة العامة هي أنه لمجرد أن أذكر بعض الفهم العاطفي، وعدم التحدث عن تفاصيل محددة. إذا كنت ترغب في مزيد من المعلومات، يرجى قراءة العملية، والمعرفة لا يكون كسول، لا يكون كسول، لا يكون كسول (كسول اليوم سرقة، وغدا سوف نضاعف سداد، في هذا اليوم وهذا العصر الناس لا تعلم العقاب تفاقم).

ما هو عمق التعلم؟ الكتاب الذي يذكر كلمة "نظام AI يجب أن لديها القدرة على استخراج وضع البيانات الخام"، وهذا يشير إلى القدرة على تعلم الآلة. أداء الخوارزمية يعتمد إلى حد كبير على تمثيل البيانات، أو "يتعلم" وهو ML في الاتجاه العام.

تعلم الآلة التقليدي هو كيف نفعل ذلك؟ تعتمد أساسا على استخراج اليدوي من الميزات، مثل الطرق شيوعا هي فرزت، هناك خنزير، المويجات Harr، وما إلى ذلك، تتلخص في التجربة الإنسانية. ويضم عدة قوية جدا معالجة الصور المحتلة على مدى عقود، ولكن المشكلة هي سهلة جدا لتمديد. مقارنة مع آلة التعلم التعلم التقليدي العميق، ومعظم الفرق الواضح هو أن يتم آليا هذه عملية الاستخراج اصطناعية.

العودة للتفكير، ما هو عمق التعلم؟ أفهم أن بعض الصفراء العلامة الخط، من الشبكات العصبية التقليدية، وهذا هو، الوصلية (تعلم الآلة، والتي هناك العديد من الطرق، بما في ذلك الصلة connectionism)، والشبكات العصبية التقليدية تنتمي الصلة connectionism، والتعلم العميق هو تمديد الطريقة التقليدية الشبكة العصبية، والذي هو امتداد، إلا أنه، مع عمق الهيكل، وعدد وافر من بسيطة طبقة مفهوم التجريد بعد طبقة، لبناء المفاهيم المعقدة، واستخراج اكتشفت تلقائيا توزيع ميزة، لاحظ أن يتم توزيعها هناك. وأخيرا، ونحن نعلم نموذجا جيدا. واقترح مفهوم التعلم العمق جيفري هينتون للمرة الأولى في عام 2006.

ميزتين مهمتين من عمق التعلم، الأولى هي ميزة استخراج التلقائي، وتعلم المعلومات التقليدية داخل الميزات المعقدة جدا التي ليس لديها مشروع، وثانيا، طبقة بعد طبقة تجريد، في المقام الأول من خلال بنية عميقة.

هذا الرقم هو القول ما هو التعلم، وتمثيل مختلف التعلم أي نوع من الأداء.

تصنيف FIG هي سنتان، ومثلث مقلوب دائري، على التوالي فئتين. إذا كان النموذج الخطي البسيط، على ما يبدو لا ينفصلان. ومع ذلك، ما دام من خلال التحول، مثل متغير من الديكارتية إلى الإحداثيات القطبية، رسم خط عمودي فصلها بسهولة. لذا، تمثيلات مختلفة من مجموعة البيانات، ودرجة صعوبة المشكلة مختلفة.

وتقول هذه الصورة أن التعلم العميق هو كيفية حل هذه المشكلة من خلال بنية عميقة. الكامنة وراء بعض بكسل، حيث ثلاثة بكسل، مع الألوان الثلاثة فقط. بالطبع، هذه الصورة إلى حد ما مضللة، يبدو أن الألوان الثلاثة فقط، ويمكن أن يتم تصنيف الصور، في واقع الأمر ليست كذلك. الصورة الكاملة المقابلة لطبقة الأساسية بعد طبقة، من أسفل إلى أعلى، وهذا هو عملية التسلسل الهرمي التجريد؛ وتتألف الطبقة الثانية من قطاعات خط متصلة وفقا للبكسل الأساسية، أو حافة أكثر تعقيدا، لقمة طبقة لتشكيل جانبي محلي، هو عدد من الزوايا أو ملامح. ما وراء مجردة العلوي، هو أن تصبح جزء من الكائن، أو ككل، وأخيرا، يمكنك ان ترى ما يقرب من شخص.

هذا القول العملية أن عمق التعلم من خلال بعض طبقة تجريد من بنية الطبقة العمق، تمويه خطوة بخطوة مشكلة مبسطة.

نظرا لأنه هو التعلم العميق، ثم يجب علينا أن نسأل، ما هو عمق في النهاية، كيف تعرف هذا العمق؟

نظرة على الجانب الأيمن من هذه الصورة، وهو مخطط الحساب، DAG هو مخطط تصور مهام الحوسبة قبل وبعد. في الواقع، هذه المهمة هي الطريقة التقليدية في التعلم داخل الجهاز، ودعا الانحدار اللوجستي، على سبيل المثال، أدخل عينة، وهناك سمتان من سمات X1، X2، والتي مضروبا في الأوزان W1، W2، تناول، ومن ثم السعي تتراكم ثم يحدد وظيفة تفعيل السيني، هي في جوهرها التحول. ترك هذا حسابية بسيطة يمكن وصفها FIG بها، وهذا هو مجرد وصف للطريقة، والحق هو طريقة أخرى وصفها. والفرق هو أن الحق هو مفهوم المعنى النظري المنطقي، في حين أن اليسار هو وصف لإجراء العمليات الحسابية.

وصف اليسار تجسيد، وعمق الشبكة 3، علما بأن الطبقة الأولى ليست كذلك. هذا الوصف هو الطريق الصحيح، وطبقة واحدة فقط. الكتاب الذي قال إن المفهومين هي وصفها، لمعرفة أي واحد تريد. في ظل الظروف العادية، نحن على الجهة اليمنى والذي كمعيار. وفقا لمفهوم التقسيم المنطقي، ويمكن أن يستمر تقسيم، والمعيار هو أن لا تشمل طبقة الإدخال.

رؤية هذه الصورة، وهذا هو الإدخال، هو عبارة عن شبكة التقليدية، في إشارة إلى الشبكة العصبية، والبنية الأساسية وسوف يشار إلى مثل هذا الإدخال، بالإضافة إلى طبقة خفية، طبقة الإنتاج زائدا. طبقة مخفية يمكن أن يكون طبقات متعددة. هذه المدخلات ليست على مستوى في بعض الأماكن، وبعض العد، وعادة ما المدخلات ليست كذلك، وحتى لو كان هذا هو عبارة عن شبكة من مستويين

ما هو هذا القول عن العلاقة بين عمق التعلم مع تعلم الآلة. تعلم العمق من تعلم الآلة، ولكن أعلى من تعلم الآلة. الطوري الثاني هو تعلم الآلة، DL هو فرع رئيسي من منظمة العفو الدولية، منظمة العفو الدولية هناك طرق أخرى، وهذا هو واحد فقط فرع منه.

مقارنة مع الشبكة العصبية التقليدية، ويعكس عمق دراسة معمقة حول بنية شبكة معقدة. فكيف معقدة يمكن أن يطلق عليه، عموما أكثر من 4-5 طبقات لأن الشبكات العصبية التقليدية 2-3 طبقات، مثل شبكة BP أو اثنين أو ثلاثة، أكثر من مجرد كلمات على التدريب سيئا، ولكن أيضا التدريب لا يخرج، وذلك أساسا على فقط لحوالي 4-5 طبقات، ليس هناك الكثير.

هذا هو واين FIG بعض العلاقة المنطقية بين مختلف المفاهيم الواردة في هذا التقرير. هذا يعتمد على عدد من واضحة نسبيا مربع أحمر، القول هي تعلم الآلة، ثم هناك نوع يسمى يتعلم، يتعلم التي لديها دراسة متعمقة بشأن مثل هذه العلاقة المتداخلة عميق.

ثم وصفت هذا مع أساليب التعلم المختلفة FIG، فإنه يعكس الاختلاف في التكوين. أقصى اليسار هو نظام من القواعد، من خلال نوع من التفكير المنطقي لمحاكاة عملية التعلم، وهذه هي الطبعة الأولى، وهو برنامج مصمم من قبل الرجل، إدخال البيانات، وفقا لقواعد معينة، والحصول على ناتج واحد. أنها بسيطة نسبيا، في الوسط العمليات بالفعل اثنين.

والخطوة التالية هي ثم لتعلم الآلة التقليدية، ما الفرق الذي يحدثه ذلك، وعلى رأسها وجود ميزة رسم الخرائط.

وبعد ذلك للتعبير عن التعلم. ويتعلم طريقة تقسيم الداخل إلى قسمين، واليسار، واحد على اليمين. مقارنة مع اليسار قبل ذلك، على خصائص المشروع سوف تنفق الكثير من الطاقة، وميزات الهندسية المعقدة جدا، تعتمد على الخبرة، والقوى العاملة ككل. التعلم هو مؤشر على عمق التعلم، على أساس أن تفعل بعض التحسين، فإنه سيكون التغيير، أن الفرق هو أكثر من أجزاء: الاستخراج الآلي من الميزات.

هذا هو الفرق بين نماذج التعلم المختلفة في العديد من العمليات الأساسية في تاريخ أعلاه.

يتحدث هذا القسم في تاريخ الشبكات العصبية. وباختصار، فإن الشبكة العصبية ضعت سترو قصيرة، قد مرت ثلاث موجات، كما دعا ثلاثة من اثنين من أسفل (الهبوط الجد دنغ). سقوط ثالث لا يزال غير واضح، قد يتساءل المرء، لمعرفة عمق النار من هذا القبيل، وكيف يمكن أن ينخفض؟ هذا ليس صحيحا بالضرورة، على رأس موجة من الأولين، ونحن نشعر بنفس الطريقة. كانت المرة الأولى حوالي 40 سنوات إلى 60 سنة، نشأت في علم التحكم الآلي، تقوم أساسا على سيادة تلك الأساليب لا. عمر معرفي، ولادة خلايا عصبية اصطناعية الأولى. الخلايا العصبية بدت تماما مثل ما هو عليه اليوم، ولكن من الخلايا العصبية، وليس هناك تسلسل هرمي، هو الحصول على عدد وافر من متطلبات المدخلات والمخرجات ومن ثم السيني، وتنتج يبلغ حجم انتاجها أن الخلايا العصبية فقط. لاحظ أن الخلايا العصبية الوقت داخل الأوزان مصطنع الإعدادات. وفي وقت لاحق، هب حكم تعلم الأوزان ذكر يمكن تعلم بها. لذلك سقط المستقبلات، مقارنة مع الخلايا العصبية السابقة، بالإضافة إلى هيكل متعدد الطبقات، ولها الحق في إعادة تعيين من الدليل لتصبح آلية. هيكل الشبكة المستقبلات هو عادة 2-3 طبقات، أي شبكة feedforward التقليدية. ومع ذلك، لم يمض وقت طويل بعد ولادة المستقبلات، اكتشف مؤسس معهد ماساتشوستس للتكنولوجيا AI مختبر مارفن مينسكي المفتاح لهذا الهيكل، وكتب كتابا بعنوان "المستقبلات" القضايا الأساسية اللتين استهدفتا المستقبلات، أول لا تحل واحدة حتى مشاكل غير الخطية بسيطة، والثانية، من الناحية النظرية، مشاكل غير الخطية يمكن حلها عن طريق شبكة متعددة الطبقات، فمن الصعب أن القطار (المستبعد جدا في ذلك الوقت). هذه المشكلة غير الخطية هي أن في باب المنطق XOR الرقمية. وذكر في الكتاب، بوابة XOR هي بوابة الشبكات العصبية. يكفي بالتأكيد، منذ عقدين من الأسئلة الهامة التي تستهدف المستقبلات، إلى جانب وجود تأثير قوي مارفن مينسكي، العديد من الباحثين قد تخلت عن المدينة، للتخلي عن الشبكة العصبية في هذا الاتجاه، أدى مباشرة إلى أول الشتاء. هذه المدة الطويلة في فصل الشتاء، لمدة تصل إلى ثلاثة عقود.

كان في المرة الثانية 86 عاما، وربط العصر. في عام 1974، ظهر انتشار الخوارزمية المقترحة لأول مرة، ولكن لأنه في فصل الشتاء، وليس موضع اهتمام، حتى عام 1986، هينتون إعادة اختراع خوارزمية BP، وكانت النتائج جيدة، ثم بشرت في صعود الثانية، بدأت الشبكة العصبية. ثم صعدوا مع نموذج جديد، وهو Vpnik دعم آلة ناقلات (PGM ولد. هذا الاسم يبدو غريبا جدا، لماذا تأخذ "آلة" الكلمة؟ لأن غالبا ما تأخذ "آلة" الشبكات العصبية الكثير من النار، من أجل إضافة هذه الكلمة يتم نشره). BP مقارنة مع الصندوق الأسود تقريبي، أثبتت نظرية SVM أن تكون جميلة جدا، أسوأ من ذلك، وآلة الدعم الموجه هو الحل الأمثل العالمي، وإنما هو الشبكات العصبية المثلى المحلية، لذلك، تعرضت BP SVM كذبة (SVM يمكن اعتبار الانتقام منه)، والشبكة العصبية في الثانية خلال تجميد.

وكانت المرة الثالثة في عام 2006، وجلس على مقاعد البدلاء هينتون أكثر من عشر سنوات من مضنية البحوث الشبكة العصبية، والترميز ورفعت أخيرا من الإدارة القائمة على النتائج، شبكة الأوزان المبدئية لم تعد عشوائية، ولكن لديها نقطة أعلى ابتداء، جنبا إلى جنب مع ما قبل التدريب وصقل، من أجل حل مشكلة تدريب الشبكات العصبية متعدد الطبقات، واقترح مفهوم التعلم العميق، بمناسبة دراسة متعمقة الولادة الرسمية (هينتون هو يستحق هذا الإله الراعي). وقد استمر هذا الاتجاه حتى الآن، والآن إطلاق النار تم حرق لأكثر من عشر سنوات، أكثر وأكثر ازدهارا، حتى لإبادة تعلم الآلة. متى اطفاء؟ هذا القول حقا. . . .

هذا الجزء من كتب التاريخ، وكان هناك باختصار، نظرة على هذه الصورة، وربما مقسمة إلى ثلاث مراحل. حصلت على بعض المعلومات الأخرى، بحيث نرى أكثر بديهية.

خريطة الأساس هو محاكاة الكمبيوتر من الشبكة العصبية FIG، وربط شبكات مختلفة، معقد جدا على ما يبدو معقدا. ومع ذلك، هناك أيضا الخلايا العصبية بسيطة أكثر تعقيدا. هذا هو العصبية، وبعض من الشروط البيولوجية، ونحن نعرف كل هذه المفاهيم. يكمن جزء الأساسية بين المشابك العصبية تمر المعلومات من عصبون إلى آخر الخلايا العصبية. فرق الجهد يتجاوز قيمة عتبة معينة، والإفراج عن إشارات كيميائية بين الخلايا العصبية، العصبية. عملية نقل المعلومات، من عصبون إلى آخر الخلايا العصبية.

لا يمكنك استخدام نموذج رياضي لمحاكاة هذه العملية؟ هذا هو تبسيط آخر، وترسل ثلاثة تحفيز الخلايا العصبية إلى الخلايا العصبية، تراكم، بعد تغيير فرق الجهد، ومن ثم الخروج من نتيجتين، هو متحمس واحد، ويتم قمع واحد، فمن الدولتين. وبعد ذلك ننظر إلى أسفل عملية استلام ونقل المعلومات، يمكننا أن ننظر.

ثم إلى نموذج رياضي، والمحاكاة هي هيكل الخلايا العصبية. هذا هو جزء من الخلايا العصبية بيضاوي الشكل، والتي لديها صلات N مع ما ورد أعلاه، كل قوة اتصال مختلفة المقابلة لسمك الخلايا العصبية، أي إلى اليمين هناك W1J الوزن Wij ومن ثم القيام الطلب التراكمي و، إلى جانب تجهيز وظيفة الإثارة، البطاقة بعد عتبة، ثم لا ينبغي أنتج هذا القرار.

هذا هو الأكثر الأساسية الرياضية نموذج المحاكاة، ومن ثم تتغير بمرور هي صيغة من هذا القبيل.

الآن نلقي نظرة على بعض من تاريخه. هذا الرقم هو أكثر تفصيلا من الكتاب الذي يمضي الرسم.

هذه الطفرة الثلاثة، للمرة الأولى في 58 عاما، ولدت التصور، وهذا هو الارتفاع للمرة الأولى، ولدت شبكة BP مرة الثانية، والمرة الثالثة هو ولادة CNN وDBN، وهما يان ليكون وهينتون شخصين أثار وقد أدى ذلك إلى ارتفاع الثالثة. وهو اختلاف في بنية الشبكة، أول خلية عصبية واحدة، طبقة واحدة الشبكة العصبية، وهناك BP، عملية BP المتوسطة بالإضافة إلى 2-3 طبقات، سوف تكون أكثر تعقيدا من ذلك، وأخيرا إلى دراسة معمقة طبقات له كثيرة، أكثر بكثير من السابقة 2-3 طبقات.

من هذا الرسم البياني أعلاه نحن يمكن أن تتوافق مع فترة محددة فيها كل رجل. الجزء الأول هو بعض المنطق القائم طريقة التفكير، ولادة الخلايا العصبية هو بداية وضع اثنين منهم إلى الأمام، النائب نموذج (علما بأن هذه ليست المستقبلات متعدد الطبقات، ولكن اسمين المشار إليها، ودعا بشكل أكثر دقة MP) يمكن حلها وغير المشكلة، علم التحكم الآلي الدماغ الإلكتروني دون سن البوب. ثم حوالي 57 سنة ولدت المستقبلات، MLP، مع الفارق قبل أن يكون لديك المزيد من الخلايا العصبية، W1 W2 والأوزان وتلقائيا تدريب (على أساس هب حكم التعلم). هناك مشكلة، ودعا XOR أي بوابة XOR، أي XOR إن الحساب والمنطق العمليات، ويكون مماثلة أو غير محددة أو يصعب حلها الخطية نموذج. بوابة XOR هي بوابة الشبكات العصبية. ترك الشخص المذكور في الشكل مارفن مينسكي، كتبه أدى مباشرة إلى أول الشتاء.

ثم الطبقات المستقبلات، وهذا هو، مع بداية الشبكة العصبية BP. وهذا يشكل حوالي 74 عاما، ولدت الشبكة العصبية BP. في ذلك الوقت سحبت الولايات المتحدة والاتحاد السوفياتي العصبي تمويل البحوث الشبكة، والكثير من المجلات حتى لا يتلقى ورقة الشبكة العصبية، وذلك عندما ادة شبكة بي بي أي تأثير.

التالي هو هينتون، وإعادة تصميم BP المقبلة. ثم، ولادة آلة الدعم الموجه القادمة، فإنه ذكرت للتو حل الأمثل العالمية لحل المشكلة تبدو أكثر جمالا من BP، وحتى هذا الوقت هو جاء الشتاء الثاني. الشكل على هذه العملية، مع عموما بعد بنفس الطريقة.

هذا هو عدة مراحل، الأولى هي شبكة طبقة واحدة، وطبقات الثانية، ومتعدد الطبقات الثالثة. يتم تنشيط هذه الشبكة ثلاث طبقات تختلف في وظيفة، والاختلافات أو المشاكل والمشاكل المعقدة. مثل شبكة واحدة منذ اثنين فقط من الدول، وتفعيل أو تثبيط، وهكذا هي وظيفة علامة، قيمة الدالة هو 1 أو -1، وليس حل وظيفة XOR، لا يمكن حل المشاكل المعقدة.

إلى الشبكة من طبقتين عندما معقدة هيكل من ذي قبل، ويصبح وظيفة التنشيط، وظيفة علامة لم يعد السيني الأوسط. هذا فروق التوقيت أو مشاكل يمكن حلها، ولكن لا يمكن حل المشاكل المعقدة. إلى شبكة متعددة الطبقات، التي هي الآن التعلم العميق، وظيفة تفعيل أساسا ReLU وأبسط من السيني السابق، لا يمكن حل المشكلة XOR، يمكن حل المشاكل المعقدة.

وحتى الآن تعلم عميقة وظيفة تفعيل النموذج هو أساسا ReLU، ولكن ليس قبل السيني. في الواقع، قبل وقت طويل، وربما الثمانينات والتسعينات، ReLU قد شهدت بالفعل، ولكن عندما يختار الناس العصبية وظيفة الشبكة الإثارة، وهناك خرافة بجنون العظمة، وظائف السيني هذه الحوافز، في كل مكان، مستمرة، والنماذج الرياضية هي جميلة في حين ReLU فمن الواضح أن هذه نقطة الصفر هي الطفرة، هناك مشكلة، وليس الرصاص، وأنها لا تبدو جميلة. على الرغم من أنه يأتي في وقت مبكر نسبيا، ولكن لا تستخدم حتى وقت لاحق، ثم بعد أن اكتشف العديد من تدريب أنها تعمل على نحو أفضل بكثير من الدراسة السيني في عمق الداخل، لأن هناك السيني كبير المشكلة، التشبع، أو سلبية إلى ما لا نهاية إيجابية الاتجاه الثاني لا نهاية لها، وثيقة قيمة وظيفة إلى 1 أو -1 لم يكن هناك استجابة، ومن الحساسة فقط من نهايتها القيمة إلى 0، على نقاط كبيرة جدا أو صغيرة جدا، هادئة جدا، تجاهلها. هذه هي المشكلة التشبع. في الواقع، يجب أن تكون متدرجة وظيفة التكلفة بما فيه الكفاية كبيرة ومع القدرة على التنبؤ كافية لتوجيه التعلم، وظيفة تشبع تقوض هذا الهدف. أداء البيانات السيني أفضل على الصغيرة، والفقراء، ولكن الكبيرة مجموعات البيانات، ReLU نظرا لطبيعة النظام لتحسين أداء الاعتراف وبيوميمتيك (مبدأ الإشارات العصبية)، في حالة من مجموعات كبيرة من البيانات المعروضة براعة، حتى أكثر من أهمية طبقة مخفية الوزن.

مجرد تغيير في هيكل الشبكة، وهذا هو الترانزستور، وهذا هو، القدرة الحاسوبية، والبيانات، الخوارزميات، وهذه العوامل الثلاثة، فإنه أدى مباشرة إلى ارتفاع عمق التعلم.

العامل الأول الحوسبة السلطة. الحوسبة طبقة الأجهزة أساسا، طبقة واحدة الشبكة العصبية للعصر الترانزستور، ومقدار البيانات الصغيرة نسبيا، وخوارزمية التعلم هو المنطق بسيط الأساسية؛ للشبكة العصبية اثنين من طبقة، وحدة المعالجة المركزية هي أساسا لحساب بيانات لها كان المبلغ حوالي 1000-10000، كمية البيانات ينمو بسرعة، مع الخوارزمية الرئيسية BP. عندما شبكة متعددة الطبقات بشكل رئيسي من خلال تجميع أو GPU، حتى الآن هناك توسعا سريعا من أعلى TPU، كمية البيانات. إنها أساليب التدريب المختلفة مقارنة مع BP، قبل التدريب هناك مع، فضلا عن التسرب، وذلك أساسا لمنع الإفراط في تركيب.

هذه المراحل الثلاث المختلفة للبنية شبكتها، القدرة الحاسوبية لها، وكمية البيانات خوارزميات مختلفة.

الحديث عن هذا أكثر قوة الآن دراسة داخل عمق الله العظيم، هينتون هو بالتأكيد الإله الراعي من الميدان؛ يان ليكون مساهمة رئيسية هي إلى حد كبير على CNN، Bengio أساسا في RNN هذا واحد. هو يذكر أيضا شخص هناك الأردن، في الآونة الأخيرة، على ما يبدو علي انضمت نقابة المحامين، وإلى حق المرأة والمتخصصة في خريطة احتمال (مع شعاع الدعم الآلي ترتفع معا). هناك أندرو نغ، أساسا أربعة أشخاص (ليس دقيقا بالضرورة، ولكن الملوك الأربعة الملك بكى من السهل نسبيا أن يقرأ، O (_) O ~ ها ها ها).

مع دراسة متعمقة في كل مكان من هذه الصناعة كانت تبحث عن طرق للمنافسة على المواهب، وكانت صحيفة اسم إله يبحثون مرارا وتكرارا، وتراجع هذه النسبة كبيرة أيضا في إحدى المياه إله واحد، وهذه الصناعة لدراسة، وفقط كان Bengio أيضا في دولة محايدة، ولكن الأنباء الأخيرة إذا التحق الصناعة. مؤلف الكتاب هو إيان غودفلوو، GAN مخترع، كان Bengio أستاذه.

هناك العديد من الله العظيم الذي المحمي، قد اخترع word2vec وfasttext، لي Feifei والطلبة المتفوقين أندريه karpathy. . .

وتعقدت العلاقات، ولكن هذا العدد إلى عدد قليل من الناس، "زواج الأقارب" خطير.

هذا القسم هو مقدمة موجزة لبعض من البنية الأساسية لشبكة التغذية إلى الأمام. كل شبكة هو في الواقع محاكاة وظيفة معقدة، هدفها هو أن نتعلم كل اتصال طبقة داخل الأوزان. الوزن الروافد حالة جيدة نسبيا، وقد بلغ ما يعادل وظيفة تقريب جيد. الكتاب الذي يؤكد هذه النقطة: الشبكة العصبية ليست غاية، وهي ليست مثالية التناظرية إلى الدماغ، وإنما لتحقيق تعميم الإحصائي، على غرار آلة تقريب الوظيفي لل . لأن الدماغ البشري معقد جدا، والآن بنية الشبكة في هذه الحالة هو أقل بكثير من دماغ الإنسان.

اثنين الرئيسي بنية الشبكة المعروفة، وتغذية قدما الأولى، وهذا يعني تدفق المعلومات من طبقة واحدة هبوطا، والطريق إلى الأمام لا إلى الوراء (وليس خطأ نشر الظهر). إلى CNN، على سبيل المثال، والثاني هو ردود الفعل، وضعت الدولة على إقامة التدريب، وهذه المرة كمدخل، بل هو امتداد للتغذية إلى الأمام، تتميز نتيجة التدريب عندما سيأخذ التدريب مع أكثر من ومن ثم تقرر على متن القطار القادم. والمثال النموذجي هو RNN، مشى تبتسم، ومشى.

السبب في صعود التعلم العميق هناك ثلاثة عوامل: كميات هائلة من البيانات، الحواسيب، خوارزمية اختراق . في الداخل هناك العديد من الخوارزميات RBM، BP، وهو نسخة محسنة من BP، وهناك بعض أساليب التدريب قبل القطار، بالإضافة إلى بعض التغييرات في وظيفة التنشيط.

هذا الرقم وقالت البيانات. القزحية ابتداء من آلة التعلم مجموعات البيانات المذكورة في كثير من الأحيان، إلا أن النظام في هذا المكان صغير جدا، في وقت لاحق MNIST، السلطة الرابعة من أجل من حوالي 10، ثم إلى ImageNet، إلى تزايد أخيرا، وهذا هو الآن مشكلة التعلم عمق واجهت صعوبة أكثر من ذي قبل، والبيانات هي أكثر تعقيدا بكثير.

وهذا مثال من MNIST. يوصف هينتون لأنها تعلم الآلة في ذبابة الفاكهة، ودراسة التجارب البيولوجية وبلا حراك داخل عدد من التجارب الجينية، على حساب الذباب لا تعد ولا تحصى. داخل CNN وغالبا ما يحمل عليه لناحية الممارسة، وهذا هو CNN داخل بدخول helloword (الشبكة العصبية helloworld تغذية إلى الأمام هي المشكلة XOR).

هذا هو الحال مع تعزيز أداء الأجهزة، ومدى تعقيد نموذج في تزايد أيضا. تعقيد نموذج مشابه لتعقيد الدماغ، مثل الدماغ ذبابة الفاكهة في الثدييات في الواقع قريب، وليس معقدا جدا. ولذلك، فإن أكثر تعقيدا الدماغ، هو أكثر عدد الاتصالات. ذبابة الفاكهة حجمه صغير نسبيا، ولكن سوف يكون أعلى الثدييات، بطبيعة الحال، الذي هو أعلى، قد يكون هناك أكثر تقدما من المخلوقات البشرية، لكننا لا نعرف ذلك (مثل بروميثيوس؟).

الآن مع مرور الوقت، وسوف تستمر الشبكة العصبية أيضا إلى ترقية، وسوف يتضاعف في الأساس كل 2.4 سنة. حتى الآن أقوى الشبكة العصبية، والقدرة الحاسوبية من له أقل من ضفدع . (ويقال أن بايدو وصلت إلى مستويات طفل الدماغ 2-3 سنوات من العمر)

والخطوة التالية هي أن تفعل ما الشبكة العصبية، التي لديها الآن سطح تطبيق واسع جدا، وينقسم إلى الصورة والصوت والنص، والألعاب، بدون طيار، وما إلى ذلك، كما سمعنا الكثير.

صورة المجالات، مثل صورة، بحيث محتوى الصورة تحديد داخل الجهاز، مثل أي شخص، دراجة هوائية، والحجارة، وما شابه ذلك، وتعطى كل نتيجة وجود درجة معينة من الثقة. حقل الصورة هو أكبر مجال التعلم العميق قوة الطرق التقليدية تضيع في الأساس، تهز الأرض. صوت ثانيا، NLP أصعب، NLU ليس حلا جيدا، لا يزال في عملية التغيير.

مثال آخر هو القليل من المرح، زوجي وطنية "مجموعة الأولى هدف صغير مائة مليون،" وانغ جيان لين، يمكن تحديدها وفقا للصورة التي تسمح للناس. هناك النجوم، وجه من خلال الجراحة التجميلية بعد نوع من فترة طويلة، ولكن الجهاز سوف تكون قادرة على التعرف عليها لتحديد، على سبيل المثال، وهذا هو وانغ لوه دان والزنابق البيضاء.

التقدم في مجال التركيز على الصورة لذكرها هنا. وهذا مثال من بداية النسخة التعلم العميق للقطط والكلاب التي تم تحديدها، وهذا المكان هو تصنيف أكثر من واحد.

هناك AlphaGo، ولعب مباريات مع CNN أدركت فلابي بيرد.

تاريخ تطور من التعرف على الصور. من اليمين إلى اليسار على طول التسلسل الزمني، منذ عام 2010، نسبة الخطأ الاعتراف آخذ في الانخفاض تدريجيا، هناك انخفاض كبير جدا في عام 2012 تقريبا. فذلك لأن جوجل لأول مرة استخدام التعلم العميق (CNN)، نتيجة مباشرة لانخفاض ما يقرب من 10 نقطة. لطبعة جديدة من CNN 2014 كان أيضا جوجل، وبانخفاض نسبة الخطأ إلى 6.7. ثم 2015 مايكروسوفت شبكة المتبقية، وصولا نسبة الخطأ إلى 3.57. لم نظرة على الأرقام لا تبدو الكثير مختلفة، ولكن من جهة، وارتفاع يصل مجالا للتحسين هو أصغر، كلما زادت صعوبة، وثانيا، هناك معلما ومبدع، ونسبة الخطأ البشري هو 5.1، ولكن هذه المرة الآلة 3.57، تجاوز، لذلك هذا هو الحدث التاريخي. داخل مجموعة البيانات المستخدمة هي لي Feifei مفتوحة المصدر مجموعة البيانات ImageNet، الذي 2016 لعبة ImageNet الفريق الصيني للفوز في البطولة طوال العام وفاز بعض العناوين. ترقية في مجال الفضاء قليلا التعرف على الصور، لذلك هذا العام، بعد توقف المباراة، ربما لا شيء لديه مجال للتحسين.

وتتجلى هذه فائقة شبكة، أول شبكة ثمانية طبقة، إلى الطابق 19، ثم إلى 22 طابقا، ومبهور مرئية. وPPT هو CHANG من جامعة تايوان الوطنية، يمكننا العثور عليه.

I حصة اليوم هنا، شكرا لك!

(النهاية)

شبكة لى فنغ توحيد AI تكنولوجيا مراجعة، شكرا الضيوف لتبادل وكذلك تصحيح التجارب المطبعية وتكملة النص!