فيشر التمايز الخطي للاعتراف الوجه fisherfaces.

أولا، تقديم فكرة

الخطي تحليل التمايز (الخطي تحليل التمايز، LDA)، المعروف أيضا باسم فيشر الخطية التمايز (فيشر الخطية التمايز، FLD)، هو وقدم كلاسيكية خوارزمية التعرف على الأنماط في عام 1996 عن طريق التعرف على نمط Belhumeur والذكاء الاصطناعي. الفكرة الأساسية للتحليل التمايز الخطي هو مساحة عالية الأبعاد لعينات نمط إسقاط المنخفضة للالأبعاد ناقلات الأمثل، لتحقيق تصنيف المعلومات استخراج الميزات الهامة من الأبعاد المكانية وتأثير ضغط، ووضع الإسقاط الخلفي لضمان أن العينة الجديدة لديها أكبر فضاء جزئي الطبقة المسافة بين مقرها مسافة الحد الأدنى، أي لديها أفضل طريقة للانفصال في هذا المجال.

تقنية للحد من أبعاد LDA هو نوع من التعلم تحت إشراف. وهذا يختلف ومحكمة التحكيم الدائمة. لا يعتبر PCA تقنيات عينة تخفيض أبعاد غير خاضعة للرقابة فئة الانتاج. ننظر إلى أسفل آراء طريقة ثنائية الأبعاد.

الشكل أعلاه إسقاط يوفر بطريقتين، التي يمكن أن تلبي أفضل معايير لدينا؟ حدسي يمكن أن ينظر إليه، وترك من الحق في نتائج التوقعات جيدة، لأن إسقاط الأسود الصحيح والأزرق ونوعين من عينات أكثر تركيزا، مسافة كبيرة. الحدود الأيسر من البيانات التداخل. هذه هي الأفكار الرئيسية للLDA، بالطبع، في التطبيقات العملية، والبيانات لدينا هي أكثر فئات، البيانات الأصلية لدينا هي عادة ثنائية الأبعاد أكثر من والإسقاط أيضا عموما ليست خط مستقيم ولكن الفائق المنخفضة للالأبعاد .

اثنين، LDA الاشتقاق بين شيئين

ونحن نفترض أن مجموعة البيانات D = {(X1، Y1)، (X2، Y2)، ...، (ص، ي)}، حيث الحادي عشر هو عينة من أي متجه ن الأبعاد، yi {1،2}. نحدد نيوجيرسي (ي = 1،2) هو عدد العينات من نوع ي، XJ من الدرجة ي هو مجموعة من العينات، وي-ث يعني j متجه لنوع العينة، يتم تعريف الطبقة ي كأول j عينة مصفوفة تغاير .

الآن ونحن نرى أن كثيرا من العدد الأصلي من الميزات، مثل خفضت إلى بعد واحد فقط ميزة د الأبعاد، ولكن أيضا لضمان فئة يمكن "بوضوح" تنعكس في البيانات منخفضة الأبعاد، وهذا هو، والبعد تكون قادرة على تحديد كل عينة ل الفئة.

لذلك المثال التالي تستند إلى خط المتوقع عند نقطة طائرة ثنائية الأبعاد، للتمييز بين الطبقات.

حددت 1، مباشرة من مركز الإسقاط الخلفي

هل نحن قادرون على مشاركة فئتين فتح إلى الإسقاط، الانطباع البصري نوعين من نقطة المركز (الوسط) قريب بعيد، دون مشتق وفقا لهذه الفكرة.

هذا الافتراض لا يمكن أن تتحقق كأفضل ناقل إسقاط ث (D البعد)، وعينة العاشر (د البعد) ث الإسقاط يمكن أن تحسب بالمعادلة التالية:

لم يتم الحصول 0/1 قيمة قيمة ذ هنا، ولكن من المتوقع أن نقطة x على خط مستقيم لمسافة من الأصل.

يعني كل فئة:

منذ نقطة س عينة لمتوسط التوقعات ث هي:

ما هو أفضل خط على التوالي (ث) ذلك؟ لقد وجدنا أولا أن نوعين من العينات يمكن أن تكون نقطة المركز من الإسقاط بعد انفصال خط مستقيم قدر الإمكان هو خط جيد على التوالي، والتعبير الكمي هو:

J (ث) كبيرة بقدر الإمكان.

التماسك بعد 2) في حاجة أيضا للنظر في إسقاط نقاط العينة

أعلى J (ث) القيام بذلك بعد ذلك؟ انظر:

نقاط العينة موزعة بشكل متجانس في بيضاوي الشكل في الإسقاط على X1 المحور الأفقي من الممكن الحصول على نقطة مركزية أكبر تباعد J (ث)، ولكن نظرا لجزء كبير من التداخل، ونقاط عينة X1 لا يمكن فصلها. المتوقعة على X2 المحور الطولي، في حين J (ث) صغيرة، ولكن يمكن فصلها عن نقاط العينة. ومن الضروري أيضا أن ينظر في التماسك بين نقاط العينة، وفتح كبيرة، ونقاط المزيد من نماذج أكثر تماسكا نقطة.

ولذلك، فإننا نعتبر هذا التدبير، أي قيمة تجزئة (المبعثر)، والقيم تجزئته من نوع الإسقاط:

قيمة التجزئة هي هندسية نقطة عينة معنى برنامج متماسك، أكبر قيمة، وأكثر مشتتة، والعكس بالعكس، وأكثر تماسكا.

ونحن نريد لتلبية المتوقعة نقاط العينة: النقاط عينة من فئات مختلفة للفصل بين أفضل، وأكثر ما شابه ممكن متماسك، أي كلما زاد الفرق بين متوسط العينتين هو أفضل، وأصغر قيمة التجزئة أفضل. لذا، يمكننا استخدام J (ث) و S معا لقياس صيغة المقياس النهائي هو:

حيث:

 هذه الصيغة لا تبحث مألوفة جدا بالنسبة لي، وليس ذلك لعدم وجود مصفوفة التغاير لتوزيع عدد من العينات ذلك، دعا مصفوفة التجزئة (المصفوفات مبعثر)

ضمن تعريف الطبقة مبعثر مصفوفة فرنك:

بين من الدرجة يعرف مبعثر المصفوفة كما بينالي الشارقة:

التعبير الهدف الأخير هو:

3، طريقة لاغرانج في حل

قبل الاشتقاق، ضرورة أن يكون القاسم تطبيع، لأنه لا تطبيع، ثم، ث يتقلص، توسيع أي مرة، أقامت، لا يمكن تحديد ث. جعل

ثم بعد إضافة لاغرانج مضاعفات، الاشتقاق:

والذي يستخدم حساب التفاضل والتكامل مصفوفة، يمكننا ببساطة ننظر عند wTSww كما Sww2 الاشتقاق.

إذا فرنك عكسها، بحيث تتضاعف الجانبين بعد النتائج وفقا لاشتقاق

، جدا

تشير هذه النتيجة إلى أن المصفوفة ث

A ناقلات الميزة.

وتسمى هذه الصيغة التمييز فيشر الخطية.

دعونا نلقي نظرة، وجدنا صيغة أمام بينالي الشارقة

ثم منذ 1-2 وث في اتجاه واحد، ثم:

قيمة الميزة استبدالها في الصيغة النهائية لإعطاء:

أي تخفيض بسبب توسع ث مرات لا يؤثر على النتائج، فمن الممكن ان يرحل كلا الجانبين من الثوابت غير معروفة، للحصول على:

في هذه المرحلة، ونحن ببساطة يتطلب المتوسط والتباين من العينة الأصلية يمكنك العثور على أفضل الاتجاه ث، الذي اقترحه فيشر الخطي تحليل التمايز في عام 1936.

وأخيرا، فإن الإسقاط ثنائي الأبعاد لنتائج خريطة عينة:

ثالثا، LDA متعددة تصنيف

ونحن نفترض أن مجموعة البيانات D = {(X1، Y1)، (X2، Y2)، ...، ((ص، ي))}، حيث الحادي عشر هو عينة من أي متجه ن الأبعاد، yi {C1، C2،. ..، المسيخ}. نحدد نيوجيرسي (ي = 1،2 ... ك) هو عدد العينات من ي الطبقة، XJ (ي = 1،2 ... ك) هو مجموعة من عينات الطبقة ي، وj (ي = 1، 2 ... ك) هو متجه نفسه من ي-عشر فئة من العينة، الذي يعرف j (ي = 1،2 ... ك) ومصفوفة التغاير من عينات الطبقة ي. في LDA صيغة ثنائية التفرع يمكن بسهولة استقراء للعديد من أنواع.

وبما أننا من الدرجة متعددة إلى الأقل الأبعاد الإسقاط، في هذا الوقت المتوقعة على مساحة منخفضة الأبعاد ليس خط مستقيم، ولكن الفائق أ. لنفترض أننا المتوقع البعد إلى الفضاء بعد انخفاض غير د، ناقلات قاعدة المقابلة (W1، W2، ... أيام عمل)، وتتألف الركيزة مصفوفة من W ناقلات، وهي مصفوفة ن د.

عند هذه النقطة يجب أن نكون قادرين على تحسين يصبح الهدف:

حيث:

بينالي الشارقة فيما يتعلق تصنيف اثنين من غير أن تتغير، ونقاط قياس التجزئة الأصلي حيث وسائل اثنين، لكل نوع من الآن على قدر من النقطة المتوسطة للتجزئة القضية فيما يتعلق مركز العينة. i تعتبر مماثلة للنقاط العينة، ومتوسط [مو] هو مصفوفة التغاير، إذا كانت فئة كبيرة من نقاط العينة، ووزن كبير، يتم تمثيل متاح ني / N، ولكن J (ث) حساسة متعددة، لذلك ني يمكن استخدامها.

WTSbW وWTSwW مصفوفة ليست العددية، وليس بوصفها وظيفة العددية لالأمثل، نغير لالأشكال التالية:

تم استبدالها مع المنتج من العوامل عنصر قطري الرئيسية

وأخيرا، نظرا للعثور على القيم الذاتية للمصفوفة فوق. أولا، ابحث

قيمة مميزة، ومن ثم تأخذ المتجهات الذاتية K الأولى من W المصفوفة يمكن أن تتكون.

خامسا، LDA مقارنة مع PCA

LDA للحد من البعد، وPCA لها نفس الكثير، وهناك العديد من أماكن مختلفة، وبالتالي يستحق الحد من أبعاد قارن صحيح أوجه التشابه والاختلاف بينهما.

أولا ننظر إلى نفس النقطة:

1) على حد سواء قد يقلل من أبعاد البيانات.

2) عندما كلاهما يعتقد المستخدمة للحد من أبعاد خصائص مصفوفة التحلل.

3) كل من يفترض أن البيانات متسقة مع توزيع جاوس.

ونحن بعد ذلك ننظر في نقاط مختلفة:

1) LDA هو تحت إشراف طريقة للحد من الأبعاد، وPCA هو تخفيض أبعاد غير خاضعة للرقابة

2) تخفيض LDA أبعاد وصولا الى البعد الحد الأقصى من عدد من الطبقات ك-1، في حين أن PCA لم يكن لديك هذا القيد.

3) يمكن استخدامها للحد من LDA الأبعاد بالإضافة إلى ذلك، فإنه يمكن أيضا أن تستخدم للتصنيف.

4) الاتجاه LDA الإسقاط اختيار أفضل أداء تصنيف، وإسقاط PCA اختيار نقاط العينة وجود اتجاه الحد الأقصى التباين.

يمكن رؤية هذه الصورة من هذا الرقم، وتوزيع البيانات على يقين من Jiaoyou الأبعاد انخفاض PCA LDA.

سادسا، fisherface مثال على التعرف على الوجوه

قاعدة بيانات الوجه (8 أشخاص)

تسعى يعني مواجهة كل

تسعى متوسط وجه الجميع

كل طرح المتوسط

تشتيت نوع المصفوفة

بين من الدرجة مبعثر مصفوفة

Nonsingular، وناقلات ميزة تحسب

المفرد، مع تخفيض البعد PCA

ROC