ACL 2017 ورقات قصيرة

مستخدمي تويتر تميل إلى إيرادات التنبؤ على أساس الوقت

التوجيه الزمني للتغريدات للتنبؤ الدخل من المستخدمين

جامعة مدينة دبلن

جامعة مدينة دبلن

المستخلص على وسائل الاعلام الاجتماعية استخدامه من لغة المستخدم تلقائيا تقييم حالة الاجتماعية والاقتصادية للمستخدم يمكن أن تساعد بشكل كبير مجموعة متنوعة من التطبيقات المصب البحث العلمي والمجتمع من الأعمال إلى السياسة. تعرض هذه الورقة أول دراسة لاستخدام المستخدم البنية المعرفية لخلق نموذج التنبؤ الإيرادات. على وجه الخصوص، وضعنا أول المصنف ضعيف باستخدام إطار التعلم تحت إشراف دفع وقت خاص ضعت الماضي والحاضر أو المستقبل تلقائيا. وزعنا وفقا للمستخدم على تويتر لتحديد الاتجاه العام للمرة المستخدم، واستخدام هذا لوضع نموذج توقعات الإيرادات. وكشف تحليل لدينا وجود علاقة بين وقت في المستقبل الميول والعائدات. وأخيرا، ونحن أداء وظيفة الانحدار، بتقييم القدرة التنبؤية النزعة الوقت المستقبل للدخل.

1 مقدمة

على تويتر ووسائل الإعلام الاجتماعية الأخرى، المحتوى المقدم من المستخدمين يجعل تحليل المؤلف أصبح نطاق غير مسبوق. على وسائل الإعلام الاجتماعية لاستخراج ميزة يهدف الى يستنتج من النص الذي كتب في العديد من سمات المستخدم. وقد ركزت معظم الدراسات السابقة في هذا المجال لعمر، والتنبؤ الجنسين (ماركوارت وآخرون، 2014؛ .. ساب وآخرون، 2014)، والصحة العقلية (دودز وآخرون، 2011؛ .. تشودري وآخرون، 2013)، و الظواهر السلوكية والنفسية والطبية الأخرى (Kosinski وآخرون، 2013). البحث عن الخصائص الاجتماعية والاقتصادية من مستخدمي تويتر، ومع ذلك، فإن قلة من الناس. في هذه الورقة، والتقييم التلقائي من مستخدم تويتر هو لغة من الإيرادات لمستخدمي تويتر. توقعات الإيرادات من مستخدمي وسائل الاعلام الاجتماعي ومفيدة جدا لبحوث العلوم الاجتماعية في مجال الخدمات المصرفية، والتسويق، وسلسلة من التطبيقات المتابعة السياسية.

الأبحاث الاجتماعية عن إثبات الدخل قبل العرض، دخل الناس مع مجموعة متنوعة من العوامل، مثل الخصائص الديموغرافية (منطقة المشاركين الكونغرس الحية)، ونوع التعليم والجنس والعمر والعمر والجنس والعرق والحالة الاجتماعية و ارتفاع، وما إلى ذلك (كانيمان وديتون، 2010). وقد أظهرت دراسات أخرى، ويرتبط مع الانبساط (مثل الشبكات الاجتماعية بشكل اكبر) والضمير (على سبيل المثال النظام) الخصائص النفسية والدخل لديها علاقة إيجابية، في حين الخصائص العصبية (مثل الغضب والقلق) يرتبط عكسيا (روبرتس وآخرون آل.، 2007). الميل البشري هو أن الوقت في الماضي والحاضر أو الاختلافات الفردية في التركيز النسبي في المستقبل (زيمباردو وبويد، 2015). وقد أثبتت الدراسات السابقة وقت الميل الاتصال يتفق مع معظم العوامل توقعات الإيرادات المذكورة أعلاه، مثل العمر والجنس والجنس والتعليم والخصائص النفسية (يبلي وNyhus، 2006؛ آدمز ونبات القراص، 2009؛ شوارتز وآخرون، 2013. ، زيمباردو وبويد، 2015). وبالتالي، فإنه يطرح السؤال، وهي ما إذا كانت هناك علاقة بين الوقت الشخصي، وتميل إلى مستويات دخلهم. تقليديا، تقييم الوقت المسح ميل من تقرير المصير. في هذه الورقة، تم تقييم استخدام تويت اللغة على أساس الميول الوقت. نهجنا المستخدمة في مستوى المصنف الماضي والحاضر والمستقبل تويت، مجموعة المستخدمين لإنشاء تقييم مستوى المستخدم.

إطار التعلم لدينا باستخدام التفاف الشبكة العصبية (CNNs) للتنبؤ سقسقة تمثيل ناقلات، ويعتبرونها ميزة لتطوير نموذج تصنيف التي يمكن الكشف عن تلقائيا في المرة يميل إلى تويتر (للماضي والحاضر والمستقبل) . استخدام إطار المصنف 80 (80) دقة اختيار يدويا المدى (وشروط مماثلة استخراج تلقائيا) إشارة التي يقدمها ضعف الرقابة تمثل الماضي والحاضر والمستقبل لتدريب CNN. على سبيل المثال، كانت الرسالة تحتوي على دفع فقط الماضي (الحاضر والمستقبل، على التوالي) وضعت البذور الموسم الماضي كتسمية ضعيفة (الحاضر والمستقبل، على التوالي). استخدمنا الوقت مستوى تغريدات المصنف تلقائيا تويت تصنيف تحتوي على مجموعات كبيرة من البيانات من 5191 من 10 مليون مستخدم، واستخدام الحبيبات غرامة مهنة المستخدم كممثل. وأخيرا، نحن اختبار ما إذا كان في الماضي والحاضر والمستقبل من الفروق الفردية سواء كانت تتعلق الدخل. على وجه التحديد، فإننا نتوقع يتم تعريف مهمة الإيرادات كما الانحدار الخطي وخوارزميات التعلم غير الخطية، هذه الخوارزميات، والوقت يميل لاستخدامها الخصائص التنبؤية. على حد علمنا، هذا هو الوقت المناسب لدراسة توقعات الإيرادات على أساس الميل من أول من استخدم لغة تويتر.

وفي الختام، والطريقة المقترحة وتختلف الطريقة التقليدية (شوارتز وآخرون، 2015؛. Preotiuc بيترو وآخرون، 2015؛. بارك آخرون، 2017.) وشوارتز وآخرون (2015) تختلف، ونحن يستخدم الأسلوب ضعف الرقابة. في حالتنا، فإن البيانات التي تم إنشاؤها تدريب شبه التلقائي. يتميز تحديد اليدوي وإدخالها نواقل مختلفة لدفع CNN المصنف النص. وبالإضافة إلى ذلك، شوارتز وآخرون (2015) بدراسة بيانات الفيسبوك الساعة ميل من أجل التنبؤ شخصيات مختلفة المرتبطة بمثل هذا الشعور بالمسؤولية والعمر والجنس وتركيزنا الحالي على استخدام توقعات الإيرادات تميل لآخر في تويت الخاص بالمستخدم. في Preot، مؤلف مجلس الاتحاد العالمي بيترو وآخرون (2015) ويتوقع الدخل للمستخدم، اعتمادا على الخصائص الديموغرافية والنفسية للمستخدم. ومع ذلك، هذه ملامح عملية الاستخراج معقدة في الحساب. ولذلك، فإن الدراسة الحالية هي الاولى لاستكشاف باستخدام طريقة للتنبؤ الإيرادات من المستخدمين الوقت تميل إلى تويت.

العمل ذات الصلة

القائمة الرسالة / على مستوى الجملة أسلوب وقت المصنف عموما تنقسم إلى فئتين: (1) نهج قائم على قواعد، و (2) أشرف أساليب تعلم الآلة. يعتمد النهج القائم على القاعدة على الزمانية لكل قواعد تصنيف الدرجة تصميم يدويا (نيه وآخرون، 2015.) بغض النظر عن فعاليتها من هذا الأسلوب في تصميم قواعد تتطلب العمل الضخم. معظم تصنيف دولة قائمة على الأحكام تعلم آلة وحول الأعمال الروائية، من أجل تحسين أداء التصنيف. لقد بحثنا أنواع مختلفة من الوظائف، مثل كيس من الكلمات والتعبيرات الوقت، والعلامات الكلام، والطبقة محددة الوقت المفردات (شوارتز وآخرون، 2015). الوقت خلق المفردات فئة محددة والميزات الهندسية لديك لقضاء الكثير من القوى العاملة. وبالإضافة إلى ذلك، وضع مجموعة تدريب البيانات على نطاق واسع تحت إشراف الجهاز أساليب التعلم من الصعب جدا.

3 طريقة

في هذا القسم، ونحن تصف الأساس نظام المقابل دراسة مقارنة نقترح طريقة لتحديد وقت دفع يميل إلى هنا وإلى حد كبير كمجموعة.

3.1 تغريدات وقت ميل المصنف

ويمكن تعريف هذه المهمة كما تي، ونظرا لد رسالة دفع المنشورة، مع الإشارة إلى تاريخ الافراج عنه له الزمنية توقع الفئة ج ينتمي إلى {الماضي والحاضر أو المستقبل}.

أوصى العمارة: الموصى إطار اثنين خطوات رئيسية: (أ) معلمات تدريبية نموذجية، (ب) باستخدام نموذج لدفع النص غير مرئية علامة. في مجال التدريب، ونحن نستخدم علامة ضعف تغريدات المعلمات CNN والوقت لمعرفة الميول المصنف. على تصنيف باستخدام آلة ناقلات الدعم الخطي (ISVM). على وجه الخصوص، قمنا بتدريب ثلاثة المصنفات ثنائي (كل فئة) باستخدام-مقابل واحد للراحة، وتعيين أعلى فئة التهديف وصفت سقسقة. في الجزء الثاني، ونحن من خلال دفع يكتشف المكونة الأمثل كلا الاتجاهات الوقت النص.

الشكل 1: الموصى به العمارة الدراسة.

CNN استخراج الميزة المحددة الدافع هو:

في مختلف المهام رؤية الكمبيوتر، CNNs استخدمت بنجاح كما مستخرج الميزة، وخصائص اليدوية الحرفية تحقيق نتائج أفضل مقارنة. وقد أظهرت الدراسات أن ميزة تعيين CNN يمكن استخدامها مع SVM، لإنتاج أفضل من CNN الأصلية (Athiwaratkun وآخرون، 2015) نتيجة التصنيف.

وفي سياق المهام NLP، اتبع خطا مماثلا من البحوث جعلت دقة ممتازة (كيم، 2014، بوريا وآخرون، 2015.).

الشبكة العصبية التلافيف (CNNs): هذه هي مهمة صعبة، لأن تويت قصيرة وصاخبة. وبالإضافة إلى ذلك، الانجليزية والعديد من اللغات، واستخدام مجموعة متنوعة من الطرق للإشارة إلى الماضي والحاضر والمستقبل. وعلى عكس الطرق السابقة تعتمد أساسا على قواعد وخصائص المشروع يدوية الصنع، فإننا تلقائيا يتميز استخراج أنشأت تويت تويت عصرنا يميل إلى المصنف المستوى. على وجه الخصوص، ونحن نستخدم CNNs ناقلات تويت تلقائيا استخراج ميزة التصنيف.

في السنوات الأخيرة، العديد من معالجة اللغة الطبيعية والمعلومات المهام استرجاعها، أثبتت CNNs أن تكون مفيدة، ويمكن محاكاة فعال دلالات اللغة الطبيعية (Collobert وآخرون، 2011). في تجاربنا، قمنا بتدريب CNN بسيطة لديها طبقة التفاف، ثم كحد أقصى من طبقة التقارب (Collobert وآخرون، 2011؛. كيم، 2014). في نموذج CNN، استخدمنا المرشحات الثلاث، حجم الإطار هو 5 و 6 و 7، حيث لكل منها 100 تعيينات. القبض على مواصفات نافذة في تويت 5 ز، ز 6 و 7 غرام من المعلومات. نحن نستخدم فقدان التنظيم، ومعدل فقدان 0.5، وهي القيمة الافتراضية معقولة. كما استخدمنا لضبط الوحدات الخطية و 50 أحجام دفعة صغيرة. يتم تحديد CNN المعلمة على أساس الأداء عبر التحقق من صحة مطوية ثلاث مرات. قبل المدربين على ناقلات ميزة التدريب قال دفعة نص الترجمة CNN وتحديثها خلال التدريب. نحن نستخدم تدريبهم على أخبار Google كوربوس علنا ناقلات word2vec المتاحة، وخلق الخاصة بك word2vec التدريب مرحلة بيانات البطاقات النواقل. في مرحلة التدريب، معالم النموذج CNN المستفادة من خلال إحالة عدد وافر من المرشحات على كلمة ناقلات، ومن ثم تطبيق الحد الأقصى للوقت التشغيل لتجميع لتوليد طبقة ميزة مرتبطة تماما softmax المستخدمة. وأخيرا، ونحن نستخدم فقدان وظيفة المعلمات نموذج التعلم عبر الكون. وكيم (2014) وبالمثل، فإننا نستخدم الخسارة (هينتون وآخرون، 2012) لتغيير معالم طبيعية، التي قدمها عدد عشوائي من وزنها 0، لمنع overfitting.

نموذج التنبؤ 3.2 الإيرادات

(2015) على غرار Preotiuc بيترو وآخرون، وسيتم تحديد توقعات الإيرادات باعتبارها المهمة في الاتجاه الوقت يتميز الانحدار على مستوى المستخدم. أولا وقبل كل شيء، ويستخدم مرة تويت ميل المصنف بمناسبة ركزت سقسقة حول ما إذا كان الماضي والحاضر أو المستقبل. ثم، ومستوى المستخدم، ولدت لنا ثلاثة أنواع من الوقت يميل إلى فئات (مجموع ثلاثة متغيرات مستقلة)، هو الذي يعرف بأنه نسبة إجمالية قدرها فئة رسالة دفعة بسيطة من المستخدمين (تويت (المستخدم) جميع) مرئية في وقت معين ( ج {الماضي والحاضر، أو المستقبل})، كما هو موضح في (1):

استخدمنا أساليب الخطية وغير الخطية. يسوي الخطية شبكة مرنة الانحدار اللوجستي (LR) (فريدمان، 2009). من أجل القبض على العلاقة غير الخطية بين اتجاه من الوقت المستخدم والدخل، ونحن نستخدم عملية جاوس (GP) (راسموسن وNickisch 2010) الانحدار. نظرا مجموعة البيانات لدينا كبيرة جدا، ومقدار ميزة عالية، للتفكير GP، استخدمنا تقريب تماما ظروف التدريب المستقلة التي يسببها 500 نقطة عشوائية.

مجموعات البيانات 4

4.1 بيانات التدريب

تويتر API التي تم جمعها باستخدام تدفق الرسالة دفعة. نحن تحميل تويتر باللغة الإنجليزية بين 1 يناير 2015 حتى 31 كانون عام 2015، أنتجت حوالي 40 مليون تويت. بعد جمع تويت، ونحن نستخدم قائمة الانتقاء الاصطناعي من 50 حيث البذور عالية الدقة إلى الماضي مرشح والحاضر والمستقبل تويت. هذه الشروط مع عدد قليل جدا من ايجابيات كاذبة لالتقاط تويت البعد الزمني، وانخفاض معدل سحب على الرغم من هذه الشروط. من أجل زيادة معدل سحب، والاستيلاء على سبيل المثال جيدة الماضي والحاضر والمستقبل لهذا المصطلح الجديد، ونحن نستخدم التكنولوجيا توسيع طلب لتوسيع المصطلحات البذور الأولي لدينا. نحن نستخدم Mikolov وآخرون (2013) اقترح تخطي التوالي - نموذج غرام (كما يشار إليها Word2Vec) لتمثيل متجه التوزيع المستمر. تم تدريب هذا النموذج على 40 مليون لدفع كامل جمع النص وحجمه وحجم النافذة يتم تعيين إلى 300 و 7.

مع الأخذ بعين الاعتبار شروط التمثيل ناقلات، والتشابه بين اثنين من أزواج من المفردات التي نستخدمها لحساب التشابه جيب التمام. كلمات مشابهة أول 10 حيث يتم تحديد كل البذور من أجل توسيع قائمة حيث البذرة الأولي. مرة أخرى، ونحن نستخدم تصفية البذور المدى كل من مجموعة المضافة حديثا من تويت. لقد اخترنا 120000 موزعة بالتساوي في الماضي (= 40000 تويت)، في الآن (= 40000)، وفئة الوقت المستقبل (= 40000). أمثلة من ورق الترشيح دفع يلي:

شكرا جزيلا لكم على حضوركم في لعرضنا أمس. (بذور = أمس)

@ **** حاليا خارج المكتب عمله وظيفة أخرى. (بذور = حاليا)

أنا أعدكم لم يكن لديك لتخافوا. (بذور = وعد)

الجدول امتدت 1 يبين أمثلة من البذور الأولي على المدى الطويل. منذ عملية اختيار الكلمات الرئيسية التلقائي، وهناك بعض الكلمات غير ذات صلة في قائمة البذور طويلة.

الجدول 1: أمثلة على المدى البذور الأولي والبذور المدى الموسع.

4.2 اختبار مجموعة

لتقييم الوقت تغريدات ميل نموذج تصنيف، 2035 تغريدات ثلاثة المعلقين الملاحظات الاصطناعية إلى أربع فئات مختلفة: الماضي، الحاضر، ولا يمكن تحديد مستقبل. الأكثر تصويتا لتوزيع الناتج النهائي لفئة معينة من تويت. في اختبار تحديد التصويت بالأغلبية حذف للاتجاه تويت الوقت غير مؤكد. التوزيع النهائي للتغريدات التعليق هو: = 423 في الماضي، والآن = 1252 = 325 في المستقبل، فإنه لا يمكن تحديد = 35.

بيانات الإيرادات 4.3 المستخدم

ونحن نستخدم آل من Preotiuc بيترو وآخرون. (2015) وضعت مجموعة من البيانات، والذي يحتوي على 5191 مستخدمي تويتر وإحصاءات برنامجهم حوالي 10 ملايين تويت المادة التاريخ. مجموعة البيانات على أساس القدرة على الخريطة مستخدم إلى آخر تويتر، واستخدامه بمثابة وكيل لمتوسط دخل ذلك مهنة معينة.

5 النتائج

الوقت النتائج الميل: المشروح يدويا مجموعة الاختبار للمرة الأداء تويت ميل المصنف لدينا وتقييمها. لدراستنا، أجرينا نهجنا مع اثنين من الأكثر أهمية بالمقارنة مع خط الأساس: (ط) الأساس 1: قائم على قواعد النهج (Nieet وآخرون، 2015) و (ب) الأساس 2: واحد يشرف نوع استراتيجيات التعلم، بما في ذلك حقيبة من الكلمات والتعبيرات الوقت، والوقت المناسب لفئة معينة من خطاب العلامات ميزة المعجمية (شوارتز وآخرون، 2015). وأظهرت نتائج التقييم في الجدول 2. المقارن. وأظهرت النتائج أن الإطار الرقابي الضعيف لدينا من حيث الدقة ويرجع ذلك إلى تقنيات قائم على قواعد والتعلم تحت إشراف.

الجدول 2: الماضي والحاضر والمستقبل تصنيف دقة باستخدام طرق مختلفة لقياس بيانات الاختبار. النتائج الدقة (ع)، ونسبة نذكر (ص) و F1 (F1) قياس تقسيم كسور. الأساليب المقترحة 1 و 2 تمثل تصنيف إطار ناقلات Word2vec المقترحة المستخرجة من أخبار Google تتغذى تغريدات مكتبة وتدريبا قبل في مجموعتنا.

نحن التحقيق في الآثار المترتبة على علامات حجم تدريب البيانات لأداء كل أسلوب. خط الأساس 1 (نهج يرتكز على القانون) لا تشارك في هذه البيانات التدريب لا يتوقف على العلامة. نحن عشوائيا د تدريب البيانات لتدريب المصنف، واختبارها على مجموعة اختبار، ومجموعة 10-90 د. لكل د، ولدت لنا 20 مرة مجموعة التدريب، وسجلت أداء متوسط. كلتا الطريقتين تعطي دقة بيانات الاختبار في الجدول 3. وأظهرت النتائج أن أداء الإطار المقترح لدينا هو دائما أفضل من المقابلة من الإطار. على وجه الخصوص، فقد بينت النتائج أن التدريب في حالة 30K، لدينا وسيلة يمكن الحصول على نتائج أفضل، بدلا من الاعتماد على 120K برنامج التدريب للحصول على أساليب التعلم الآلي تحت إشراف الأكثر تقدما (خط الأساس 2).

الجدول 3: في الوقت تغريدات مواصفات مختلفة من التدريب البيانات دقة ميل المصنف.

التنبؤ الإيرادات: وPreotiucPietro وآخرون (2015) وبالمثل، فإن قدرتنا على التنبؤ الوقت لقياس الميل للمستخدم عن طريق إجراء الانحدار في الدخل. باستخدام 10 أضعاف عبر التحقق من صحة قياس الأداء: في كل جولة، 80 من البيانات المستخدمة لتدريب نموذج، و 10 باستخدام المعلمات نموذج الشبكة لضبط البحث، 10 أخرى من البيانات للاختبار. النتيجة النهائية تحسب من نتيجة مجموعة يتم طي 10. النتائج باستخدام الأساليب الخطية وغير الخطية الانحدار، ترد في الجدول 4 في الماضي والحاضر والمستقبل وقت يميل الميزات. تقاس باستخدام اثنين من مقاييس الأداء القياسية: بيرسون معامل الارتباط r ومتوسط الخطأ المطلق بين القيمة المستهدفة والاستدلال (MAE). وأظهرت النتائج أن العلاقة بين الدخل واتجاه المستخدمين في المرة القادمة هو الأعلى أن مستقبل الشعب الأوان غالبا ما تميل إلى أن ارتفاع مستويات الدخل. كما أظهرت النتائج أن، بالمقارنة مع الماضي والميل الوقت الحاضر، نموذج التنبؤ التنبؤ أرباح مستقبل يتميز بميل الى الوقت بدقة عالية. نتائجنا تتفق مع الدراسات السابقة أن التفكير بالمستقبل والتحصيل الدراسي، وتحسين المشاركة الاجتماعية من ضغط أقل، والانبساط والضمير عنه. كما ترتبط هذه العوامل بشكل إيجابي مع الدخل (كاهانا وآخرون، 2005؛. روبرتس وآخرون، 2007.). لاحظ أيضا أن أساليب غير الخطية لها مزايا هامة على طريقة الخطي، فإنه يدل على أهمية تمثيل علاقات غير الخطية في بياناتنا.

الجدول 4: استخدام الوقت توقعات الإيرادات الميل

6. الاستنتاجات

نقترح أول دراسة على نطاق واسع لتمرير وقتهم تويتر المستخدمين يميلون إلى التنبؤ الإيرادات. تقييم المستخدمين من الميل تويت في الوقت المناسب. لدينا ضعيفة أشرف أن تعلم إطار تميل إلى وقت تلقائيا وفقا للتويت الطابع الزمني المحتملة: الماضي، الحاضر، أو المستقبل. الميل الأساسية ذات الصلة في الوقت المناسب تماما لأخرى، وجدنا وجود ارتباط بين مستوى من الوقت ميول المستخدم المستقبل والدخل هي رواية. في العمل مستقبلا، ونحن ترتبط باللغة وعمق العاطفي من الميزات في مرحلة التعلم لتحسين دقة الوقت تميل إلى تصنيف.

ورقة رابط التحميل: