ملاحظة المحرر: في الآونة الأخيرة، وكسر وسائل الإعلام استعراض البيانات المعروفة مواقع الاحتيال ووقت وجهات نظر مختلفة، والتي "التكنولوجيا الزاحف" هي واسعة اهتمام الرأي العام، حتى قال بعض الخبراء، وهذا هو وسيلة تقليدية. ما هي الزواحف؟ عند ترك رسالة للتسوق عبر الإنترنت لا يمكن السماح لمواقع أخرى "الانتحال"؟ لقد طلبنا من معهد التكنولوجيا الحاسبات من "الشرق الكبير" ليقول لنا شيئا.

أولا، ما هو الزواحف

الشرق الكبير: أبيض، وعادة ما يتم القيام بهذه المهمة لم يفعلوا ذلك؟

الأبيض: الاشياء كبيرة جدا، كيف كيف كيف؟

الشرق الكبير: انظروا كنت خائفة تمتمت جميع.

الأبيض: I I I مثل طالبا جيدا، كيف يمكن لمثل هذا الشيء Chaozuo يي!

جيرو: حسنا، أنت لا تعرف Chaozuo يي، أن بعض الطلاب لا نسخ المنزلية الخاصة بك؟

الأبيض: ليس هناك نجاح باهر! خصوصا قبل يوم من أعمال التفتيش، زملائي لا طفل يتجول، نسخ معا، يمكن أن يكون مذهلة.

الشرق الكبير: في عالم الشبكة، وبعض الناس ترغب في نسخ "وظيفة" عليه.

الأبيض: أوه! من هو!

الشرق الكبير: دعا الزواحف ول.

الأبيض: لقد سمعت الكثير!

الشرق الكبير: الزاحف على شبكة الإنترنت، وتسمى أيضا نسيج العنكبوت، الروبوت على شبكة الإنترنت، وهناك اسم أدبي - المطارد على شبكة الإنترنت. الزاحف على شبكة الإنترنت وفقا لقاعدة محددة سلفا أو البرامج أو النصوص تلقائيا انتزاع المعلومات المطلوبة من شبكة الإنترنت.

الأبيض: تحت بعناية الدراسة يمكن انتزاع تلقائيا ألف وظيفة بالنسبة لي، ولا حتى والمواد اللاصفية، الأصوات نظرة جيدة جدا ~

الزاحف على شبكة الإنترنت (الصورة من الشبكة)

ثانيا، لماذا يمكن الزواحف

الأبيض: زاحف الويب، وبالتالي قادرة على قبض عليه؟

الشرق الكبير: ما دام جيدة في وقت كتابة هذا التعريف، يمكنك انتزاع فقا للطلب الخاص بك، من هذه النقطة هو ما حاول الاستيلاء على الصيد. شيوعا ويمكن استخدامها لنص صفحة والصور والفيديو.

الأبيض: أوه نجاح باهر ~

جيرو: موضوع الزحف الزاحف على شبكة الإنترنت، وذلك باستخدام تقنيات وبنية البرنامج، تنقسم عادة إلى الفئات الأربع التالية: للأغراض العامة الزاحف، مع التركيز الزواحف والزواحف والزواحف الإضافية عميقة.

الأبيض: هناك الكثير من تولي اهتماما لذلك!

الشرق الكبير: عالمي الزواحف الزواحف أصبحت الشبكة بأكملها، وتستخدم أساسا في محركات البحث. الزواحف العامة تبدأ من بداية URL، الصفحة يمكن الحصول على الوجه الكامل، وحجم العمل الضخم، مما يتطلب سعة تخزين كبيرة، وأسرع تجهيز السرعة والأداء القوي.

الأبيض: أم لا، هي يخدع الأولى إلى أسفل!

الشرق الكبير: التركيز الزواحف تركز على صفحة معينة والزحف معلومات محددة، مجرد البحث والزحف المعلومات الأساسية المحددة مسبقا. نوع التركيز تستخدم عادة للمرحلة جمع البيانات لتحليل البيانات، وهي محقة في ذلك.

الأبيض: لا للكمية، ولكن شبه الوحيد!

الشرق الكبير: تزايدي الزحف صفحات الويب تلقائيا في فترة محددة من الوقت لإعادة الزحف، قادرة على الحصول على المحتوى المحدث للصفحة وحفظه إلى قاعدة البيانات.

الأبيض: قليلا أتمتة يعني!

الشرق الكبير: يمكن تقديم الزواحف العميقة بدلا من المعتاد لصفحة الهبوط لإدخال البيانات يدويا إلى النص على صفحات الويب والصور وغيرها من المعلومات بسرعة والاستيلاء على قراءة المحفوظة. يمكن الزواحف عميقة أتمتة العمليات المعقدة لحفظ الصورة، والوصول إلى عدد كبير من البيانات الحسية من الصعب الحصول عليها، تقديم الدعم لاتخاذ قرارات المتابعة.

الأبيض: نجاح باهر، وهذا حجم أقوى! القضاء على الكثير من القوى العاملة عليه ~

الرجل العنكبوت (الصورة من الشبكة)

ثالثا، زراعة الزواحف بسيطة

الأبيض: الزواحف من السهل جدا استخدام، كما أنني أردت أن أكتب المحاولة، الاشياء العظيمة يقول لي حول كيفية القيام بذلك ~

الشرق الكبير: الزواحف عموما وضعين: واحد هو لمحاكاة المستخدمين الحقيقية، تعمل على الصفحة؛ في حين أن الآخر هو طلب HTTP إلى موقع ويب، والوصول مباشرة إلى محتويات الصفحة بأكملها.

الأبيض: أوه، أنا أفهم - أولا، يمكنك استخدام البرنامج أدوات اختبار لمحاكاة متصفح المستخدم وانقر العمليات، كما هو الحال في لغة بيثون، السيلينيوم هو حزمة يمكن استخدامها لإجراءات المستخدم محاكاة، إلى جانب حزمة lxml الشكل على صفحة ويب لتحديد مربع، ببساطة الكمال ~

الشرق الكبير: لم الأبيض لا أعتقد أن لدينا أيضا تجربة ذلك.

الأبيض: ها ها ها، عبثا ~

الشرق الكبير: الأمر بطريقة أخرى، يمكن الحصول على لغة بيثون، على سبيل المثال، بدأت برنامجا لمكتبة استخدام HTTP لبدء الطلب إلى الموقع المستهدف، في انتظار استجابة الملقم. إذا كان الملقم يمكن أن يكون استجابة طبيعية، سيقوم البرنامج تكون قادرة على الحصول على استجابة. يعبر هذا الرد عن محتويات محتوى الصفحة التي سيتم اكتسابها، فمن الممكن أن يكون HTML، سلسلة JSON، وأنواع أخرى من البيانات الثنائية، البرنامج أيضا بحاجة إلى الاستمرار في تحليل واستخراج المحتوى، وفي نهاية المطاف للحصول على المعلومات اللازمة.

الأبيض: إنه يبدو جيدا جدا جدا ~

الشرق الكبير: بشكل عام، والطريقة الثانية أعلى من كفاءة الأولى.

الأبيض: جيد! الليلة يمكنني أن أعود والكتابة الزواحف -

الشرق الكبير: الزواحف عموما تنقسم إلى عدة وحدات، كل منها مسؤولة عن وظائف مختلفة. ببساطة التحدث والزواحف جانب وضع جدول زمني لمراقبة ورصد العملية من الزواحف، URL مدير أن يكون الزحف المواقع المستهدفة وإدارة URL كان الزحف URL، تحميل على شبكة الإنترنت من URL مدير URL في صفحة التحميل، وتوليد السلسلة؛ محتوى احتياجات محلل صفحة لإكمال إعراب تحميل الصفحة، تحليل الخروج من جهة، وقيمة البيانات المفيدة، من جهة لإزالة الارتباط إلى مدير URL صفحة ويب.

الأبيض: نجاح باهر، والزواحف الصغيرة، أمر التقسيم أيضا ~

تدفق الأساسي للالزاحف (صورة من الشبكة)

الرابع، والتكنولوجيا المضادة للتسلق

الأبيض: الاشياء العظيمة، لدي سؤال. دائما بعض الطلاب لا تشترك بسهولة ثمار تعبه، ثم مجرد السماح يرى آخرون وظيفته على الخط. ولكن في هذه الشبكة، والموقع هو العام، ويمكن لأي شخص أن يرى، وإذا كنت لا تريد أن تدع الآخرين نسخ، وهو كيف نفعل ذلك؟

الشرق الكبير: هناك تكنولوجيا الزاحف، بالطبع، ومكافحة تسلق التكنولوجيا.

الأبيض: الصف الاستماع ~

جيرو: أنا أفهم أن ينقسم التكنولوجيا المضادة للتسلق الحالية على نطاق واسع إلى أربعة. يجب أن "كود" لاستراتيجية مكافحة الزواحف معظم الكلاسيكية.

الأبيض: وأنا أعلم - أنها ليست من شأنها أن الإنسانية رمز التحقق أبدا خطأ تفقد!

الشرق الكبير: نعم، لأن الرمز هو الصورة، ويمكنك ببساطة إدخال تسجيل الدخول ناجحا عندما يقوم المستخدم بتسجيل الدخول، فإن عملية القبض على بيانات البرنامج، تحتاج إلى الاستمرار في تسجيل الدخول، والاستيلاء على 1000 معلومات المستخدم الشخصية، تحتاج إلى ملء 1000 رمز، وهذا البرنامج سوف تكون قادرة على إبطاء أو حتى توقف عملية الزحف.

الأبيض: نجاح باهر، حقا آه المشكلة.

الشرق الكبير: تأتي استراتيجية أخرى لمكافحة الزواحف أكثر لا يرحم كما الإغلاق IP وختم الحساب. الموقع مرة واحدة من يشتبه IP أو الموقع الاعتبار الزواحف واستولى على الفور على حساب وIP لفترة قصيرة أو حتى بشكل دائم لم تعد قادرة على الوصول إلى الحساب أو عن طريق الموقع IP.

الأبيض: هذا من الصعب جدا!

الشرق الكبير: أكثر شيوعا هو الزحف من خلال المعلومات الحد الكعكة، مثل برنامج بعد الهبوط محاكاة، ترغب في الحصول على بعض المعلومات بعد الصفحة المقصودة، تحتاج أيضا إلى طرح بعض من منتصف الصفحة للحصول على الكعكة معين، ثم يمكنك التقاط الصفحة التي نحتاج إليها.

الأبيض: عملية أكثر تعقيدا ذلك.

الشرق الكبير: نمط مكافحة الزواحف شائعة نسبيا آخر ومما لا شك فيه باستخدام JS عرض الصفحة. ماذا يعني ذلك، وهذا ليس طلب مباشر للعودة الصفحة للحصول على، ولكن هناك جزء من ملف البيانات JS التي حصل عليها العملية، أن جزء من البيانات هو أيضا متناول أيدينا.

الأبيض: يبدو أن الجميع من أجل الحيلولة دون "العمل" هو الانتحال، طرق ذكية ذلك!

الشرق الكبير: آه الأبيض حتى، من الآن فصاعدا، سواء كان لك أو لزملاء الدراسة، كل ذلك المنزلية جيد، والحصول على درجات جيدة تعتمد على الانتحال، عاجلا أم آجلا سيكون هناك "القصاص" في!

الأبيض: يجب أن تكون جيدة للقيام بذلك ~

ضد (صورة من الشبكة)