ما هو الزاحف؟ أداة الزاحف "ياندكس" وجوجل

كل يوم على شبكة الإنترنت هناك كمية ضخمة من مواد جديدة لإنشاء موقع على الشبكة تحديث صفحات الويب القديمة، وتحميل الصور والفيديو. دون مخبأة من محركات البحث لا يمكن العثور عليها في الشبكة العالمية، فإن أيا من هذه الوثائق. بدائل مثل برامج الروبوتية في أي وقت من الأوقات غير موجود. ما هو الروبوت بحث، لماذا كنت في حاجة إليها وكيف تعمل؟

ما هو الروبوت بحث

موقع الزاحف (محرك البحث) - هو برنامج التلقائي قادرة على زيارة الملايين من صفحات الويب، والتنقل بسرعة من خلال شبكة الإنترنت دون أي تدخل المشغل. السير بشكل مستمر الفضاء مسح للشبكة العنكبوتية العالمية، إيجاد صفحات الويب الجديدة وبانتظام الزيارة فهرستها بالفعل. أسماء أخرى لزحف الويب العناكب والزواحف، والسير.

لماذا محرك البحث العناكب

المهام الرئيسية التي تؤدي محرك البحث العناكب - صفحات الويب المفهرسة، فضلا عن النصوص والصور وملفات الصوت والفيديو التي عليها. السير الاختيار المراجع والمواقع مرآة (نسخ) والتحديثات. الروبوتات أيضا تنفيذ تحكم HTML رمز لمعايير المطابقة للمنظمة العالمية لل، تتولى وضع وتنفيذ المعايير التكنولوجية لشبكة ويب العالمية.

ما هو فهرسة، ولماذا هو مطلوب

فهرسة - هو، في الواقع، هو عملية زيارة صفحة ويب معينة عن طريق محركات البحث. البرنامج بمسح النص على هذا الموقع، والصور، والفيديو، وصلات الى الخارج، ثم تظهر الصفحة في نتائج البحث. في بعض الحالات، لا يمكن أن يتم تفحص الموقع تلقائيا، ومن ثم يمكن أن يضاف إلى محرك البحث يدويا المسؤول عن الموقع. عادة ما يحدث هذا في غياب الروابط الخارجية لعبارة معينة (غالبا ما تنشأ إلا في الآونة الأخيرة) صفحة.

كيف محرك البحث العناكب

كل محرك البحث لديها بوت الخاص بها مع البحث جوجل الروبوت يمكن أن تختلف بشكل كبير وفقا لآلية يعمل على برنامج مماثل، "ياندكس" أو غيرها من النظم.

بشكل عام، وهو مبدأ يعمل الروبوت هو على النحو التالي: برنامج "يأتي" في الموقع والروابط الخارجية من الصفحة الرئيسية، "يقرأ" مورد ويب (بما في ذلك أولئك الذين يبحثون في سماء المنطقة التي لا يرى المستخدم). القارب هو كيفية التنقل بين صفحات الموقع والانتقال إلى غيرها.

هذا البرنامج سوف يختار أي موقع إلى الفهرس؟ في أكثر الأحيان "رحلة" يبدأ العنكبوت مع المواقع الإخبارية أو الدلائل المرجعية الرئيسية وتجميع مع الوزن إشارة كبيرة. حفارات بمسح مستمر في صفحة واحدة تلو الأخرى، وعلى سعر واتساق فهرسة العوامل التالية:

• الداخلية: perelinovka (الروابط الداخلية بين صفحات نفس الموارد)، وحجم الموقع، والرمز الصحيح، وهلم جرا سهل الاستعمال.
• الخارجية: مجموع الوزن المرجعية، الأمر الذي يؤدي إلى الموقع.

أول شيء هو البحث بحث الروبوت على أي موقع عن طريق ملف robots.txt. يتم تنفيذ فهرسة المزيد من الموارد على أساس المعلومات الواردة أنه من هذه الوثيقة. هذا الملف يحتوي على إرشادات محددة ل"العناكب" التي يمكن أن تزيد من فرص زيارات الصفحة عن طريق محركات البحث، وبالتالي، لتحقيق موقع ضرب في وقت مبكر من "ياندكس" أو Google.

النظير برنامج الزواحف

غالبا ما يتم الخلط بين مصطلح "البحث الروبوت" مع ذكاء، المستخدم أو الوكلاء المستقلين، "النمل" أو "الديدان". اختلافات كبيرة مغمورة فقط بالمقارنة مع وكلاء وتعاريف أخرى تشير إلى مثل هذا النوع من الروبوتات.

على سبيل المثال، يمكن للعملاء أن يكون:

• المثقف: البرنامج الذي تم نقلها من موقع إلى آخر، يقرر بشكل مستقل كيفية المضي قدما. أنها ليست شائعة جدا على شبكة الإنترنت؛
• الحكم الذاتي: هذه العوامل تساعد المستخدم على اختيار المنتج، والبحث، أو ملء استمارات وما يسمى مرشحات، والتي هي ذات الصلة قليلا لبرامج الشبكة؛.
• مستخدم: البرنامج يساهم في تفاعل المستخدم مع الشبكة العالمية، ومتصفح (على سبيل المثال، أوبرا، IE، جوجل كروم، فايرفوكس)، رسل (فايبر، برقية) أو برامج البريد الإلكتروني (MS Outlook و كوالكوم).

"النمل" و "الديدان" هي أكثر مماثلة ل"عناكب" محرك البحث. النموذج الأول بين الشبكة وباستمرار التفاعل مثل هذا مستعمرة النمل، "الديدان" قادر على تكرار في جوانب أخرى من نفس الزاحف القياسية.

مجموعة متنوعة من محركات البحث

التمييز بين أنواع عديدة من الزواحف. اعتمادا على الغرض من البرنامج، وهي:

• "ميرور" - المكررات الذين يتصفحون المواقع.
• التركيز على الإصدارات النقالة من صفحات الويب - المحمول.
• خيارات - إصلاح معلومات جديدة بسرعة عن طريق عرض آخر التحديثات.
• المرجع - المؤشر المرجعي، العد أعدادهم.
• مصنفين أنواع مختلفة من المحتوى - برامج محددة للنص، والصوت، والفيديو، والصور.
• "التجسس" - يبحث عن صفحات التي لا يتم عرضها بعد في محرك البحث.
• "نقار الخشب" - زيارات دورية المواقع للتحقق جدواها وكفاءتها.
• الوطنية - تصفح موارد الشبكة وتقع على واحد من المجالات البلاد (على سبيل المثال، موبي، أو .kz .ua).
• العالمي - مؤشر جميع المواقع الوطنية.

الروبوتات محركات البحث الرئيسية

وهناك أيضا بعض عناكب محركات البحث. من الناحية النظرية، يمكن أن تختلف وظائفها على نطاق واسع، ولكن في الممارسة البرامج تكاد تكون متطابقة. الاختلافات الرئيسية فهرسة صفحات الويب الروبوتات اثنين من محركات البحث الرئيسية هي كما يلي:

• التشدد في الاختبار. ويعتقد أن آلية مجنزرة "ياندكس" تقديرات أكثر صرامة بعض الشيء الموقع للامتثال للمعايير الشبكة العالمية.
• الحفاظ على سلامة الموقع. المؤشرات زاحف Google في الموقع بأكمله (بما في ذلك محتوى وسائل الإعلام)، "ياندكس" يمكن أيضا عرض المحتوى بشكل انتقائي.
• اختبار سرعة صفحات جديدة. جوجل تضيف مورد جديد في نتائج البحث في غضون أيام قليلة، في حالة "حسب ياندكس" العملية قد تستغرق أسبوعين أو أكثر.
• وتيرة إعادة الفهرسة. زاحف "ياندكس" التحقق من وجود تحديثات مرتين في الأسبوع، وجوجل - واحدة كل 14 يوما.

الانترنت، بالطبع، لا تقتصر على محركي البحث. محركات البحث الأخرى لديها الروبوتات الذين يتبعون معايير الفهرسة الخاصة بها. وبالإضافة إلى ذلك، هناك العديد من "العناكب" التي تم تصميمها الموارد البحث لا الكبرى، والفرق الفردية أو المواقع.

المفاهيم الخاطئة الشائعة

خلافا للاعتقاد الشائع، "العناكب" لا معالجة المعلومات. البرنامج فقط بمسح ويخزن صفحات الويب ومزيد من المعالجة يأخذ الروبوتات مختلفة تماما.

أيضا، ويعتقد العديد من المستخدمين أن محرك البحث العناكب لها تأثير سلبي والإنترنت "الضارة". في الواقع، يمكن لبعض إصدارات "العناكب" الزائد بشكل ملحوظ الخادم. وهناك أيضا العامل البشري - المسؤول عن الموقع، الذي خلق هذا البرنامج، يمكن أن يخطئ في تكوين الروبوت. ومع ذلك، فإن معظم البرامج الموجودة مصممة بشكل جيد وتدار باحتراف، وأي مشاكل الناشئة إزالة فورا.

كيفية إدارة الفهرسة

محركات البحث هي البرامج التي تعمل تلقائيا، ولكن عملية الفهرسة يمكن التحكم جزئيا من قبل المسؤول عن الموقع. هذا يساعد كثيرا الخارجي و التحسين الداخلي للمصدر. وبالإضافة إلى ذلك، يمكنك يدويا إضافة موقع جديد لمحرك البحث: موارد كبيرة لها شكل خاص من تسجيل صفحات ويب.