الوصف
تبحث Mindrift عن مهندسين خبراء في حصد البيانات باستخدام بايثون للانضمام إلى مشروع Tendem ودفع تدفقات عمل حصد بيانات متخصصة ضمن نظامنا الهجين AI + البشر.
في هذا الدور، كطيار ذكاء اصطناعي – هكذا نطلق عليه هذا الدور في Mindrift – ستتعاون مع وكلاء Tendem الذين يتعاملون مع المهام المتكررة، بينما تقدم التفكير النقدي، والخبرة في المجال، وضمان الجودة لتوفير نتائج دقيقة وقابلة للتنفيذ.
هذه الفرصة بدوام جزئي عن بُعد مناسبة للمهنيين التقنيين ذوي الخبرة العملية في حصد الويب، واستخراج البيانات ومعالجتها.
ما نفعله
منصة Mindrift تربط المتخصصين بمشاريع الذكاء الاصطناعي من رواد التكنولوجيا الكبار. هدفنا هو فتح إمكانات الذكاء الاصطناعي التوليدي من خلال الاستفادة من الخبرة الواقعية من جميع أنحاء العالم.
هذا دور مستقل لمشروع Tendem. بصفك مهندس حصد بيانات بايثون كبير، ستتعامل مع مهام حصد البيانات التي تتطلب دقة تقنية لاستخراج البيانات من الويب ومعالجتها، مستخدما أدوات متعددة مثل Apify وOpenRouter التي نوفرها جنبًا إلى جنب مع أساليبك المواردية الخاصة.
المسؤوليات الرئيسية:
امتلاك تدفقات استخراج البيانات من النهاية إلى النهاية عبر مواقع معقدة، لضمان التغطية الكاملة والدقة والتسليم الموثوق ببيانات منظمة.
استخدام أدوات داخلية (Apify، OpenRouter) بجانب تدفقات عمل مخصصة لتسريع جمع البيانات، التحقق منها، وتنفيذ المهام مع الوفاء بالمتطلبات المحددة.
ضمان استخراج موثوق من مصادر ويب ديناميكية وتفاعلية، وتكييف الأساليب حسب الحاجة لمعالجة المحتوى المعروض جافاسكريبت وسلوك الموقع المتغير.
فرض معايير جودة البيانات من خلال فحوصات التحقق، وضوابط الاتساق بين المصادر، والالتزام بتنسيقات البيانات، والتحقق المنهجي قبل التسليم.
تواؤم عمليات الحصد مع مجموعات بيانات كبيرة باستخدام دفعات فعالة أو توازي، رصد الفشلات، والحفاظ على الاستقرار أمام تغييرات بسيطة في بنية المواقع.
المتطلبات:
خبرة لا تقل عن 5+ سنوات ذات صلة في هندسة البيانات، حصد الويب، الأتمتة، أو تطوير البرمجيات (مطلوب).
درجة البكالوريوس أو الماجستير في الهندسة، الرياضيات التطبيقية، علوم الكمبيوتر، أو المجالات التقنية ذات الصلة ميزة إضافية.
يجب أن يمتلك المرشحون أساسًا تقنيًا قويًا وتجربة عملية في البرمجة النصية، الأتمتة، وتدفقات العمل المدعومة بالذكاء الاصطناعي. نحن نبحث عن متخصصين يمكنهم حل مشكلات غير تافهة، والعمل بثقة مع نماذج اللغة الكبيرة، وجمع البيانات وتنظيمها والتحقق منها من مصادر متعددة بشكل منهجي. نهج منهجي ودقيق مع القدرة على العمل بشكل مستقل أمران أساسيان.
خبرة قوية في حصد الويب باستخدام بايثون (BeautifulSoup، Selenium أو ما يماثله)، بما في ذلك المحتوى الديناميكي (JS، AJAX، التمرير اللانهائي) وواجهات برمجة التطبيقات عبر البروكسيات.
قدرة مثبتة على استخراج البيانات من هياكل معقدة (الهرميات، الصفحات المؤرشفة، HTML غير المتسق).
خلفية راسخة في تنظيف البيانات وتطبيعها والتحقق منها، وتقديم مجموعات بيانات منظمة (CSV، JSON، Google Sheets).
خبرة مثبتة في التعامل مع آليات مكافحة الروبوتات وهياكل المواقع الديناميكية على نطاق واسع.
خبرة مع بنية سحابية (AWS أو ما يعادلها) وتعبئة الحاويات (Docker) كجزء من سير العمل الحقيقي.
خبرة عملية مع أطر العمل LLM (LangChain، OpenRouter، أو ما شابه) مطبقة في مهام الأتمتة.
اهتمام قوي بالتفاصيل والتزام بدقة البيانات.
أخلاق عمل ذاتي وتوجيه ذاتي مع ability على استكشاف المشاكل بشكل مستقل.
رابط إلى GitHub ميزة إضافية.
إتقان اللغة الإنجليزية: مستوى أعلى من المتوسط (B2) أو أعلى (مطلوب).
توقعات زمن المشروع
للمشروع هذا، من المتوقع أن تتطلب المهام نحو 10–20 ساعة في الأسبوع خلال المراحل النشطة، بناءً على متطلبات المشروع. هذا تقدير، ليس عبئ عمل مضمون، ويطبق فقط طوال فترة نشاط المشروع.
التعويض
في هذا المشروع، يمكن للمساهمين أن يكسبوا حتى ما يعادل 37 دولاراً في الساعة، اعتمادًا على مستوى المساهمة وسرعتها.
يتفاوت التعويض عبر المشاريع اعتماداً على النطاق والتعقيد والخبرة المطلوبة. يرجى ملاحظة أن مشاريع أخرى على المنصة قد تقدم مستويات كسب مختلفة وفقًا لمتطلباتها.