Machine Learning intro I

السلام عليكم ورحمة الله وبركاته

النهاردة انا هتكلم عن موضوع كدا علي السريع وهو ايه هو ال Machine learning الي واكل دماغ نص الكوكب اخر كام سنة وازاي تقدر تفهمه وتتعامل معاه وبعد ما سلسلة ال intro تخلص كمان هنعمل مع بعض كام مشروع كداه صغير ان شاء الله عشان تطبق عملي بايديك ..

دلوقتي احنا عندنا عدد كبير جدا من اسعا البيوت في الماضي علي حسب بعض المعايير احنا محتاجين نعرف اسعارهم في المستقبل هنعرف ازاي بعض المعايير زي مثلا ( عدد الغرف- الجراج - المساحة - الموقع الجغرافي ) في حاجات تأثيرها عالي في بعض الاحيان وفي بعض الحاجات تأثيرها لا يذكر علي الاطلاق ولا يتم حسابنه كعامل قابل للتأثير والتأثر في بيانتا ولا في نماذجنا التنبؤية .. طيب هنناقش الجزئية دي في فصول اخري مش وقتها دلوقتي ..

هي دي بكل بساطة ال Decision Tree شجرة القرارات انا مبحبش اترجم الكلام بالعربي اطلاقا لان فيه بعض المصطلحات صعب انها يكون ليها معني بالعربي لو اترجمت ترجمه حرفية .. دلوقتي احنا بنقسم البيانات الي معانا الي مجموعة من الاسألة كل ورقة من الشجرة دي بتحمل سؤال الاجابة بتكون لئما ب Yes او NO وبناء علي الحالة في اخر الورقة في الشجرة خالص هنحصل علي اجابة هو داه بقي ال ML بأبسط تطبيقاته ..

فا في حالة المنازل الي احنا اتكلمنا فيها هنسأل الأتي:

-الموقع الجغرافي علي البحر او مش علي البحر

( لو اه فا السعر علي البحر بيزيد لو ﻷ السعر هيقل)

- هل البيت اكتر من 3 غرف ولا ﻷ 

( لو اكبر من 3 غرف هيكون اغلي )

والي اخره .. بنفضل نسأل اسأله اسأله عشان نحط افتراضات في النهاية نوصل لأجابات منطقية طب انا هديك دلوقتي مجموعة من البيانات وانتا المفروض ترتبهم تصاعديا حسب سعرهم

- بيت علي شاطئ الاسكندرية مكون من 3 غرف (1)

- بيت في المدينة مكون من 2 غرفة(2)

- بيت علي شاطئ الاسكندرية مكون من 5 غرف (3)

الترتيب بتاعنا هيكون :

(2)-(1)-(5) بناء علي العوامل الي عندنا والي هي " الموقع الجغرافي - عدد الغرف "

عايزك تركز في كلمة العوامل العوامل دي قدام شوية هيكون اسمها Features ودي بتكون بعض ال Features في البيانات الي بتكون معانا عن طريقها بنقدر نوصل لمعادلات قد تكون دقيقة الي حد ما للتنبؤ بنواتج افتراضتنا طيب العملية دي بتتم ازاي هل بتتم كدا بعشوائية ﻷ طبعا ليها اسس وقواعد وخطوات هنمشي عليها ..

اول حاجة احنا هنعمل Define للModel الي هنختاره في بعض ال Model بتخدم البيانات الخطية وفي بعضها بيخدم الغير خطية .. لكل واحد استخدامه وعشان منتعمقش في النقطة دي برضو تاني باذن الله هنعمل تجميعة لكل ال Model الي ممكن تستخدمهم وكل الشبكات العصبية الي هتحب في يوم انك تستخدمها وهنرفعهم علي Github بحيث انك تحاول تعمل Automate للحاجةالي انتا بتعملها كل مرة بنفس الطريقة .

تاني خطوة احنا بنقوم بتدريب الModel عشان برضو اخليك معايا في الصورة ال Model دا بيكون تطبيق لنظرية او فرضية في علم الاحصاء خاصة بفهم العلاقات بين البيانات بناء علي ال Features الخاصة بيها .. انا عارف انا دخلتك في الغويط بس الموضوع لحد كداه ساهل وبسيط ولو مش فاهم ارجع واقرا كل الي فوق وارجع تاني هنا ..

تالت خطوة وهي عملية ال predict التنبؤ .. طبعا كذب المنجمون ولو صدقو احنا مش بنعرف الغيب أبدا بس علي الاقل احنا بنكتشف النمط الي البيانات ماشية بيه بدون تأثرها بأي عوامل خارجية عشان ال Model بتاعنا ميبوظش علي سبيل المثال ممكن نعمل predictive model for house pricing وبعد كداه تحصل فقاعة اقتصادية او عقارية ساعتها هنرمي ال Model  بتاعنا في الزبالة بس في احسن الاحوال احنا هنستخدم ال Model بتاعنا لخدمة الزبائن الي جايين لشركتنا علي سبيل المثال .. فا التنبؤ بيكون ليه حاجة اسمها نسبة الخطأ ودي هنتكلم عليها قدام شوية 

الخطوة الاخيرة طبعا انتا مفكر اننا كدا خلصنا في حاجة اسمها Mean absolute error ايه الي يضمنلك ان النتائج بتاعت ال Model بتاعك صح؟ وايه الي يضمنلك ان الداتا اصلا الي انتا مستخدمها صح العملية دي بقي اسمها Evaluate ودي بتقوم علي تعزيز وتطوير MODEL بتاعنا عشان يقدر يعرف اي حاجة بنسبة خطأ قليلة وعشان اوضح الخطوة دي لانها معقدة بمثال عملي شوية 

دلوقتي احنا علمنا الModel بالاستناد علي البيانات الي معانا ان كل البيوت الخضرا اسعارها فوق ال 20 ألف دولار طبعا هو جايب لينا نسبة الثقة ACCURACY=98% ومبسوطين احنا جدا واذا بنا بنحاول نجرب ال Model علي بيانات جديدة ال Model لم يسبق له ان رأها نلاقي ان ال سعر البيت وصل ل 50 الف دولار يعني عندنا نسبة خطأ Mean absolute error حوالي 20 الف دولار  طبعا ميعرفش ال Model ان لون باب البيت الاخضر مش هيأثر في سعره لانه ممكن يتغير ب 10 دولار مثلا .. لكن احنا الي اخطأنا لما ادينا البيانات من غير ما نعمل حاجة اسمها Feature Engineering ودي عبارة عن عملية عشان اقدر اوصل لأدق Features موجودة في البيانات اقدر اعتمد عليها في اني اقدر اتنبأ بأسعار البيوت وفي كل الحالات مش هيكون لون باب البيت هو عامل ان اسعار البيوت يكون سعرها فوق ال 20 الف دولار .. لان لون الباب عمره ما هيكون عامل لكن لاحظ انك بتتكلم مع ألة مش هتفهم نقطة زي كداه ..

طيب دلوقتي بقي انا مش فاهم احنا دلوقتي هنعمل ال EVALUATE دا ازاي برضو .. شوف يا سيدي دلوقتي احنا عندنا وليكن مثلا 10000 صف هناخد نسبة 25% للأختبار و 75% للتدريب وكدا احنا هنحاول اننا نتصدم مع بعضينا بدل ما نروح نعمل Testing قدام شركة الاستثمار العقاري ويطلع منظرنا وحش .. فقالو لينا خدو نسبة معينة يحبذ ان لا تزيد عن 35% من البيانات وخلوها للاختبار بحيث نقدر اننا نتعامل مع ال Error الكبير الي عندنا بدون الاصطدام بالمشروع الاساسي ..

طيب كدا احنا فهمنا يعني ايه Machine Learning وازاي بيمشي .. ودي كانت اهم المصطلحات في ال Intro بتاعه انا حاولت علي قد ماقدر اني اشرحها بشكل مبسط وجميل ولطيف عشان عارفكم اتخنقتو من طريق الشرح التقليدية .. احنا لسة بنزرع اساسيات وهنحاول باذن الله اننا نعلي بالمستوي واحدة واحدة بعد شهر 6 هنبتدي مرحلة تانية خالص مع بعض عشان الكلام الكتير دا بيطير من الدماغ لو مأخدناش بالنا اازاي هنقدر ننفذه ..

ولا تنسونا بصالح دعائكم ورمضان كريم عليكم ..
اي حد محتاج اي حاجة مينساش يكلمني انا موجود دائما بالخدمة وشكرا .