القائمة الرئيسية

الصفحات

ما هي البيانات الضخمة Big Data والتي أنت جزء منها

 ما هي البيانات الضخمة Big Data والتي أنت جزء منها

Big Data

منا من سمع عنها ومنا من لم يسمع عنها إنها البيانات الضخمة  أو Big Data ومؤخرا بدأ الحديث عن البيانات الضخمة لما أصبحت تمثله من أهمية في مختلف مجالات التكنولوجيا مما ساعد على سرعة انتشارها في سوق العمل فهيا بنا ندخل عالم البيانات الضخمة ونتعرف عليه 

ما هي البيانات الضخمة Big Data

Big Data

• البيانات الضخمة Big Data بشكل عام هي بيانات متعددة الأنواع والمصادر والأحجام ولكن للتعرف على ما هية البيانات الضخمة لابد من التعرف على تعريف كلمة بيانات 

• البيانات هي الصورة الأولية للمعلومات قبل عمليات الفرز والترتيب والمعالجة ولا نستطيع الاستفادة منها بصورتها الأولية قبل عملية المعالجة ولمفهوم البيانات ثلاثة أقسام وهى 

1- بيانات منظمة: وهى البيانات المنظمة في جداول أو قواعد بيانات.

2- بيانات غير منظمة : وهى البيانات التي ينشئها الأشخاص يوميا في شكل كتابات نصية وصور وفيديو ورسائل ونقرات على مواقع الانترنت وغيرها الكثير وهي تمثل النسبة الأكبر من البيانات 

3- بيانات شبه منظمة : وهى قريبة من البيانات المنظمة ولكن ليست في شكل جداول أو قواعد بيانات.

• وهنا نأتي لتعريف البيانات الضخمة Big Data وهى مجموعة من البيانات المنظمة التي لها حجم لا نستطيع معالجته باستخدام أدوات قواعد البيانات التقليدية من التقاط ومشاركة ونقل وتخزين وإدارة و تحليل وذلك في فترة زمنية مقبولة 

• من وجهة نظر مقدمي الخدمات أن البيانات الضخمة Big Data هي الأدوات والعمليات التي تحتاجها المنظمات للتعامل مع كمية كبيرة من البيانات بغرض التحليل وقد أتفق مقدمي الخدمات والمنظمات على إنها بيانات هائلة لا يمكن معالجتها بالطرق التقليدية 

• بعض التعريفات الخاصة بالبيانات الضخمة Big Data الصادرة من جهات عالمية :

1- تعريف شركة (IBM) للبيانات الضخمة Big Data : 

IBM

هي البيانات التي تنشأ من خلال كل شيء من حولنا وفي كل الأوقات كل عملية رقمية وكل تبادل في وسائل التواصل الاجتماعي ينتج لنا البيانات الضخمة وتتناقلها الأنظمة وأجهزة الاستشعار والأجهزة النقالة والبيانات الضخمة لها مصادر متعددة في السرعة والحجم والتنوع وحتى تتم معالجة هذه البيانات للحصول منها علي منفعة معنوية يتطلب ذلك  معالجة مثالية وقدرات تحليلية ومهارات 

2- تعريف الاتحاد الدولي للاتصالات (ITU) للبيانات الضخمة Big Data  :

الاتحاد الدولي للاتصالات

 البيانات الضخمة هي مجموعات البيانات التي تتميز بأنها فائقة الحجم والسرعة أو التنوع قياسا بأشكال مجموعات البيانات المعروفة

3- تعريف المنظمة الدولية للمعايير(ISO) للبيانات الضخمة Big Data

المنظمة الدولية للمعايير(ISO)

البيانات الضخمة هي مجموعة من البيانات لها خصائص فريدة كالحجم ولسرعة والتنوع والتباين وصحة البيانات وغيرها ولا يمكن معالجتها بشكل جيد  باستخدام التكنولوجيا الحالية والتقليدية لتحقيق الاستفادة منها

• وهنا يأتي دور الذكاء الاصطناعي Artificial Intelligence فقد أعتمد عليه علماء التكنولوجيا فى تحليل ومعالجة البيانات الضخمة لما يتطلبه الأمر من وقت وجهد وتكلفة فأنظمة الذكاء الاصطناعي لديها القدرة على التعلم والاستنتاج ورد الفعل على أوضاع لم تبرمج في الآلة باستخدام خوارزميات معقدة للعمل عليها كما لديها إمكانية استخدام تقنيات الحوسبة السحابية لإتمام عملها

ما هو معدل البيانات الضخمة Big Data

Big Data

• يعتبر في نطاق البيانات الضخمة  كل ما يقاس بالبيتا بيت Petabyte وهى تساوى(ألف Terabyte) أو يقاس بالا يكسا بايت Exabyte وهى تساوى(مليون Terabyte) أو يقاس بالكوينتيليون Quintillion وهو الرقم واحد متبوعاً بثمانية عشرة صفر

• وقد صرحت شركة IBM إننا ننتج 2.5 Quintillion بايت من البيانات كل يوم وهذه البيانات تأتي من كل مكان مثل المعلومات حول المناخ والتعليقات المنشورة على مواقع التواصل الاجتماعي والصور الرقمية والفيديوهات ومعاملات البيع والشراء

ما هي خصائص البيانات الضخمة Big Data

Big Data


ولكي يتم تصنيف البيانات بالضخمة طبقا  لمبدأ (5V's) يجب توافر ثلاثة عوامل:

• الحجم Volume:

وهي حجم البيانات المستخرجة من مصدر ما والذي يحدد قيمة وإمكانات البيانات حتي نستطيع تصنفها ضمن البيانات الضخمة و قد يكون الخاصية الأكثر أهمية في تحليل البيانات الضخمة .كما أن وصفها البيانات بالضخمة لا يحدد كمية معينة كما ذكرنا من قبل

• التنوع Variety:

وهو تنوع البيانات المستخرجة والتي تمكن المستخدمين من اختيار البيانات المناسبة لمجال بحثهم و تتضمن بيانات منظمة في قواعد بيانات و بيانات غير منظمة مثل الصور والرسائل القصيرة وسجلات المكالمات وبيانات الخرائط (GPS) والتي تتطلب وقت ومجهود لتهيئتها في شكل مناسب للتجهيز والتحليل.

• السرعة Velocity:

و هي سرعة إنتاج واستخراج البيانات لتغطية الطلب عليها حيث تعتبر السرعة أساسا في اتخاذ القرار طبقا لهذه البيانات فمثلاً تختلف سرعة نشر التغريدات على تويتر عن سرعة مسح أجهزة الاستشعار عن بعد لتغييرات المناخ.

• قيمة Value

نظرا للكم الهائل من البيانات التي يجب معالجتها  يجب توخي الحذر عند اختيار البيانات التي تعتبر حيوية للشركات وعملياتها المستقبلية ولهذا فإن التحديد الجيد للأهداف والإستراتيجية قبل تخزين البيانات سيوفر الكثير من وقت الحوسبة ويسهل الإدارة طويلة المدى

• الموثوقية Veracity

ينبغي تغذية البيانات الضخمة بالبيانات ذات الصلة والحقيقية فلن نتمكن من إجراء تحليلات مفيدة إذا كانت البيانات الواردة تأتي من مصادر خاطئة أو بها أخطاء.

ما هي أهمية البيانات الضخمة Big Data

Big Data

• البيانات الضخمة تقدم ميزة تنافسية عالية للشركات في حال الاستفادة منها ومعالجتها لأنها تقدم فهما أعمق لعملائها ومتطلباتهم ويساعد ذلك على اتخاذ القرارات المناسبة والملائمة داخل الشركة بطريقة أكثر فعالية و ذلك بناء على المعلومات المستخرجة من قواعد بيانات العملاء وبالتالي زيادة الكفاءة والربح وتقليل الخسائر.

• ولهذا في بداية الأمر الشركات كانت تستخدم نظام Batch Process لمعالجة مجموعة صغيرة من البيانات المخزنة في صورة بيانات منظمة فكان يتم تحليل كل مجموعة بيانات واحدة تلو الأخرى في انتظار وصول النتائج

• لكن مع الزيادة الضخمة في حجم البيانات وسرعة تواترها أصبحت هناك حاجة إلى نظام يضمن سرعة فائقة في تحليل البيانات الضخمة في الوقت اللحظي Real Time  مما ساعد في ابتكار تقنيات وحلول مثل Apache و SAP HANA و Hadoop وغيرها الكثير.

ما هي مصادر البيانات الضخمة Big Data

Big Data

حددت اللجنة الاقتصادية لأوروبا تصنيف لمصادر البيانات الضخمة وهي :

• إدارة أحد البرامج

المصادر الناشئة عن إدارة أحد البرامج سواء كان برنامج حكومي أو غير حكومي  مثل السجلات الطبية الإلكترونية وزيارات المستشفيات وسجلات التأمين والسجلات المصرفية وبنوك الطعام.

• المصادر التجارية 

وهي ذات الصلة بالمعاملات الناشئة بسبب معاملات بين طرفين مثل معاملات البطاقات الائتمانية والمعاملات التي تتم من خلال الإنترنت 

• شبكات أجهزة الاستشعار

مثل التصوير بالأقمار الصناعية وأجهزة استشعار الطرق وأجهزة استشعار المناخ.

• أجهزة التتبع

مثل  تتبع البيانات الناتجة من الهواتف والنظام العالمي لتحديد المواقعGPS 

• البيانات السلوكية

مثل عدد مرات البحث على الإنترنت عن منتج أو خدمة ما أو أي نوع آخر من المعلومات ومرات مشاهدة أحد المواقع على الإنترنت.

• البيانات المتعلقة بالآراء

مثل التعليقات على وسائط التواصل الاجتماعي.

أمثلة عملية البيانات الضخمة Big Data

Big Data

• موقع Amazon يعالج ملايين العمليات الخلفية كل يوم بالإضافة للاستفسارات من أكثر من نصف مليون بائع طرف ثالث وتعتمد Amazon علي نظام Linux بشكل أساسي حتي يستطيع التعامل مع هذا الكم الهائل من البيانات وتملك أمازون أكبر 3 قواعد بيانات Linux في العالم والتي تصل سعتها إلي  7.8و18.5 و 24.7 Terabyte

• موقع Facebook يعالج ما يقرب من 50 مليار صورة من قاعدة بيانات مستخدميه وكذلك يقوم نظام حماية بطاقات الائتمان من الاحتيال FICO Falcon Credit Card Fraud Detection System بحماية 2.1 مليار حساب نشط في جميع أنحاء العالم.

• متاجر Walmart تعالج ما يقرب من مليون معاملة تجارية كل ساعة والتي يتم استيرادها إلي قواعد بيانات تقدر ب 2.5 Petabyte أي (2560 Terabyte) من البيانات 

• شركة Windermere Real Estate تستخدم إشارات GPS مجهولة من ما يقرب من 100 مليون سائق لمساعدة مشتري المنازل الجدد لتحديد أوقات قيادتهم من وإلى العمل خلال الأوقات المختلفة لليوم

الخاتمة 


شعار موقعنا دائما أنت تقرر – إحنا ندور – أفضل حاجة – أنت تطور نتمنى أن ينال الموضوع إعجاب حضرتكم إن أعجبكم الموضوع فشاركوه لتعم الفائدة أو اترك تعليقا لتحفيزنا على الاستمرار وشكرا لمروركم الكريم 


Reactions

تعليقات

التنقل السريع