مقاله من در روزنامه آسمان آبی
دادههای بزرگ یا کلان داده، مفهومی است که این روزها بیشتر با آن سر و کار پیدا کردیم و هرروز بیشتر در مورد آن میشنویم، اما این مفهوم سالهای سال است که وجود دارد و زندگی ما را تحت تاثیر قرار داده است. هرچند ممکن است میزان و اشکال استفاده از آن متفاوت بوده باشد اما تاریخ استفاده از بیگ دیتا به سال 1984 برمیگردد، زمانی که تجزیه تحلیل یک ترابایت دیتا که امروزه ظرفیت هاردهای معمولی داخل بازار است بیگ دیتا محسوب میشد و حجم هاردهای آن زمان به سختی به یکی دو گیگابایت میرسید. شرکت ترادیتا اولین شرکتی بود که ایده استفاده از بیگ دیتا را عملیاتی کرد و بعد از آن در سالهای دهه 2000 شرکتهایی مثل لکسیسنکسیس و کمی بعدتر گوگل و امثالهم استفاده از این بیگ دیتاها را در حجم وسیعی عمومی کردند. فقط برای اینکه شما را با میزان گسترش بیگ دیتا آشنا کنیم مثالی بزنیم از میزان دیتایی که در دنیای تلفنهای همراه هست و شرکتهایی مثل گوگل آنها را تحلیل میکنند. امروزه بیش از 4.5 میلیارد تلفن همراه در دنیا فعال است و نیمی از آنها به اینترنت دسترسی دارند. تبادل اطلاعات در دنیا در سال 1986 به 281 پتابایت(281 هزار گیگابایت) 471 پتابایت در سال 93، 2.2 اگزابایت (2.2 هزار پتابایت.) در سال 2000 و امروزه به بیش از 670 اگزابایت رسیده است. حالا تصور کنید غربال این همه اطلاعات به چه فناوری و سخت افزاری احتیاج دارد و چه هزینهای را به شرکتهای بزرگ تحمیل میکند. برآوردها از هزینه صدها میلیارد دلاری شرکتها برای استفاده از این میزان اطلاعات حکایت میکند که سال به سال هم افزایش مییابد. اما واقعا چرا باید این اطلاعات را پردازش و غربال کرد؟ در ادامه به کاربردهای اصلی این اطلاعات و مثالهایی از این کاربردها خواهیم پرداخت.
بیگ دیتا در حکومتها
احتمالا سریال مظنون (Person of Interest) جاناتان نولان و جی جی آبرامز را دیدید یا حداقل در موردش شنیدید. در این سریال یک اَبرکامپیوتر به تحلیل تمام دادههای موجود از دوربینهای ترافیکی گرفته تا تلفنها همراه میپرداخت و به کمک آن از وقوع جرم پیشگیری میکرد و یا حداقل به هدایت کنندگانش میگفت که امکان وقوع جرم کجا بیشتر است. اگر فکر کردید که این سریال تماما افسانه و کاملا تخیلی است، اشتباه بزرگی کردید بسیاری از حکومتها از این اطلاعات استفاده میکنند و شهروندانشان را زیر نظر دارند و همانطوری هم که مشخص است آمریکا همواره در اینگونه جاسوسیها از شهروندانش پیشتاز است. از ده اَبر کامپیوتر ساخته شده به دست بشر هفت کامپیوتر در آمریکا مستقر هستند و مرکز دادههای یوتا در آمریکا که توسط سازمان امنیت ملی آمریکا ساخته شده تنها و تنها برای ردگیری دادههای رد و بدل شده در اینترنت مورد استفاده قرار میگیرد و شامل بزرگترین حافظه ذخیره دادهها و قویترین کامپیوترهای دنیا است، هرچند که مشخصات دقیق آن به دلایل امنیتی در دسترس نیست اما تخمینها نشان از ذخیره اطلاعات تا 10 اگزابایت را دارد.
در سال 2012 و هنگام انتخاب مجدد باراک اوباما او از الگوی بیگ دیتا برای پیدا کردن مشکلات مردم و حکومت استفاده کرد و موفقیت بزرگی به دست آورد، اما دموکراتها چهارسال بعد به همین روش رو دست بدی از جمهوری خواهان خوردند و در ایالتهایی که رقابت تنگاتنگی بین هیلاری کلینتون و دونالد ترامپ بود، دونالد ترامپ با هزینه زیاد و استفاده از بیگ دیتا توانست مسائلی را مطرح کند که نقطه ضعف کلینتون بود و باعث شد رای ترامپ در آن ایالتها بیشتر باشد. حاصل استفاده از بیگ دیتا در نهایت این شد که هرچند رای هیلاری کلینتون بسیار بیشتر از دونالد ترامپ بود اما از آنجایی که دونالد ترامپ ایالتهای کلیدی را با اختلاف کم برنده شده بود، نتایج کلی انتخابات به سود او تمام شود.
در این میان کشورها و حکومتهایی هم هستند که از بیگ دیتا فقط برای جاسوسی و نفع شخصی استفاده نمیکنند، برای مثال در انگلستان سیستم ثبت نسخههای پزشکی وجود دارد و انستیتو ملی سلامت بریتانیا بدین طریق میتواند از در دسترس بودن تمام داروها و همچنین به روز بودن داروهای تجویزی توسط پزشکان اطمینان حاصل کند.
بیگ دیتا در تولید
شرکتهای بزرگ با استفاده از بیگ دیتا ارائه شده توسط مشتریانشان میتوانند پیش بینی کنند چه کالایی را در چه زمانی و با چه مقداری تولید کنند و بالطبع میزان خرید و نگهداری مواد اولیه و همچنین خرید ابزارهای مورد نیاز و تعمیر و نگهداری قطعات دستگاههایشان در بهینهترین شکل ممکن قرار میگیرد و هزینه تمام شده آنها پایین میآید.
بیگ دیتا در رسانهها
رسانهها مخصوصا در آمریکا سالانه میلیاردها دلار خرج میکنند تا بفهمند مخاطبان آنها چه کسانی هستند، در چه سنی قرار دارند، جنسیتشان چیست و علاقه مندیهایشان کدامند. بزرگترین تهیه کننده این اطلاعات شرکت نیلسن است و با کمک این شرکت شبکههای تلویزیونی آمریکا دقیقا میدانند که در چه ساعتی چه تعداد بیننده و با چه مشخصاتی دارند و این اطلاعات به آنها کمک میکند آینده را پیش بینی کنند و تبلیغات شرکتهای دیگر را بر مبنای مخاطبان آن تبلیغات پخش کنند و بالطبع پول بیشتری از آگهی دهندگان بگیرند.
بیگ دیتا در سرمایه گذاری
یکی از مهمترین پیشرفتهایی که بیگ دیتا در سالهای اخیر داشته است، صنعت سرمایه گذاری و مخصوصا وال استریت است. برای سالهای سال در دنیای سرمایه گذاری این انسانها بودند که به دنبال روندها و پیشبینیها میرفتند و از آنجایی که دید انسان محدود است و نمیتواند متغیرهای زیادی را در تصمیمگیری خود دخیل کند باعث ضرر و زیانهای بسیاری هم شدند، نمونه آن در چندسال گذشته شرکت هوایی دلتا ایرلاین بود که در مورد اطلاعات نفتی اشتباه قضاوت کرد و باعث ضرر نیم میلیارد دلاری مجموعه خود شد یا نمونه بزرگتر آن در سال 2008 اتفاق افتاد و بانکهای اتکا با یک قضاوت اشتباه در بخش مسکن سرمایه گذاری عظیم کردند و باعث بزرگترین ورشکستگی تاریخ در آمریکا شدند. از آن به بعد بود که توجه به بیگ دیتا بیشتر و بیشتر جلب شد. بیگ دیتاها و تحلیل درست آنها میتواند متغیرهای بیشماری را در نظر بگیرد و به روندها و پیشبینیهای دقیقی دست یابد و این دقیقا اتفاقی است که این روزها در وال استریت میفتد و باعث شده بسیاری از ریسکهای سرمایه گذاری حداقل شده و سودها حداکثر شوند. هرچند بسیاری از شرکتهای بزرگ کماکان در تصمیمات بزرگ خود از روی غریزه عمل میکنند اما تاریخ ثابت کرده که دیر یا زود این تصمیمات محکوم به شکست است و در نهایت بیگ دیتا کل بازار را به تسخیر خود درخواهد آورد.
بیگ دیتا در اینترنت اشیا
بیگ دیتا و اینترنت اشیا به هم گره خوردهاند. اطلاعات به دست آمده از اینترنت اشیا باعث به هم پیوستگی آنها میشود و رفتارهای آینده آنها را تعیین میکند. درست مثل همان اتفاقی که پیشتر گفتیم در رسانهها میفتد. اینترنت اشیا میتواند با تحلیل اطلاعات بدست آمده در بخشهای مختلفی از جمله زندگی روزمره، پزشکی و تولید کاربردهای زیادی داشته باشد.
بیگ دیتا در فناوری
بسیاری از شرکتهای بزرگ فناوری، اطلاعات بزرگ و باورنکردنی را جمع میکنند تا با تحلیل آنها بتوانند بهترین پیشنهادات را به استفاده کنندگان خود بدهند. برای مثال شرکت ایبی دو انبار اطلاعاتی 7.5 پتابایتی و 40 پتابایتی دارد که از آنها برای پیشنهاد بهترین محصولات به مشتریان خود استفاده میکند، یا آمازون که با سرورهای خود میتواند روزانه میلیونها خرید و فروش نیم میلیون فروشنده خود را سرویس دهی کند و سه تا از بزرگترین دیتابیسهای لینوکس جهان را در خود جای داده است. فیسبوک هم روزانه سیصد میلیون عکس را ذخیره سازی میکند و این یعنی روزانه بیش از 500ترابایت به حجم سرورهای آن و اطلاعاتی که باید پردازش شود افزوده میشود. از همه بزرگتر باید گوگل را در نظر بگیرید که ماهانه بیش از 200 میلیارد جستجو را در خود ذخیره میکند و بر اساس آنها به استفاده کنندگان خود پیشنهاد میدهد.
همانطوری که ذکرش رفت بیگ دیتا در بسیاری از صنایع کاربرد دارد و هرروز پای صنایع و فعالیتهای بیشتری به آن باز میشود. جدا از موارد ذکر شده بیگ دیتا در ورزش، علوم، تحقیقات و بسیاری رشتههای دیگر کاربرد دارد و هرروز جای خود را در دنیا بیشتر باز میکند. اما بیگ دیتا و جمع آوری این همه اطلاعات از نظر بسیاری بی اشکال نیست. منتقدان زیادی به نحوه استفاده از بیگ دیتا پرداختند و در مورد آن مقاله نوشتند و در مجموع میتوان این انتقادات را در چند بخش کلی تقسیم بندی کرد. اولین چالش مربوط به بیگ دیتاها، در حقیقت مربوط به حریم خصوصی افراد است. عدهای معتقدند استفاده از بیگ دیتا مخصوصا در شبکههای اجتماعی ممکن است منجر به افشا شدن اطلاعات حساسی از افراد شود که آن افراد تمایلی به افشا شدنشان نداشته باشد یا موردی که در ابتدای مطلب درمورد سازمان امنیت ملی آمریکا گفتیم که از اطلاعات شخصی افراد استفاده میکند. چالش بعدی این است که جمعآوری میزان زیادی از اطلاعات به تنهایی کافی نیست، ما به تکنیکهایی نیاز داریم که از این حجم عظیم اطلاعات بهترین استنتاج را بکنیم و بتوانیم از آنها استفاده کنیم. متاسفانه در بسیاری موارد هنوز این تکنیکها حتی در بزرگترین شرکتها بهینه و ایدهال نشده و ممکن است در بسیاری موارد منجر به تحلیلهای اشتباه شود یا حتی در خیلی موارد تحلیلهای درست منجر به عمل اشتباه استفاده کنندگان از آن شود. چالش نهایی این است که لازمه استفاده از بیگ دیتا ذخیره سازی حجم بسیار بسیار عظیمی از اطلاعات است و به مرور زمان این اطلاعات که بسیاری از آنها به درد نخور و دور ریختنی است هزاران پتابایت و اگزابایت و زتابایت حجم را در دنیا به خود اختصاص خواهند داد و در بلند مدت این میتواند تبدیل به فاجعه شود.
هرچند بیگ دیتا روز به روز در حال پیشرفت است و در صنایع و جاهای مختلف جای خود را بیش از پیش باز میکند، اما عدم توجه به چالشهای آن میتواند استفاده کنندگان از آن و مردم عادی را در آیندهای نزدیک دچار فاجعه کند. چیزی که مشخص است این است که استفاده درست از بیگ دیتا سرعت پیشرفت نوع بشر را بیشتر میکند، اما حقیقت این است که ما هنوز در حال آزمون و خطا برای پیدا کردن این راه درست هستیم.