زبان پایتون یکی از بهترین زبان‌های برنامه نویسی است که امروزه به دلیل سادگی و خوانایی مطلوبی که دارد، در زمینه‌های مختلفی مورد استفاده قرار می‌گیرد. می‌توان گفت پایتون به عنوان یک زبان برنامه نویسی در زمینه‌ی علم داده‌ها، بین دو زبان Java (که ساختار بسیاری از برنامه‌های عظیم بر روی آن شکل گرفته) و R (که به شدت بر روی تجزیه و تحلیل داده‌ها تمرکز نموده) قرار گرفته است. این انعطاف پذیری بدین معناست که می‌توان از پایتون به عنوان یک ابزار واحد استفاده نمود و به بهترین نتایج دست یافت.

اکثر برنامه نویسان و همچنین دانشمندان داده در مواقعی که نیاز به استفاده از تکنیک‌ها و تحلیل‌های آماری درون برنامه‌ی خود دارند از پایتون استفاده می‌کنند. می‌توان گفت، پایتون همانند الماسی در زمینه‌ی یادگیری ماشین می‌درخشد. به نوعی ترکیبی از انعطاف پذیری و وجود کتابخانه‌هایی در حوزه‌ی یادگیری ماشین، پایتون را به ابزاری بسیار قدرتمند برای تولید و توسعه‌ی مدل‌های پیچیده و موتورهای پیش بینی کننده (prediction engine) تبدیل نموده است.

یکی از مزیت‌های پایتون، وجود مجموعه‌ای گسترده از کتابخانه‌های مختلف است. چنین مجموعه‌ی عظیمی باعث شده است تا برنامه نویسان بتوانند برنامه‌های پیچیده‌ی خود را به راحتی بنویسند و خطوط زیادی از کد‌ها و توابعی که در برنامه خود نیاز دارند را باز نویسی نکنند. در این مقاله قصد داریم با تعدادی از کتابخانه‌های پایتون آشنا شویم که به این زبان کمک کرده است تا به عنوان یکی از محبوب ترین زبان‌ها در زمینه علم داده‌ها نام گیرد.

کتابخانه‌های اساسی و پایه‌ای برای علم داده‌ها

در ادامه با تعدادی از کتابخانه‌های موجود در پایتون آشنا می‌شویم که این زبان را به یک ابزار قدرتمند برای تجزیه و تحلیل و همچنین مصورسازی (visualization) داده‌ها تبدیل نموده‌اند.

۱- کتابخانه‌ی NumPy از پایه‌ای ترین کتابخانه‌های موجود برای محاسبات علمی است و اکثر کتابخانه‌های دیگری که در ادامه آن‌ها را بررسی می‌کنیم، از آرایه‌های NumPy به عنوان ورودی و خروجی خود استفاده کرده‌اند. به طور خلاصه، NumPy به تعریف و ساخت آرایه‌های چند بعدی و ماتریس‌ها در پایتون پرداخته است. بدین ترتیب برنامه نویسان به راحتی می‌توانند به حل مسائل و محاسبات پیچیده‌ی ریاضی و آماری در پایتون بپردازند.

۲- کتابخانه‌ی SciPy بر پایه‌ی NumPy شکل گرفته است و دارای تعداد زیادی از کلاس‌ها و الگوریتم‌های مختلف برای تغییر داده‌ها و یا مصور سازی آن‌ها می‌باشد. همچنین SciPy شامل توابع مختلفی به منظور کار با اعداد، حل معادلات دیفرانسیل و بسیاری از اعمال محاسباتی دیگر می‌باشد.

۳- کتابخانه‌ی Pandas ساختار داده‌ی جدید و ابزارهایی را برای تجزیه و تحلیل کاربردی و عملی بر روی داده‌ها در زمینه‌هایی چون اقتصاد، آمار، علوم اجتماعی و مهندسی فراهم نموده است. Pandas به راحتی می‌تواند با داده‌های ناقص، کثیف و بدون برچسب کار کند (داده‌ها و جداولی که هم اکنون نیز در سازمان‌های مختلف وجود دارد)؛ و همچنین شامل متدهایی برای تغییر شکل، ادغام و یا برش مجموعه داده‌ی ما می‌باشد.

۴- IPython را می‌توان جایگزینی قدرتمند برای مفسر تعاملی (interactive interpreter) پیش فرض پایتون معرفی نمود. افزودن قابلیت‌هایی چون ذخیره تاریخچه‌ی دستورات اجرا شده، کامل کردن خودکار دستورات با کلید tab، ظاهری زیبا تر و بسیاری امکانات ساده اما مفید دیگر، IPython را به یکی از بهترین کتابخانه‌های موجود در پایتون تبدیل کرده است. شما با نصب این کتابخانه و وارد کردن دستور IPython در خط فرمان می‌توانید از آن استفاده کنید.

۵- کتابخانه‌ی Matplotlib، کتابخانه‌ی استاندارد پایتون برای رسم نمودار‌ها و گراف‌های ۲ بعدی است. این کتابخانه بسیار low-level می‌باشد و برای رسم نمودارهایی با ظاهری زیبا باید دستورات زیادی نسبت به سایر کتابخانه‌های پیشرفته‌تر در پایتون بنویسیم. اما از طرف دیگر، Matplotlib بسیار انعطاف پذیر بوده و می‌توانیم هر نوع نمودار با هر ظاهری که مورد نظرمان باشد را تولید نماییم.

کتابخانه‌هایی برای یادگیری ماشین

می‌توان گفت یادگیری ماشین، مابین هوش مصنوعی و تحلیل آماری قرار گرفته است. از طریق آموزش به کامپیوتر ها با استفاده از داده‌های موجود در اطرافمان، قادر خواهیم بود الگوریتم‌هایی ایجاد نماییم تا بتوانند پیش بینی‌های دقیق تری بر روی مسائل و چالش‌های پیش رویمان انجام دهند. در ادامه به معرفی کتابخانه‌هایی می‌پردازیم که به پایتون توانایی مقابله با بسیاری از چالش‌های یادگیری ماشین (از پیاده‌سازی رگرسیون‌های ساده تا آموزش شبکه‌های عصبی پیچیده) را می‌دهد.

۱- کتابخانه‌ی scikit-learn بر پایه‌ی NumPy و SciPy شکل گرفته است و با افزودن مجموعه‌ای از الگوریتم‌های یادگیری ماشین، برای انجام امور یادگیری ماشین و داده کاوی رایج (مانند طبقه بندی، خوشه بندی و رگرسیون) مورد استفاده قرار می‌گیرد. scikit-learn بسیار وسیع است. توابع و قابلیت‌های موجود در این کتابخانه بصورت دقیق مستند شده است و همچنین توسعه دهندگان این کتابخانه از افراد حرفه‌ای و خبره‌ در زمینه‌ی یادگیری ماشین می‌باشند.

۲- کتابخانه‌ی Theano از سینتکسی شبیه به NumPy، برای بهینه سازی و ارزیابی عبارت‌های ریاضی استفاده می‌کند. این کتابخانه برای کارایی بهتر از GPU ِ کامپیوتر به منظور انجام محاسبات فشرده، در کنار CPU کمک می‌گیرد که این امر باعث افزایش سرعتی نزدیک به ۱۰۰ برابر می‌شود. سرعتِ Theano، این کتابخانه را برای زمینه‌هایی چون یادگیری عمیق (deep learning) و سایر محاسبات پیچیده ارزشمند ساخته است.

۳- TensorFlow یکی دیگر از کتابخانه‌های موجود در زمینه‌ی یادگیری ماشین است. این کتابخانه توسط Google بصورت متن باز توسعه داده می‌شود و به عنوان جایگزینی برای DistBelief، به منظور آموزش شبکه‌های عصبی در نظر گرفته شده است. TensorFlow از سیستمی با گره‌های چند لایه استفاده می‌کند که ما را قادر می‌سازد تا بتوانیم به راه اندازی، آموزش و گسترش شبکه‌های عصبی مصنوعی، بر روی مجموعه داده‌های عظیم بپردازیم. Google با استفاده از همین ابزار است که می‌تواند اشیاء مختلف را درون یک عکس شناسایی کرده و همچنین در ابزار تشخیص صدا، صدا‌های مختلف را شناسایی کند.

کتابخانه‌هایی برای داده کاوی و پردازش زبان طبیعی

بسیاری از کسب و کارها، به داده‌های مفیدی در سازمان خود نیاز دارند که این داده‌ها باید دائما و در طول زمان جمع آوری شوند. شاید در موقعیتی خاص، این داده‌های باید از اسناد و یا صفحات وب استخراج شود. ابزار‌های زیر برای انجام چنین اموری (از استخراج اطلاعات ارزشمند از وبسایت‌ها تا تبدیل زبان طبیعی به داده‌ی قابل درک و قابل استفاده) طراحی شده‌اند.

۱- کتابخانه‌ی Scrapy یکی از رایج ترین ابزارهای موجود برای استخراج اطلاعات مفید از صفحات وب می‌باشد. این اطلاعات می‌تواند شامل قیمت یک محصول، اطلاعات تماس یک فرد و یا URL باشد. Scrapy همچنین این قابلیت را دارد که به استخراج داده از APIها بپردازد.

۲- کتابخانه‌ی NLTK برای پردازش زبان طبیعی (NLP) طراحی شده است. توابع پایه‌ای NLTK به ما این اجازه را می‌دهد که کلمات موجود در یک متن را برچسب بزنیم (اسم، فعل، صفت و … را مشخص نماییم). سپس می‌توان کارهای پیچیده‌ی دیگری نیز مانند خلاصه سازی خودکار متن، تجزیه و تحلیل احساس (لحن) متن (snetiment analysis) را انجام دهیم.

۳– کتابخانه‌ی Pattern، مجموعه‌ای از قابلیت‌های Scrapy و NLTK را گردآوری کرده است تا بتوان از آن برای انجام اموری چون وب کاوی، NLP، یادگیری ماشین و تجزیه و تحلیل شبکه استفاده نمود. ابزار‌های این کتابخانه شامل یک web crawler و APIهایی برای گوگل، توییتر و ویکی‌پدیا می‌باشد. همچنین می‌توان از الگوریتم‌های تحلیل متون آن، تنها با نوشتن چند خط کد، استفاده نمود.

کتابخانه‌هایی برای رسم نمودار و مصورسازی

در صورتی که شما نتوانید بهترین و پیشرفته‌ترین تجزیه و تحلیل‌های خود را بر روی داده‌ها، به گونه‌ای به تصویر درآورید که سایر افراد قادر نباشند آن‌را درک کنند و یا دانشی از آن بدست آوردند، تمام این امور تحلیلی بی ارزش تصور می‌شود. کتابخانه‌هایی که در ادامه آن‌ها را بررسی می‌کنیم بر پایه‌ی Matplotlib شکل گرفته‌اند و ما را قادر می‌سازد تا بتوانیم به راحتی نمودار، گراف و نقشه‌هایی را به منظور ارائه‌ی نتایج امور تحلیلی خود ایجاد نماییم.

۱- کتابخانه‌ی Seaborn یکی از محبوب ترین کتابخانه‌های موجود برای مصور سازی است. اولین نکته‌ای که در هنگام کار با Seaborn باید به آن توجه داشت این است که سبک‌های پیش فرض آن بسیار پیچیده تر از matplotlib است. علاوه بر این، Seaborn یک کتابخانه high-level است؛ یعنی با استفاده از آن می‌توان به سادگی نمودار‌های پیچیده‌ی مختلفی را ایجاد نمود.

۲- کتابخانه‌ی Bokeh، با کمک ویجت JavaScript در مرورگرهای مختلف، نمودار‌هایی با قابلیت بزرگ نمایی تولید می‌کند. یکی دیگر از ویژگی‌های بسیار خوب این کتابخانه، این است که در سه سطح مختلف می‌توان با آن ارتباط برقرار نمود (از high-level که به ما این اجازه را می‌دهد تا در کمترین زمان، نمودارهای پیچیده‌ای تولید نماییم، تا low-level که حداکثر انعطاف پذیری و شخصی سازی را برای توسعه دهندگان فراهم می‌کند).

۳- کتابخانه‌ی Basemap، برای رسم نقشه‌های مختلف مفید می‌باشد؛ که این کتابخانه برای این کار از Matplolib کمک می‌گیرد. در آینده نیز کتابخانه‌ی Folium بر اساس Basemap توسعه داده می‌شود و ما را قادر می‌سازد تا نقشه‌هایی با کمک ویجت JavaScript (همانند Bokeh) ایجاد نماییم.

۴- کتابخانه‌ی NetworkX، برای ساخت و تجزیه و تحلیل گراف‌ها و شبکه‌های مختلف مورد استفاده قرار می‌گیرد. این کتابخانه به گونه‌ای طراحی شده است که بتواند با تمام داده‌ها با فرمت‌های مختلف آن‌ها کار کند. همین ویژگی باعث می‌شود تا NetworkX به منظور تجزیه و تحلیل شبکه‌های اجتماعی گسترده و پیچیده بسیار مفید واقع شود.

تمام این کتابخانه‌ها، تنها نمونه‌ی کوچکی از ابزار‌های موجود برای برنامه‌نویسان می‌باشد. تعداد زیادی از کتابخانه‌های دیگر نیز در پایتون وجود دارد که می‌تواند به شما در مسیر تجزیه و تحلیل داده‌هایتان کمک کند. شما می‌توانید از این کتابخانه‌ها، بسته به نیاز خود در پروژه‌های مختلف استفاده کنید تا به استخراج اطلاعات مفید و کشف دانش بپردازید و بهترین نتایج را بدست آورید.