دانشمندان رایانه دانشگاه رایس با نشان دادن امکان سرعت بخشیدن به فناوری یادگیری عمیق و بدون سخت افزار تخصصی شتاب مانند واحدهای پردازش گرافیک (GPU) ، مانع اصلی در صنعت هوش مصنوعی در حال رشد را بر طرف کرده اند.

دانشمندان رایانه رایس با حمایت همكاران اینتل ، نتایج خود را امروز در مركز كنوانسیون آستین به عنوان بخشی از كنفرانس سیستمهای یادگیری ماشین MLSys ارائه می دهند.

بسیاری از شرکت ها برای اجرای یادگیری عمیق سرمایه گذاری های زیادی را در GPU و سایر سخت افزارهای تخصصی انجام می دهند ، یک شکل قدرتمند از هوش مصنوعی که در پشت دستیاران دیجیتالی مانند الکسا و سیری ، تشخیص چهره ، سیستم های توصیه محصول و فناوری های دیگر است. به عنوان مثال ، انویدیا ، سازنده GPU های Tessla V100 با استاندارد طلای این صنعت ، اخیراً از افزایش 41 درصدی درآمدهای سه ماهه چهارم خود در مقایسه با سال گذشته خبر داده است.

محققان رایس جایگزین صرفه جویی در هزینه را برای GPU ایجاد کردند ، الگوریتمی به نام "موتور یادگیری عمیق زیر خطی" (SLIDE) که از واحدهای پردازشی مرکزی با هدف کلی (CPU) بدون سخت افزار تخصصی شتاب استفاده می کند.

Anshumali Shivivastava ، استادیار دانشکده مهندسی براون رایس گفت: "آزمایشات ما نشان می دهد که SLIDE اولین الگوریتم هوشمندانه یادگیری عمیق بر روی CPU است که می تواند از شتاب سخت افزار GPU در مجموعه داده های توصیه ای در مقیاس صنعت با معماری های کاملاً متصل استفاده کند." SLIDE را با دانشجویان فارغ التحصیل بیدی چن و تارون مدینی اختراع کرد.

SLIDE به GPU احتیاج ندارد زیرا در یادگیری عمیق یک رویکرد متفاوت متفاوت ایجاد می کند. روش آموزش استاندارد "انتشار مجدد" برای شبکه های عصبی عمیق ، نیاز به ضرب ماتریس ، یک بار کاری ایده آل برای GPU ها دارد. با SLIDE ، Shivivastava ، چن و Medini آموزش شبکه عصبی را به یک مشکل جستجو تبدیل کردند که در عوض با جداول هش قابل حل است.

این به طور اساسی سربار محاسباتی را برای SLIDE در مقایسه با آموزش انتشار مجدد کاهش می دهد. به عنوان مثال ، Shrivastava گفت كه يك پلتفرم برتر GPU برتر مانند برنامه هاي آمازون ، گوگل و ساير آنها براي خدمات يادگيري عميق مبتني بر ابر ، داراي هشت تسلا V100 و هزينه حدود 100000 دلار است.

ما یکی از آنها را در آزمایشگاه داریم و در مورد تست ما بار کاری را برای V100 کامل گرفتیم ، یکی با بیش از 100 میلیون پارامتر در شبکه های بزرگ و کاملاً متصل که در حافظه GPU جای می گیرد. " بهترین بسته (نرم افزاری) در آنجا ، TensorFlow در گوگل ، و آموزش 3 1/2 ساعت طول کشید.

Shrivastava گفت: "ما پس از آن نشان دادیم كه الگوریتم جدید ما می تواند آموزش را در یك ساعت انجام دهد ، نه در پردازنده های GPU ، بلكه بر روی یك CPU از نوع 44 هسته ای Xeon."

شبکه های یادگیری عمیق از زیست شناسی الهام گرفته شده اند و ویژگی اصلی آنها ، نورون های مصنوعی ، قطعات کوچک کد رایانه ای هستند که می توانند یاد بگیرند که یک کار خاص را انجام دهند. یک شبکه یادگیری عمیق می تواند شامل میلیون ها یا حتی میلیارد ها نورون مصنوعی باشد و با همکاری آنها می توانند یاد بگیرند که تصمیمات متخصص در سطح انسانی را صرفاً با مطالعه مقادیر زیادی از داده ها بگیرند. به عنوان مثال ، اگر یک شبکه عصبی عمیق برای شناسایی اشیاء در عکس ها آموزش داده شود ، برای شناسایی یک اتوبوس مدرسه از سلول های عصبی مختلفی استفاده می کند تا بتواند عکس یک گربه را تشخیص دهد.

مدینی گفت: "لازم نیست همه نورون ها را در هر مورد آموزش دهید." "ما فکر کردیم ،" اگر فقط می خواهیم نورون های مرتبط را انتخاب کنیم ، این یک مشکل جستجو است. " بنابراین ، از نظر الگوریتمی ، ایده این بود که از هش حساس به محل استفاده شود تا از ضرب ماتریس دور شود. "

هاشینگ یک روش نمایه سازی داده است که برای جستجوی اینترنت در دهه 1990 اختراع شده است. از روشهای عددی برای رمزگذاری مقادیر زیادی از اطلاعات ، مانند کل صفحات وب یا فصل های کتاب ، به عنوان یک رشته ارقام به نام هش استفاده می کند. جداول هش لیستی از هش ها است که می توانید خیلی سریع جستجو کنید.

چن گفت: "این منطقی نبود که الگوریتم خود را روی TensorFlow یا PyTorch پیاده سازی کنیم زیرا اولین کاری که آنها می خواهند انجام دهند تبدیل هر کاری که شما می کنید به یک مشکل ضرب ماتریس تبدیل می شوند." "این دقیقاً همان چیزی است که ما می خواهیم از آن دور شویم. بنابراین کد C ++ خودمان را از ابتدا نوشتیم."

شريواستوا گفت بزرگترين مزيت SLIDE نسبت به انتشار مجدد اين است كه موازي داده ها است.

"به موازات داده ها منظور من این است که اگر دو نمونه داده ای داشته باشم که می خواهم در آن آموزش ببینم ، بیایید بگوییم یکی تصویر یک گربه است و دیگری اتوبوس ، آنها به احتمال زیاد نورون های مختلفی را فعال می کنند ، و SLIDE می تواند بروزرسانی کند ، یا آموزش دهد. در مورد این دو نفر به طور مستقل ". "این بسیار بهتر از موازی سازی برای CPU است.

 http://mediajx.com/story7934589/پمپ-وکیوم-آبی