دوره های آماری مقدماتی به ما می آموزند که ، هنگام قرار دادن یک مدل در برخی داده ها ، باید داده های بیشتری نسبت به پارامترهای رایگان داشته باشیم تا از خطر بیش از حد اتصالات - مناسب بودن اطلاعات پر سر و صدا بیش از حد ، جلوگیری کنیم و در نتیجه نتوانیم اطلاعات جدید را وارد کنیم. بنابراین تعجب آور است که در یادگیری عمیق مدرن این است که سفارشات بزرگی بیشتر از داده ها داشته باشند. با وجود این ، شبکه های عمیق عملکرد پیش بینی خوبی را نشان می دهند و در حقیقت پارامترهای بیشتری را که دارند بهتر می کنند. چرا چنین می شود؟

مدتی شناخته شده است که عملکرد خوب در یادگیری ماشین از کنترل پیچیدگی شبکه ها ناشی می شود ، که این فقط یک عملکرد ساده از تعداد پارامترهای رایگان نیست. پیچیدگی یک طبقه بندی کننده ، مانند شبکه عصبی ، به اندازه گیری "اندازه" فضای توابع این شبکه بستگی دارد.با اقدامات فنی متعدد که قبلاً پیشنهاد شده است ، نمایان می شود: بعد Vapnik-Chervonenkis ، شماره ها یا پیچیدگی Rademacher ، نام چند مورد پیچیدگی ، همانطور که با این مفاهیم اندازه گیری می شود ، با تحمیل محدودیت بر هنجار پارامترها ، می تواند در طی فرآیند یادگیری کنترل شود - به طور خلاصه ، چگونگی دستیابی به آنها "بزرگ". واقعیت تعجب آور این است که به نظر نمی رسد چنین محدودیت صریح در آموزش شبکه های عمیق لازم باشد. آیا یادگیری عمیق خارج از تئوری کلاسیک یادگیری است؟ آیا ما نیاز به تجدید نظر در مبانی داریم؟

در مقاله جدید ارتباطات طبیعت با عنوان "کنترل پیچیدگی توسط گرادیان نزول در شبکه های عمیق" ، تیمی از مرکز مغز ، ذهن و ماشین آلات به سرپرستی مدیر توماسو پگیجیو ، استاد یوجین مک درموت در بخش MIT گروه مغز و علوم شناختی ، با پرداختن به عملی ترین و موفق ترین کاربردهای یادگیری عمیق مدرن: مشکلات طبقه بندی: این معما را روشن کرده است.

"برای مشکلات طبقه بندی ، ما مشاهده می کنیم که در حقیقت به نظر نمی رسد که پارامترهای مدل همگرا شوند ، بلکه در اندازه نزول شیب به طور نامحدود رشد می کنند. با این حال ، در مشکلات طبقه بندی فقط پارامترهای عادی شده اهمیت دارند یعنی جهت آنها را تعریف می کنند. اندازه آنها ، "می گوید نویسنده و دکتری MIT. نامزد Qianli لیائو. "نکته نه چندان واضحی که نشان دادیم این است که نزول شیب معمولی که در پارامترهای غیر عادی استفاده می شود ، کنترل پیچیدگی مورد نظر را بر روی نرمال ها القا می کند."

پگیجیو می گوید: "ما مدتی است که در مورد رگرسیون برای شبکه های خطی کم عمق ، مانند دستگاه های هسته ای ، می دانیم که تکرارهای نزولی شیب اثر منظمی ضمنی و ناپدید کننده را فراهم می کند." "در واقع ، در این مورد ساده احتمالاً می دانیم که بهترین رفتار حداکثر حاشیه ای را با حداکثر هنجار انجام می دهیم. سوالی که از خودمان پرسیدیم این بود: آیا می توان چیزی مشابه برای شبکه های عمیق روی داد؟"

محققان دریافتند که این کار را انجام می دهد. همانطور که Andrzej Banburski و نویسنده و پست نویسنده MIT توضیح می دهد ، "درک همگرایی در شبکه های عمیق نشان می دهد که مسیرهای روشنی برای بهبود الگوریتم های ما وجود دارد. در حقیقت ، ما قبلاً نکاتی را شاهد بوده ایم که کنترل میزان سرعتی که این پارامترهای غیر عادی واگرایی می شوند ، به ما امکان می دهد. راه حل های بهتر را انجام داده و آنها را سریعتر پیدا کنید. "

این برای یادگیری ماشین به چه معنی است ؟ هیچ جادویی در پشت شبکه های عمیق وجود ندارد. همان تئوری در پشت همه مدلهای خطی نیز در اینجا بازی می شود. این کار روش هایی برای بهبود شبکه های عمیق ، ساخت دقیق تر و سریع تر آموزش آنها را نشان می دهد.

 http://bookmark-template.com/story6881390/پمپ-وکیوم-آبی