محققان گروه سیستم های جاسازی شده و رباتیک در TCS Research & Innovation به تازگی یک شبکه با دو دید عمق برای استنباط عمق و حرکت نفس از توالی های یکپارچه متوالی ایجاد کرده اند. رویکرد آنها ، در مقاله ای که از قبل در ArXiv منتشر شده است ، همچنین شامل محدودیت های قطبی است که درک هندسی شبکه را تقویت می کند.
دکتر Brojeshwar Bhowmick ، یکی از محققانی که این مطالعه را انجام داده است ، گفت: ایده اصلی ما این بود که عمق پیکسل و حرکت دوربین را مستقیماً از توالی های تک تصویری پیش بینی کنیم. "به طور سنتی ، ساختار از الگوریتم های بازسازی مبتنی بر حرکت ، خروجی های عمق پراکنده را برای نقاط برجسته و جالب در تصویر فراهم می کند ، که با استفاده از هندسه چندمنظوره بر روی تصاویر مختلف ردیابی می شوند. روش هایی برای کمک به علت ما با نزدیک شدن به مسئله به شیوه ای بنیادی تر با استفاده از ترکیبی از مفاهیم از هندسه قطبی و یادگیری عمیق. "
اکثر رویکردهای یادگیری عمیق موجود برای پیش بینی عمق مونوکلر و حرکت نفس ، پیوستن فتومتریک را در توالی تصویر با پیچاندن یک منظره به دیگری بهینه می کند. با این حال ، با استنباط عمق از یک نمای واحد ، این روشها ممکن است در ضبط رابطه بین پیکسلها و در نتیجه ارائه مکاتبات مناسب پیکسل کوتاهی کنند.
برای پرداختن به محدودیتهای این رویکردها ، بوومیک و همکارانش رویکرد جدیدی را توسعه دادند که ترکیبی از دید هندسی رایانه و پارادایمهای یادگیری عمیق است . رویکرد آنها از دو شبکه عصبی استفاده می کند ، یکی برای پیش بینی عمق یک نمای مرجع واحد و دیگری برای پیش بینی موقعیت های نسبی مجموعه ای از نظرات با توجه به نمای مرجع.
اعتبار: Prasad ، Das & Bhowmick.
بوهمیک توضیح داد: "صحنه تصویر هدف را می توان با پیچ و تاب کردن آنها بر اساس عمق و نکات نسبی ، از هر یک از نمایشگرهای موجود بازسازی کرد." "با توجه به این تصویر بازسازی شده و تصویر مرجع ، خطای موجود در شدت پیکسل را محاسبه می کنیم ، که به عنوان ضرر اصلی ما عمل می کند. ما به تازگی استفاده از ضایعات قطر در هر پیکسل ، مفهومی از هندسه چند منظره را اضافه می کنیم. از دست دادن ، که مکاتبات بهتری را تضمین می کند و مزیت اضافه شده ای را برای تخفیف اشیاء متحرک در صحنه ایجاد می کند که در غیر این صورت می تواند یادگیری را خراب کند. "
این رویکرد جدید به جای پیش بینی عمق با تجزیه و تحلیل یک تصویر واحد ، با تجزیه و تحلیل یک جفت تصاویر از یک فیلم و یادگیری روابط بین پیکسل برای پیش بینی عمق کار می کند. تا حدودی شبیه به الگوریتم های سنتی SLAM / SfM است ، که می تواند حرکات پیکسل را با گذشت زمان مشاهده کند.
بویممیک گفت: "معنی دار ترین یافته های مطالعه ما این است که استفاده از دو دیدگاه برای پیش بینی عمق بهتر از یک تصویر واحد عمل می کند ، و حتی اجرای ضعیف مکاتبات سطح پیکسل از طریق محدودیت های قطر به خوبی عمل می کند." "هنگامی که چنین روشهایی بالغ شده و در تعمیم پذیری بهبود یابد ، می توانیم آنها را برای ادراک در هواپیماهای بدون سرنشین بکار ببریم ، جایی که می خواهیم با کمترین قدرت ممکن اطلاعات حسی را استخراج کنیم ، که می توان با استفاده از یک دوربین واحد به دست آورد."
در ارزیابی های اولیه ، محققان دریافتند که روش آنها می تواند عمق را با دقت بالاتر از رویکردهای موجود پیش بینی کند ، تولید برآورد عمق واضح تر و تخمین های پیش بینی افزایش یافته. با این حال ، در حال حاضر ، رویکرد آنها فقط می تواند استنباط هایی در سطح پیکسل انجام دهد. کار آینده می تواند با ادغام معانی شناسی صحنه در مدل ، این محدودیت را برطرف کند ، که ممکن است منجر به ارتباط بهتر بین اشیاء موجود در صحنه و برآورد عمق و نفس حرکت باشد.
بوهمیک گفت: "ما بیشتر در حال تعمیم بودن این روش و سایر روشهای مشابه در صحنه های مختلف اعم از سرپوشیده و فضای باز هستیم." "در حال حاضر ، بسیاری از آثار بر روی داده های در فضای باز ، مانند داده های رانندگی ، عملکرد خوبی دارند ، اما در سکانس های داخلی با حرکات دلخواه بسیار ضعیف عمل می کنند."
https://www.namasha.com/v/HbqTlRqr
