بخش‌بندی تصویر یا Image Segmentation

Question

بخش‌بندی تصویر 

 

در تصاویر کامپیوتری، واژه " بخش بندی تصویر " یا " بخش بندی" به تقسیم تصویر به گروهی از پیکسل براساس برخی معیارها اشاره دارد .

یک الگوریتم بخش‌بندی تصویر به عنوان ورودی و خروجی مجموعه‌ای از مناطق ( یا بخش‌ها ) را می‌گیرد که می ‌توان آن‌ها را به صورت زیر نشان داد :

1. مجموعه‌ای از contours که در شکل ۱ نشان‌داده شده‌است .
2. ماسک (  سفید و یا رنگی ) که هر بخش یک رنگ خاص و یا رنگ سیاه به  آبجکت ها برای شناسایی آنها اختصاص می‌دهد . یک مثال در شکل ۲ نشان‌داده شده‌ است .

مشکل بخش‌بندی تصویر به یک میلیون روش مختلف نزدیک شده‌است . گاهی اوقات، این مساله به عنوان یک مساله پارتیشن بندی گراف شناخته می‌شود . در زمان‌های دیگر ، این مساله به عنوان یک مشکل کمینه‌سازی انرژی در یک چارچوب متغیر مطرح می‌شود ، و هنوز هم به عنوان راه حلی برای معادلات دیفرانسیل جزیی فرموله می‌شود . اگر خط آخر برای شما نامفهوم است ، نگران نباشید . این‌ها تنها چند سطری است که در این پست وجود دارد که این طور به نظر می‌رسد !

در این مقاله ، ما به تکنیک‌های خاص نخواهیم رفت . ما بر روی چند تعریف اصلی در بخش تقسیم‌بندی تصویر تمرکز خواهیم کرد که می‌تواند برای مبتدیان کمی گیج‌کننده باشد .

 

superpixels چیست ؟

 

هنگامی که ما پیکسل براساس رنگ ، بافت و یا دیگر سطوح پایین پیکسل را گروه‌بندی می‌کنیم ، این گروه‌های ادراکی را  superpixels می‌نامیم .

 

 

شکل ۱ : بخش بندی تصویر

 

خروجی یک الگوریتم superpixel با استفاده از یک انیمیشن در شکل ۱ نشان‌داده شده‌است . توجه داشته باشید که الگوریتم تقسیم‌بندی به سادگی pixels رنگ و بافت مشابه را گروه‌بندی می‌کند . این به معنی تلاش برای گروهی از یک شی مشابه با هم نیست .

 

بخش‌بندی معنایی چیست؟

هدف از بخش‌بندی معنایی تعیین یک برچسب ( خودرو ، ساختمان ، فرد ، جاده ، پیاده‌رو ، درختان و غیره ) به هر پیکسل در تصویر است .

 

 

شکل ۲ :  بخش‌بندی معنایی

 

شکل ۲ نتیجه  بخش‌بندی معنایی را نشان می‌دهد . مردم در ماسک با استفاده از پیکسل ‌های قرمز نشان داده می‌شوند ، چمن به رنگ سبز روشن است ، درخت‌ها سبز شده و آسمان آبی شده‌است .

می‌توانیم بگوییم که اگر رنگ ماسک در آن پیکسل رنگ قرمز باشد ، ما نمی‌توانیم بگوییم که آیا این رنگ در آن پیکسل قرمز است یا نه ، اما ما نمی‌توانیم بگوییم که آیا دو پیکسل ماسک قرمز رنگی متعلق به یک شخص یا افراد مختلف هستند .

 

Answer 1

بخش بندی نمونه چیست ؟

 

بخش بندی نمونه یک مفهوم کاملا ً مرتبط با تشخیص شی است . با این حال ، بر خلاف روش تشخیص شی خروجی یک ماسک ( یا contour ) حاوی شی به جای یک  کادر محصور کننده است . بر خلاف تقسیم‌بندی معنایی ، ما تمام پیکسل را در تصویر ذکر نمی‌کنیم ؛ ما تنها به پیدا کردن مرزه‌ای اشیا خاص علاقه‌مند هستیم .

 

شکل ۳ : بخش بندی نمونه

 

شکل ۳ خروجی نمونه‌ای از یک الگوریتم Segmentation به نام Mask RCNN -  را نشان می‌دهد. می‌بینیم که ماسک برای هر فرد متفاوت است ، بنابراین ما می‌توانیم آن‌ها را از هم جدا کنیم . با این حال ، هر پیکسل برچسب کلاس مرتبط با آن ندارد .

 

بخش بندی panoptic 

 

بخش بندیpanoptic   ترکیبی از بخش بندیمعنایی و بخش بندی نمونه است . هر پیکسل یک کلاس تعیین می‌شود ( به عنوان مثال شخص ) ، اما اگر چندین مورد از یک کلاس وجود داشته باشد ، ما می‌دانیم که کدام پیکسل به کدام نمونه از کلاس تعلق دارد

 

.

شکل ۴ :بخش بندیpanoptic  

 

شما می‌توانید یک مثال را در شکل ۴ ببینید . هر پیکسل برچسب رنگی مشخصی دارد . برای مثال ، آسمان به رنگ آبی کد شده‌است ، درخت‌ها سبز تیره شده‌اند ، علف‌ها رنگ سبز روشن دارند و مردم از رنگ‌های زرد ، قرمز و ارغوانی رنگی استفاده می‌کنند . رنگ‌های زرد و قرمز هر دو به یک فرد کلاس هم اشاره می‌کنند - اما به نمونه‌های مختلفی از همان کلاس . ما می‌توانیم با نگاه به رنگ ماسک به افراد مختلف بگوییم .