پیش پردازش در پردازش زبان طبیعی

Question

سلام. قراره تو پروژه ای درسی متون را به دو دسته خبر و غیر خبر تقسیم بندی کنم رسیدم به مرحله پیش پردازش که گفتن در این مرحله اینها را انجام بدم.

پیش‌پردازش:

 

• متون را تمیزکاری و نرمال‌سازی کنید.
• از تکنیک‌هایی مثل stemming استفاده کنید.
• داده‌ها را توکن‌سازی کنید.

یکی توضیح بده این مراحل دقیقا چیه؟

Answer 1

1. تمیزکاری و نرمال‌سازی متن: در این مرحله، هدف از بین بردن نویز‌های موجود در داده است. این نویز‌ها ممکن است شامل املای غلط، حروف بزرگ یا کوچک، علائم نگارشی، واژگان غیر استاندارد و … باشند. با تمیزکاری و نرمال‌سازی متن، داده‌ها به شکل مناسب برای پردازش بعدی آماده می‌شوند.

2. Stemming: این فرآیند به منظور حذف پسوندهای کلمات و باقی گذاشتن ریشه کلمات انجام می‌شود. به عنوان مثال، در زبان انگلیسی، کلمات “running”, “runner”, “runs” همگی به “run” تبدیل می‌شوند.

3. توکن‌سازی: در این مرحله، متن به تکه‌های کوچکتر یا “توکن‌ها” تقسیم می‌شود. این توکن‌ها معمولاً کلمات هستند. برای مثال، جمله “I am learning NLP” به چهار توکن “I”, “am”, “learning”, “NLP” تقسیم می‌شود.