متن کاوی در سال‌های اخیر به دلیل حجم زیادی از داده‌های متنی که در شبکه‌های اجتماعی مختلف، وبسایت‌ها و سایر برنامه‌های کاربردی اطلاعات محور ایجادشده، بیشتر مورد توجه قرار گرفته است. داده‌های غیرساخت‌یافته ساده‌ترین شکل داده‌هایی هستند که می‌توانند در هر سناریوی ممکن، ایجاد شوند. در نتیجه، یک نیاز مبرم به طراحی روش‌ها و الگوریتم‌هایی احساس می‌شود که بتوانند طیف گسترده‌ای از برنامه‌های کاریردی مبتنی بر متن را پردازش کنند.

کتاب« متن کاوی: طبقه‌بندی، خوشه‌بندی و کاربردها »، مروری بر روش‌ها و الگوریتم‌های مختلف و متداول در حوزه متن کاوی با تمرکز ویژه بر روش‌های طبقه‌بندی، خوشه‌بندی و کاربردهای آن خواهد داشت.

در این کتا به بیان مقدمه‌ای بر متن کاوی، مفاهیم استخراج اطلاعات از متن و کارهایی که در جامعه پردازش زبان طبیعی انجام شده، خلاصه‌سازی خودکار متن، خوشه‌بندی و طبقه‌بندی متن ، خوشه‌بندی و بررسی جامع از مساله‌ خوشه‌بندی پرداخته شده است.

پیشگفتار 13

1- مقدمه‌ای بر متن کاوی... 17

1-1 مقدمه. 18

1-2الگوریتمها و کاربردهای متن کاوی.. 20

1-3جهت‌دهی‌های آینده 24

2- استخراج اطلاعات متن... 27

2-1مقدمه. 28

2-2شناسایی موجودیت نام‌دار 32

2-2-1 رویکرد مبتنی بر قاعده 33

2-2-2 رویکردیادگیری آماری.. 34

2-3 استخراج رابطه. 39

2-3-1 طبقه‌بندی مبتنی بر ویژگی.. 40

2-3-2روش‌های کرنل.. 44

2-3-3روش‌هاییادگیریبا نظارت ضعیف... 47

2-4استخراج اطلاعات بدون نظارت.. 48

2-4-1 کشف رابطه و القاء الگو. 49

2-4-2 استخراج اطلاعات آزاد. 50

2-5ارزیابی.. 51

2-6 خلاصه فصل.. 52

3- خلاصه‌سازی متن... 54

3-1خلاصه‌سازی استخراجی.. 55

3-2 رویکردهای بازنمایی موضوع. 57

3-2-1 کلمات موضوع. 57

3-2-2 رویکردهای مبتنی بر فراوانی.. 59

3-2-3تحلیل معنایی نهان.. 63

3-2-4 مدل‌های موضوع بیزین.. 65

3-2-5 خوشه‌بندی جملات و موضوعات وابسته به دامنه. 66

3-3 تاثیر زمینه. 68

3-3-1 خلاصه‌سازی وب.. 69

3-3-2 خلاصه‌سازی مقالات علمی.. 70

3-3-3 خلاصه‌سازی متمرکز بر پرس‌وجو. 70

3-3-4خلاصه‌سازی ایمیل.. 71

3-4 بازنمایی شاخص و یادگیری ماشین.. 72

3-4-1 روش‌های مبتنی بر گراف برای اهمیت جمله. 72

3-4-2یادگیری ماشین برای خلاصه‌سازی.. 74

3-5 انتخاب جملات خلاصه. 76

3-5-1 رویکردهای حریصانه: ارتباط حاشیه‌ای بیشینه. 76

3-5-2 انتخاب خلاصه عمومی.. 77

3-6 خلاصه فصل.. 78

4- خوشه‌بندی متن... 81

4-1 مقدمه. 82

4-2 انتخاب ویژگی برای خوشه‌بندی متن.. 85

4-2-1 روش‌های انتخاب ویژگی.. 85

4-2-2 روش‌های انتقال ویژگی مبتنی بر LSI 88

4-2-3 فاکتورگیری ماتریس نامنفی.. 90

4-3 خوشه‌بندی مبتنی بر فاصله. 93

4-3-1 خوشه‌بندی تجمعی و سلسله‌مراتبی.. 94

4-3-2 تقسیم‌بندی مبتنی بر فاصله. 96

4-3-3 رویکرد ترکیبی: روش Scatter-Gather 98

4-4خوشه‌بندی مبتنی بر کلمه و عبارت.. 103

4-4-1خوشه‌بندی با الگوهای پرتکرار کلمه. 103

4-4-2خوشه‌بندی اسناد با خوشه‌بندی کلمات.. 106

4-4-3 خوشه‌بندی مشترک کلمات و اسناد. 107

4-4-4 خوشه‌بندی با عبارات پرتکرار 110

4-5خوشه‌بندی احتمالی اسناد و مدل‌های موضوع. 111

4-6خوشه‌بندی برخط جریان‌های متنی.. 114

4-7 خوشه‌بندی متن در شبکه‌ها 120

4-8 خوشه‌بندی نیمه نظارتی.. 123

4-9 خلاصه فصل.. 125

5- طبقه‌بندی متن... 128

5-1مقدمه. 129

5-2انتخاب ویژگی برای طبقه‌بندی متن.. 132

5-2-1 شاخص Gini 133

5-2-2 بهره اطلاعاتی.. 134

5-2-3 اطلاعات متقابل.. 135

5-2-4آمار X2 135

5-2-5 روش‌هایانتقال ویژگی مبتنی برLSI 136

5-2-6 خوشهبنديبا نظارت برای کاهش ابعاد. 138

5-2-7تحلیل خطی افتراقی.. 138

5-2-8تجزیه مقادیر منفرد تعمیم‌یافته. 140

5-2-9 تعامل انتخاب ویژگی با طبقه‌بندی.. 141

5-3 طبقه‌بندی درخت تصمیم. 142

5-4طبقه‌بندی مبتنی بر قاعده 144

5-5 طبقه‌بندی احتمالی و بیز ساده 147

5-5-1 مدل چندمتغیره برنولی.. 148

5-5-2 توزیع چندجمله‌ای.. 154

5-5-3 مدل‌های ترکیبی برای طبقه‌بندی متن.. 156

5-6 طبقه‌بندی خطی.. 159

5-6-1 طبقه‌بندیSVM... 160

5-6-2 طبقه‌بندی مبتنی بر رگرسیون.. 161

5-6-3 طبقه‌بندی شبکه عصبی.. 163

5-6-4 مشاهداتی درباره طبقه‌بندی خطی.. 166

5-7 طبقه‌بندی مبتنی بر مجاورت.. 167

5-8 طبقه‌بندی متن وب و داده‌های پیوندی.. 170

5-9 فرا الگوریتم‌های طبقه‌بندی متن.. 176

5-9-1 طبقه‌بندی گروهی: یادگیری جمعی.. 176

5-9-2 طبقه‌بندی داده‌محور: بوستینگ و بگینگ... 177

5-9-3 طبقه‌بندی دقت‌محور: بهینه‌سازی سنجش.... 179

5-10 خلاصه فصل.. 180

6- متن کاوی در داده‌های جریانی... 182

6-1 مقدمه. 183

6-2 خوشه‌بندی جریان‌های متنی.. 184

6-2-1 شناسایی و ردیابی موضوع در جریان‌های متنی.. 192

6-3 طبقه‌بندی جریان‌های متنی.. 197

6-4 تحلیل تکامل در جریان‌های متنی.. 200

6-5 خلاصه فصل.. 202

7- متن کاوی در داده‌های فرازبانی... 203

7-1مقدمه. 204

7-2ترجمه ماشینی.. 205

7-2-1 مدل‌های مولد ترجمه و SMT. 205

7-2-2 مدل‌های مبتنی بر کلمه. 208

7-2-3 مدل‌های مبتنی بر عبارت.. 210

7-2-4مدل‌های مبتنی بر نحو. 214

7-3 کاوش متون موازی.. 217

7-3-1 کاوش ساختار وب.. 219

7-3-2 تطابق صفحات موازی.. 221

7-4 مدل‌های ترجمه در CLIR.. 224

7-5 جمع‌آوری و بهره‌برداری از متون تطبیقی.. 226

7-6 انتخاب کلمات ترجمه، عبارات و جملات موازی.. 230

7-7 کاوش روابط فرازبانی از متون تک‌زبانی.. 232

7-8کاوش فراپیوندها 235

7-9 خلاصه فصل.. 236

8- متن کاوی در داده‌های چندرسانه‌ای... 239

8-1مقدمه. 240

8-2کاوش متن پیرامون.. 242

8-3 برچسب کاوی.. 245

8-3-1 رتبه‌بندی برچسب... 245

8-3-2پالایش برچسب... 247

8-3-3 غنی‌سازی برچسب... 248

8-4 کاوش محتوای مشترک متنی و بصری.. 250

8-4-1 رتبه‌بندی بصری.. 251

8-5 کاوش محتوای متقابل متنی و بصری.. 254

8-6 خلاصه فصل.. 257

9- متن کاوی در رسانه‌های اجتماعی... 260

9-1 مقدمه. 261

9-2 جنبه‌های مجزای متن در رسانه‌های اجتماعی.. 262

9-2-1 چارچوب عمومی برای تحلیل متن.. 263

9-2-2حساسیت به زمان.. 265

9-2-3 طول کوتاه 266

9-2-4 عبارات غیرساخت‌یافته. 267

9-2-5 اطلاعات اضافی.. 268

9-3 تحلیل متن در رسانه‌های اجتماعی.. 268

9-3-1 شناسایی رویداد. 269

9-3-2 پاسخ‌گویی به سوال مشارکتی.. 271

9-3-3 برچسب‌گذاری اجتماعی.. 272

9-3-4 پرکردن شکاف معنایی.. 273

9-3-5 بهره‌برداری از قدرت اطلاعات اضافی.. 274

9-3-6 تلاش‌های مرتبط.. 277

9-4 مثالدنیای واقعی.. 277

9-4-1 استخراج عبارات اولیه. 278

9-4-2 استخراج ویژگی‌های معنایی.. 280

9-4-3ساخت فضای ویژگی.. 280

9-5 خلاصه فصل.. 282

10- عقیده کاوی و تحلیل احساسات... 285

10-1 مقدمه. 286

10-2 طبقه‌بندی احساسات.. 290

10-2-1 طبقه‌بندی احساسات مبتنی بر یادگیریبا نظارت.. 292

10-2-2 طبقه‌بندی احساسات مبتنی بر یادگیریبدون نظارت.. 295

10-3 طبقه‌بندی احساسات و ذهنیت جمله. 298

10-4 گسترش واژه‌نامه عقیده 299

10-4-1 رویکرد مبتنی بر فرهنگ لغت... 300

10-4-2 رویکرد مبتنی بر پیکرهمتنی.. 300

10-5 تحلیل احساسات مبتنی بر جنبه. 302

10-5-1 طبقه‌بندی جنبه احساسات.. 303

10-5-2 قواعد اساسی عقاید. 305

10-5-3 استخراج جنبه. 308

10-5-4 همزمانی گسترش فرهنگ لغت عقیده و استخراج جنبه. 310

10-6 عقیده کاوی تطبیقی.. 311

10-7 برخی مسایل عقیده کاوی.. 315

10-8 سودمندی عقاید. 319

10-9خلاصه فصل.. 320

11- متن کاوی معنایی مبتنی بر آنتولوژی... 322

11-1 مقدمه. 323

11-2وب معنایی و آنتولوژی.. 323

11-3 خوشه‌بندی معنایی متن.. 326

11-3-1 تشابه معنایی.. 327

11-4طبقه‌بندی معنایی متن.. 329

11-5 خلاصه فصل.. 331

منابع  332