مقدمه مفهومی تجزیه (Parsing) به فرآیند سیستماتیک تحلیل و تبدیل داده های ورودی به یک ساختار درختی یا سلسله مراتبی اطلاق می شود که روابط بین اجزای مختلف داده را نشان می دهد. این مفهوم در بسیاری از حوزه های پردازش داده کاربرد دارد. کاربرد در فناوری اطلاعات 1. در کامپایلرها: تحلیل کد منبع 2. در پردازش زبان طبیعی: درک ساختار جملات 3. در مرورگرهای وب: تفسیر HTML/CSS 4. در سیستم های پایگاه داده: بهینه سازی کوئری ها مثال های واقعی - تجزیه کدهای برنامه نویسی توسط کامپایلر - تحلیل دستورات SQL توسط سرور پایگاه داده - پردازش فایل های پیکربندی توسط سیستم ها نقش در توسعه نرم افزار مراحل تجزیه: - تحلیل لغوی (Lexical Analysis) - تحلیل نحوی (Syntax Analysis) - تحلیل معنایی (Semantic Analysis) تاریخچه تکامل نظریه تجزیه: - 1950: کارهای اولیه نوام چامسکی - 1960: توسعه دستورهای مستقل از متن - 1980: معرفی ابزارهای تولید تجزیه گر تفاوت با مفاهیم مشابه - با ’’Tokenizing’’ که فقط به بخش های مجزا تقسیم می کند - با ’’Compiling’’ که شامل مراحل بیشتری است پیاده سازی فنی - در Python: ماژول های ast و parser - در JavaScript: تحلیلگرهای JSON - در C: ابزارهای Lex/Yacc چالش ها - مدیریت خطاهای نحوی - کارایی در پردازش داده های بزرگ - پشتیبانی از استانداردهای مختلف نتیجه گیری تجزیه صحیح و کارآمد، پیش نیاز بسیاری از سیستم های پردازش اطلاعات پیچیده است.
