مقدمه مفهومی واژه گانی (lexical) به ویژگی های مربوط به واژگان و کلمات در زبان های برنامه نویسی یا طبیعی اشاره دارد. در پردازش زبان های برنامه نویسی، مرحله تحلیل واژه گانی (lexical analysis) اولین مرحله در فرآیند کامپایل است که متن منبع را به توکن های معنادار تبدیل می کند. در زبانشناسی محاسباتی، تحلیل واژه گانی به بررسی ساختار و معنای کلمات در متن می پردازد. تحلیل واژه گانی در کامپایلرها 1) اسکن متن منبع 2) حذف فضاهای خالی و نظرات 3) شناسایی توکن ها 4) تشخیص خطاهای واژه گانی. این مرحله توسط ابزاری به نام lexer یا scanner انجام می شود که معمولاً با عبارات منظم تعریف می شود. خروجی این مرحله دنباله ای از توکن ها است که به مرحله بعدی (تحلیل نحوی) ارسال می شود. ویژگی های واژه گانی 1) قوانین نام گذاری شناسه ها 2) فرمت اعداد و literals 3) کاراکترهای مجاز 4) کلیدواژه های زبان 5) عملگرها و جداکننده ها. این ویژگی ها برای هر زبان برنامه نویسی منحصر به فرد هستند و در مشخصات زبان تعریف می شوند. کاربردها در پردازش زبان طبیعی 1) تقسیم متن به توکن ها 2) ریشه یابی کلمات 3) تشخیص بخش های سخن 4) شناسایی موجودیت های نامدار 5) تحلیل احساسات در سطح کلمه. این پردازش ها پایه ای برای سیستم های پیشرفته تر NLP هستند. چالش ها 1) ابهام در تشخیص توکن ها 2) تفاوت بین زبان ها 3) پردازش زبان های پیچیده (مانند عربی و فارسی) 4) شناسایی اصطلاحات چندکلمه ای 5) مدیریت حروف بزرگ/کوچک در زبان های مختلف. این چالش ها نیاز به الگوریتم های پیشرفته و فرهنگ های واژه گانی دارند. ابزارها و کتابخانه ها 1) Lex و Flex برای تولید lexer 2) ANTLR برای پردازش زبان 3) NLTK و spaCy برای پردازش زبان طبیعی 4) کتابخانه های تحلیل متن در زبان های برنامه نویسی. این ابزارها پیاده سازی تحلیل واژه گانی را ساده تر می کنند. روندهای آینده 1) استفاده از یادگیری عمیق برای تحلیل واژه گانی 2) توسعه lexerهای خودآموز 3) پردازش یکپارچه زبان های برنامه نویسی و طبیعی 4) تحلیل واژه گانی برای زبان های کم منبع. این تحولات دقت و انعطاف پذیری سیستم های پردازش زبان را افزایش خواهند داد. نتیجه گیری تحلیل واژه گانی پایه ای برای بسیاری از سیستم های پردازش زبان است. درک عمیق این مفهوم برای توسعه دهندگان کامپایلرها، مترجم ها و سیستم های پردازش زبان طبیعی ضروری است. با پیشرفت فناوری های پردازش زبان، اهمیت تحلیل واژه گانی دقیق و هوشمند بیشتر شده است.
