هضم

ویژگی‌ها

تمیز و مرتب کردن متن
تقطیع جمله‌ها و واژه‌ها
ریشه‌یابی واژه‌ها
تحلیل صرفی جمله
تجزیه نحوی جمله
واسط استفاده از داده‌های زبان فارسی
سازگاری با بسته NLTK
پشتیبانی از پایتون نسخه ۲ و ۳
تست مداوم کدها:

استفاده

            >>>
            from
            __future__
            import
            unicode_literals
          

            >>>
            from
            hazm
            import
            *
          

            >>>
            normalizer
            =
            Normalizer()
          

            >>> normalizer.normalize
            (
            'اصلاح نویسه ها و استفاده از نیم فاصله پردازش را آسان می کند'
            )
          

            result
            
            
          

            'اصلاح نویسه ها و استفاده از نیم فاصله پردازش را آسان می کند'
          

          >>>
          sent_tokenize
          (
          'ما هم برای وصل کردن آمدیم! ولی برای پردازش، جدا بهتر نیست؟'
          )
        

            result
            
            
          

            [
            'ما هم برای وصل کردن آمدیم!'
            ,
            'ولی برای پردازش، جدا بهتر نیست؟'
            ]
          

          >>> word_tokenize
          (
          'ولی برای پردازش، جدا بهتر نیست؟'
          )
        

            result
            
            
          

            [
            'ولی',
            'برای',
            'پردازش'،
            '،'،
            'جدا',
            'بهتر',
            'نیست',
            '؟'
            ]
          

            >>>
            stemmer
            =
            Stemmer()
          

            >>>
            stemmer.stem
            (
            'کتاب ها'
            )
          

            result
            
            
          

            'کتاب'
          

            >>> lemmatizer
            = Lemmatizer()
          

            >>> lemmatizer.lemmatize
            (
            'می روم'
            )
          

            result
            
            
          

            'رفت#رو'
          

            >>>
            tagger
            =
            POSTagger
            (
            model
            =
            'resources/postagger.model'
            )
          

            >>> tagger.tag
            (
            word_tokenize(
            'ما بسیار کتاب می‌خوانیم'
            ))
          

            result
            
            
          
[
              (
              'ما',
              'PRO'
              ),
            

              (
              'بسیار',
              'ADV'
              ),
            

              (
              'کتاب',
              'N'
              ),
            

              (
              'می خوانیم'
              ,
              'V'
              )
            
]

            >>> chunker
            = Chunker(
            model=
            'resources/chunker.model'
            )
          

            >>> tagged =
            tagger.tag
            ( word_tokenize(
            'کتاب خواندن را دوست داریم'
            ))
          

            >>> tree2brackets(
            chunker.parse
            (tagged))
          

            result
            
            
          

            '[کتاب خواندن NP]
            [را POSTP]
            [دوست داریم VP]'
          

            >>> parser = 
            DependencyParser (tagger
            = tagger,
            lemmatizer = lemmatizer
            )
          

            >>> parser.parse
            ( 
            word_tokenize(
            'زنگ‌ها برای که به صدا درمی‌آید؟'
            ))
          

            result
            
            
          

            <DependencyGraph
            with 8 nodes>
          

        >>>
        from
        __future__
        import
        unicode_literals
      

        >>>
        from
        hazm
        import
        *
      

        >>>
        normalizer
        =
        Normalizer()
      

        >>> normalizer.normalize
        (
        'اصلاح نویسه ها و استفاده از نیم فاصله پردازش را آسان می کند'
        )
      

        'اصلاح نویسه ها و استفاده از نیم فاصله پردازش را آسان می کند'
      

        >>>
        sent_tokenize
        (
        'ما هم برای وصل کردن آمدیم! ولی برای پردازش، جدا بهتر نیست؟'
        )
      

        [
        'ما هم برای وصل کردن آمدیم!'
        ,
        'ولی برای پردازش، جدا بهتر نیست؟'
        ]
      

        >>> word_tokenize
        (
        'ولی برای پردازش، جدا بهتر نیست؟'
        )
      

        [
        'ولی',
        'برای',
        'پردازش'،
        '،'،
        'جدا',
        'بهتر',
        'نیست',
        '؟'
        ]
      

        >>>
        stemmer
        =
        Stemmer()
      

        >>>
        stemmer.stem
        (
        'کتاب ها'
        )
      

        'کتاب'
      

        >>> lemmatizer
        = Lemmatizer()
      

        >>> lemmatizer.lemmatize
        (
        'می روم'
        )
      

        'رفت#رو'
      

        >>>
        tagger
        =
        POSTagger
        (
        model
        =
        'resources/postagger.model'
        )
      

        >>> tagger.tag
        (
        word_tokenize(
        'ما بسیار کتاب می‌خوانیم'
        ))
      
[
          (
          'ما'
          ,
          'PRO'
          ),
        

          (
          'بسیار'
          ,
          'ADV'
          ),
        

          (
          'کتاب'
          ,
          'N'
          ),
        

          (
          'می خوانیم'
          ,
          'V'
          )
        
]

        >>> chunker
        = Chunker(
        model=
        'resources/chunker.model'
        )
      

        >>> tagged =
        tagger.tag
        ( word_tokenize(
        'کتاب خواندن را دوست داریم'
        ))
      

        >>> tree2brackets(
        chunker.parse
        (tagged))
      

        '[کتاب خواندن NP]
        [را POSTP]
        [دوست داریم VP]'
      

        >>> parser =
        DependencyParser (tagger
        = tagger,
        lemmatizer = lemmatizer
        )
      

        >>> parser.parse
        ( 
        word_tokenize(
        'زنگ‌ها برای که به صدا درمی‌آید؟'
        ))
      

        <DependencyGraph
        with 8 nodes>
      

درخت تحلیل نحوی

نصب

هضم، یکی از بسته‌های زبان پایتون است و با این دستور نصب می‌شود:

pip install hazm

توجه کنید که برچسب‌زن صرفی و تجزیه‌گر نحوی نیاز به مدل‌های آموزش‌دیده دارند. ما این مدل‌ها را هم آماده کرده‌ایم، می‌توانید آنها را دریافت کنید و در پوشه‌ای با عنوان resources در پروژه خود قرار دهید. البته رویه‌های آموزش و ارزیابی مدل‌ها هم جزئی از کد هستند.

برای نصب روی ویندوز، لازم است ویژگی WSL را فعال کرده و با اجرای دستور زیر، پایتون را برای نصب هضم آماده کنید:

sudo apt install python-pip

اجازه‌نامه

شما می‌توانید مطابق اجازه‌نامه، از این محصول در هر نوع پروژه‌ای از جمله تحقیقاتی یا تجاری استفاده کنید. فقط توجه کنید که اجازه‌نامه هضم تنها مربوط به کدهای این پروژه است و برای استفاده از مدل‌های آماده شده باید به مجوز داده‌های مورد استفاده در آموزش آنها مراجعه کنید؛ که خب هیچ‌کدام اجازه استفاده تجاری را نمی‌دهند :(

آخرین تغییرات

۲۰ مهر ۹۷

واسط استفاده از داده‌های قرآن، ویکی‌پدیا، پرسیکا، سنتی‌پرس و تی‌نیوز
تحلیل زبان محاوره به صورت آزمایشی
امکان یکسان‌سازی اعداد، لینک‌ها و هش‌تگ‌ها
ابزار تقطیع واژه‌های به‌هم‌پیوسته
اضافه شدن استاپ‌وردها
ارتقای ابزار تمیز کردن متن

۲۹ اسفند ۹۳

واسط استفاده از برچسب‌زن Wapiti
آموزش تجزیه‌گر سطحی روی دادگان
دقت برچسب‌زن صرفی: 97.1%
دقت تجزیه‌گر سطحی: 89.9%

۲۵ آذر ۹۳

تجزیه سطحی مبتنی بر قاعده
مبدل درخت تجزیه وابستگی به تجزیه سطحی
واسط استفاده از داده‌های تری‌بنک
واسط استفاده از داده‌های فرهنگ ظرفیت فعل

۶ شهریور ۹۳

افزودن کسره اضافه به برچسب‌های صرفی
آموزش برچسب‌زن صرفی روی پیکره
واسط استفاده از داده‌های پیکره و دادگان
دقت تجزیه‌گر نحوی: 85.2%

۲۱ تیر ۹۳

نسخه جدید فهرست واژه‌های ویراستیار
جایگزینی علامت نقل قول و ممیز
سازگاری با نسخه جدید NLTK
اجرای تست‌ها در پایتون ۲

۲۳ آذر ۹۲

آموزش برچسب‌زن صرفی روی بی‌جن‌خان
آموزش تجزیه‌گر نحوی روی دادگان
واسط استفاده از داده‌های همشهری و بی‌جن‌خان
دقت برچسب‌زن صرفی: 96.6%
دقت تجزیه‌گر نحوی: 83.3%

سپاس

از مشارکت مجتبی خلاش و محسن ایمانی
از پروژه ویراستیار برای فراهم کردن فهرست واژه‌ها
از مرکز تحقیقات کامپیوتری علوم اسلامی (نور)
از حمایت گروه راهبردی خاک