مقالهٔ Next-Concept Modeling روشی به نام NCM برای تولید متن از کلیات به جزئیات معرفی می‌کند. این framework به‌جای تولید متن در یک سطح ثابت، از ساختاری چندسطحی استفاده می‌کند و تولید را درون هر سطح به‌صورت موازی انجام می‌دهد.
نویسندگان مسئله را از محدودیت‌های Diffusion Language Model یا DLM شروع می‌کنند. این modelها با sampling موازی، امکان تولید سریع‌تر نسبت به modelهای Autoregressive را فراهم می‌کنند؛ مزیتی که با افزایش سهم inference از محاسبات اهمیت پیدا می‌کند. اما طبق چکیده، کیفیت DLMها با کاهش تعداد مرحله‌های sampling به‌سرعت افت می‌کند، در هر مرحله کل sequence را پردازش می‌کنند و برای رسیدن به کیفیت مناسب به عبورهای متعدد از dataset نیاز دارند.
NCM دو مرحله دارد: ابتدا یک multiscale residual VQ-VAE متن را به سلسله‌مراتبی از discrete codeها تبدیل می‌کند. سپس یک transformer هر بار یک سطح از این سلسله‌مراتب را تولید می‌کند و همهٔ discrete codeهای همان سطح را به‌صورت موازی پیش‌بینی می‌کند. بنابراین، ترتیب تولید میان سطح‌ها حفظ می‌شود، اما تولید درون هر سطح موازی است.
در مقیاس‌های برابر از نظر تعداد parameter، نویسندگان روی LM1B مقدار Generative Perplexity بهتری نسبت به قوی‌ترین DLM مبنای مقایسه گزارش کرده‌اند؛ درحالی‌که NCM با سرعت ۲۱ برابر اجرا شده است. روی OpenWebText، کیفیت آن با قوی‌ترین DLM رقابتی بوده و سرعت ۱۰ برابر گزارش شده است. در XSum نیز NCM به ROUGE-L برابر با قوی‌ترین DLM رسیده، درحالی‌که ۳۱ برابر سریع‌تر بوده است.
مقاله همچنین یک آزمون reasoning با Sudoku دارد. طبق چکیده، NCM در همهٔ سطح‌های دشواری از مبناهای Autoregressive و diffusion بهتر عمل کرده و به تعداد کمتری function evaluation نیاز داشته است. این اعداد نتایج آزمون‌های مشخص مقاله‌اند؛ چکیده ادعای برتری یکسان در همهٔ کاربردهای تولید متن ندارد.
