ظهور خوارج در زمان خلافت حضرت علی رضی الله عنه و حضرت معاویه بن ابی سفیان رضی الله عنه در جریان جنگ صفین (۳۷هـ/۶۵۷م) آغاز شد.
هنگامی که در پایان جنگ، میان حضرت علی کرم الله وجهه و معاویه رضی الله عنه تصمیم به حکمیت (مذاکره) گرفته شد؛ گروهی از لشکر حضرت علی کرم الله وجهه جدا شدند و حکمیت میان آن دو را غیر اسلامی خواندند، آنان بر این باور بودند که تنها الله جل جلاله حق قضاوت را دارد و میانجی‌گری میان انسان‌ها مخالف حاکمیت الله جل جلاله است؛ به همین دلیل، شعار “لا حکم الا لله” را سر دادند.
این گروه به نام “خوارج” مشهور شدند (کلمه خوارج از “خروج” گرفته شده که به معنی بغاوت و جدایی است).
سپس آنها در برابر حضرت علی کرم الله وجهه و معاویه رضی الله عنه موضع گیری اتخاذ کردند و بر این عقیده بودند که هرکس با تصمیم حکمیت موافق باشد، کافر است و از اسلام خارج میباشد.
آنان به خاطر تشکیل حکومت مستقل تلاش های زیادی نمودند، و در عراق، فارس و دیگر مناطق شورش‌های مسلحانه به راه انداختند، زمانیکه حضرت علی کرم الله وجهه با شورش‌های آنها روبرو گردید؛ عملیات نظامی علیه خوارج را آغاز کرد.
در سال ۳۸ هجری، در منطقه نهروان گروه بزرگی از خوارج جمع شدند، حضرت علی کرم الله وجهه در برابر آنان جنگید، و این جنگ به نبرد نهروان معروف شد، در این نبرد بسیاری از خوارج کشته شدند و فتنه آنها تا حدی کنترل شد، اما برخی از آنان بعداً به شکل گروه‌های کوچک فعالیت خود را ادامه دادند.
حضرت علی کرم الله وجهه شورش‌های اولیه خوارج را سرکوب کرده بود، اما خوارج به‌طور کامل از بین نرفته بودند؛ آنها در خلافت اموی نیز فعال بودند و مخالفت شدید با خلفای اموی داشتند.
در دوره خلافت مذکور، خوارج چندین بار در مناطق مختلف علیه خلفای اموی شورش و بغاوت کردند، به ویژه در مناطق عراق، فارس و جزیره؛ دلیل اصلی بغاوت آنها این بود که حکام اموی ظالم اند و از روح اسلام واقعی منحرف هستند.
خوارج به ویژه در زمان خلافت عبدالملک بن مروان و حجاج بن یوسف بسیار فعال بودند. حجاج بن یوسف، که والی و فرمانده مهم امویان بود، بارها علیه خوارج جنگ‌های شدیدی کرد و شورش‌های آنان را به شدت سرکوب نمود.
در اوایل خلافت عباسی نیز خوارج فعال باقی ماندند، به ویژه در مناطق دورافتاده.
آنان شورش‌هایی علیه خلفای عباسی را آغاز کردند و تهدید جدی برای ثبات خلافت اسلامی به شمار می‌رفتند.
خلفای عباسی تلاش می‌کردند که علیه گروه‌های یاغی خوارج مبارزه کنند و شورش‌های آنان را سرکوب نمایند، اما خوارج برای مدت طولانی به عنوان مشکلی جدی و تهدیدکننده باقی ماند. در این دوران، آنان چندین بار در عراق، جزیرةالعرب، یمن، فارس و شمال افریقا علیه مسلمانان شورش کردند.
در دوره خلافت عثمانی، خوارج به صورتی که در اوایل تاریخ اسلامی فعالیت داشتند، دیگر وجود نداشتند؛ زیرا با گذشت زمان، قدرت سیاسی و نظامی آنها کاهش یافت و نفوذشان در جهان اسلام به شدت محدود شد.
آنان در دوره خلافت مذکور اهمیت خود را به عنوان یک گروه سیاسی از دست دادند، در این دوره، چالش‌های اصلی مذهبی و سیاسی بیشتر به اختلافات سنی و شیعه، رقابت‌های صفوی و عثمانی و اصلاحات داخلی و تجددگرایی مربوط بود، نه به مسائل فتنه خوارج.
و این احتمال وجود داشت که گروه‌های نزدیک به خوارج یا افرادی با افکار مشابه با آنان در جوامع کوچک یا دورافتاده وجود داشته باشند، اما در جغرافیای وسیع سیاسی و مذهبی خلافت عثمانی، نقش قابل توجهی نداشتند.
