در طول اشغال عراق، مسلمانان سنی از یک سو با رژیم حاکم و نیروهای ناتو در جنگ بودند و از سوی دیگر، با شیعیان مقیم عراق که از اشغال حمایت می‌کردند، درگیر بودند. اهل سنت نیز به گروه‌های مختلف تقسیم شده بودند اما خوشبختانه هیج اختلافی بین خود نداشتند بلکه همه گروه‌ها به جهاد علیه اشغال مشغول بودند.
ابو مصعب الزرقاوی، مجاهد اردنی رهبری سنی‌ها را به عهده داشت، ابو مصعب قصد داشت دولت اردن را سرنگون کند که سازمانی به نام جماعت التوحید و الجهاد را تأسیس کرد، این سازمان تا سال ۲۰۰۶ میلادی فعال بود.
ابو مصعب الزرقاوی برای اولین بار در سال ۲۰۰۴ میلادی در عراق ظاهر شد. او به دلیل کارنامه‌های فوق‌العاده و حملات گسترده علیه آمریکا خیلی زود به شهرت رسید، ابو مصعب این وظیفه مقدس جهاد را تحت رهبری القاعده انجام می‌داد.
اما قبل از اینکه درباره ابو مصعب الزرقاوی و پیوستن او به القاعده صحبت کنیم؛ در نخست القاعده را روی دست می‌گیریم و آن را تعریف می‌کنیم.
جنگ اسرائیل و فلسطین در خاورمیانه به‌ویژه اشغال بیت‌المقدس، مسلمانان عرب را به سوی جهاد سوق داد و بسیاری از مردم کشورهای عربی به دلیل عدم حمای حاکمان شان از فلسطینی‌ها، به مخالف دولت‌های‌شان پرداختند، بسیاری از جوانان‌شان برای جهاد به فلسطین رفتند و با اسرائیل جنگیدند.
در سال‌های ۱۹۸۸_۱۹۹۰ میلادی چون مجاهدین در برابر تهاجم شوروی در افغانستان قربانی دادند و موفقیت را به دست آوردند، اسامه بن لادن رحمه‌الله، مجاهد عرب همه مجاهدین عرب را در سازمانی به نام القاعده جمع کرد، مجاهدین عرب به افغانستان آمدند و در جهاد علیه روسیه شرکت کردند.
القاعده به رفع نیازهای مجاهدین افغان کمک کرد، به مجاهدین افغان مهارت‌های رزمی و نظامی آموزش می‌دادند. خلاصه اینکه القاعده در شکست دادن به اشغال جماهیر شوروی سابق نقشه کلیدی داشت و به همین دلیل شهرت جهانی یافت.
پس از شکست تهاجم شوروی اسامه بن لادن و بسیاری دیگر از مجاهدین عرب از افغانستان به عربستان سعودی بازگشتند، اما پس از مدتی اختلافات عمیقی بین اسامه بن لادن و خانواده سلطنتی به‌وجود آمد که در نتیجه بن لادن رحمه‌الله از عربستان به سودان مهاجر شد.
او در سودان اردوگاه‌هایی را برای آموزش مجاهدین ایجاد کرد و جوانان را با عقیده مقدس جهاد تربیت کرد، اما زمانی که جنگ داخلی در افغانستان شروع شد، اسامه بن لادن برای پایان دادن به اختلافات بین مجاهدین به افغانستان بازگشت، در همان زمان تحریک طالبان در افغانستان قیام کرد، به شر و فساد پایان داد و بنیاد امارت اسلامی را در افغانستان ایجاد کرد.
پس از حادثه ۱۱ سپتامبر در نتیجه اشغال آمریکا، امارت اسلامی منهدم شد و ایالات متحده خاک افغانستان را اشغال کرد و اسامه بن لادن به پاکستان مهاجر شد که سپس در حمله‌ای توسط ایالات متحده آمریکا به شهادت رسید.