לאחר מאורעות תרפ"ט (1929)והטבח בחברון ובצפת, התגלעו חילוקי דעות בארגון ה"הגנה" בשאלת הדרכים להתמודדות עם הטרור הערבי. באביב 1931 פרשה קבוצת חברים בראשותו של אברהם תהומי ("גדעון"), מפקד ה"הגנה" במחוז ירושלים והקימה ארגון מקביל שנקרא תחילה "ארגון ב'" או "הגנה ב'" ובהמשך נקבע שמו "הארגון הצבאי הלאומי בארץ ישראל" – האצ"ל.

בשנותיו הראשונות (1931–1937) עסק הארגון בעיקר בגיוס חברים ובאימונם, ברכישת אמצעי לחימה ובהיערכות למניעת התקפות של כנופיות ערביות על היישוב היהודי. ב־1936 נחתם בפריז הסכם בין אברהם תהומי מפקד האצ"ל, לבין זאב ז'בוטינסקי ראש בית"ר, יו"ר מפלגת הצה"ר (הסתדרות הציונים הרוויזיוניסטים) ונשיא הצ"ח (הסתדרות ציונית חדשה). לפי הסכם זה קיבל תהומי את הפיקוד על הארגון מידי זאב ז'בוטינסקי כדי לנהלו ברוח הוראותיו. כך הפך ז'בוטינסקי להיות מצביא האצ"ל