زياد بود كه مسلمانان را به وحشت افكند؛ و در درون شهر چنان غوغا و هلهله‌اى برپا بود، كه به كثرت جمعيت آنجا گواهى مى‌داد. صلاح‌الدين مدت پنج روز پيرامون شهر گرديد تا ببيند كه بايد جنگ را از كجا آغاز كند، چرا كه شهر داراى برج و بارويى بسيار مستحكم بود. تنها راهى كه به نظرش رسيد از سمت شمال به طرف دروازه عمود يا كليساى صهيون بود.

صلاح‌الدين در طول اين مدت ديوارهاى شمال و شمال غربى شهر را مورد حمله قرار داد، اما تابش نور خورشيد در چشم سپاهيانش به آنان اجازه كار نمى‌داد. اين بود كه پس از پنج روز 20 سپتامبر اردوگاهش را به سمت دروازه عمود واقع در شمال شهر انتقال داد.

مدافعان شهر براى مدت كوتاهى چنين پنداشتند كه صلاح‌الدين دست از محاصره كشيده است. اما در بامداد روز 26 سپتامبر سپاه اسلامى در بالاى كوه زيتون موضع گرفت؛ و مجاهدان راه خدا يكباره يورش آورده فرنگيان را از جا كندند و به درون شهر راندند.

مسلمانان به كانال رسيدند و از آن عبور كرده خود را به ديوار شهر رساندند. نقب‌زنها زير مراقبت سواره نظام دست به كار شدند. «محل نقب نزديك دروازه عمود، در فاصله‌اى اندك از مكانى بود كه گودفرى- كنت لورين- 88 سال پيش از آنجا به شهر حمله كرده بود».

تيراندازان و منجنيق‌افكنان براى پشتيبانى از مهندسانى كه نقب مى‌كندند، پيوسته تير و سنگ مى‌انداختند و فرنگيان را از ديوارها دور مى‌كردند.

در روز 23 رجب شكاف بزرگى در ديوار ايجاد شد. چون نقب‌كنده شد، به وسيله چيزهاى معمول آن را پر كردند. اما با ديدن شدت پيكار مسلمانان و قدرت تيراندازى حساب شده منجنيقها و موفقيت نقب‌زنان براى كندن نقب، خود را در آستانه نابودى يافتند و فرماندهانشان درباره اينكه چه بايد بكنند يا نكنند به رايزنى پرداختند. سپاهيان فرنگ در صدد برآمدند تا تهاجمى سنگين را تدارك ببينند، هر چند كه به قيمت جانشان تمام گردد. ولى در اين ميان فكر شهادت به ذهن بطريق هرقل نرسيد و به سران گفت كه اگر اقدام به چنين كارى كنند شمار بسيارى زن و كودك را از خود به جاى مى‌گذارند كه ناگزير بايد به اسارت و بردگى بروند؛ و او نمى‌تواند اين اقدام ضد دين را تأييد كند. باليان نيز انديشه نابود شدن يكجاى نيروى نظامى را احمقانه خواند و سخن او را مورد تأييد قرار داد.