宋代自赵匡胤开国以来，一直举行对外屈辱、专力防内的政策，政权、财权和兵权高度集于中央，封建压迫非常厉害。特别是北宋末年，由于推行上述政策，导致土地兼并十分剧烈，封建剥削也异常残酷。所以，虽然当时工商业比较发达，人民生活出路较广，社会矛盾仍然相当尖锐，农民起义次数很多。仁宗时代在西夏用兵之后，几十人到数百人的小规模农民起义更是多得不胜枚举。宋江正是在这样一种情势下举起义旗的。
宋徽宗宣和元年（1119年）十二月，他聚集36个人，在京东东路所管辖的黄河以北地区起义，专打社会上的不平，杀富济贫，反抗北宋王朝的残酷统治，引起统治者的恐慌。
起义发生不久，宋徽宗赵佶便诏令京东东路、京东西路提刑督捕之。但由于宋朝军队久不征战，缺乏训练，战斗力极差；又由于宋江“其才过人”，属下的36个人都是强悍猛勇之士，个个英雄，所以，这次征剿不仅没有消灭宋江起义军，反而使其威名远扬。在此后的一年多时间里，宋江等人没有像《水浒传》等文艺作品所描绘的那样，入据八百里水泊梁山替天行道，而是“横行齐魏”，马不停蹄，千里转战于山东、河北一带。宋江率众攻打河朔（泛指今黄河下游南北一带）、京东东路（治青州，今山东省益都），转战于青、齐（今山东省济南）至濮州（今山东省鄄城北）间，攻陷十余郡城池，惩治贪官，杀富济贫，声势日盛。在数万官军的围追堵截中，起义军攻城陷地，机动灵活地打击敌人，虽然人数不多，但却似一把钢刀，令统治者闻风色变，“官军莫敢撄其锋”，成为一支很有影响的农民起义队伍。
宣和二年（1120年）十二月，宋江率部攻打京西、河北等地州县。宋徽宗赵佶闻知，采纳亳州知州侯蒙“赦过招降”的建策，颁旨招安，侯蒙旋卒，此事不了了之，宋徽宗遂命歙州知州曾孝蕴率军往讨。
宋江避其锋，自青州率众南下沂州（今山东省临沂），与官军周旋年余。宣和三年初，转向南攻打沂州（今临沂），战斗打得十分艰苦，结果终因寡不敌众，被知州蒋园率兵击败。二月，起义军继续南下，攻打淮阳军（今江苏邳县西南），接着，占据楚州（今江苏淮安），进入海州（今江苏连云港西南）境内。在这些激烈的战斗中，宋江充分发挥了他的聪明才智和军事才能，指挥若定，谋略过人，战术灵活多变；同时，正如后来元代陈泰在《所安遗集·江南曲序》中所说的那样：“宋之为人，勇悍狂侠”。
宋江作战也很勇敢，身先士卒，带头冲杀，打出了威风，令一些朝廷官吏也不得不承认其有勇有谋。就在同一月里，浙江农民起义首领方腊，也率义军连破处州、秀州（均属浙江），其攻势凌厉，使北宋王朝十分惊恐。为了瓦解、镇压这两股反军，亳州知州侯蒙向宋徽宗上书，道：“宋江以三十六人，横行河朔、京东、官军数万，没有敢抵抗的，说明他必有超过常人的才能。不如赦过招降，让他率兵讨方腊以赎过，或许还能平定东南之乱。”宋徽宗对这个主意十分赞赏，立即下诏给刚刚以徽猷阁待制出任海州知州的张叔夜，令其设法招降宋江。
张叔夜到达海州后，起义军正准备攻城。宋江和起义军副将吴加亮等人，仔细分析了海州滨海的特点和城防情况，决定从海上突破，于是直取海滨，俘获了大型船只10余艘。然而这一切，都被张叔夜所派的侦探窥视到了。张叔夜连忙招募敢死队1千余人，在近城设伏；然后，再派出小股士卒赶往海滨诱战，同时将精兵埋伏在海边。双方开战后，伏兵蜂拥而上，举火烧毁了宋江的船只。宋江虽然率部勇猛拼杀，给敌人以重创，但见船只着火、退路已断，也不免有些慌乱。这时，张叔夜又乘势发动全面进攻，俘虏了吴加亮。宋江在重兵包围之下，痛感大势已去，不得已率部接受招降。
汪应辰《文定集·显谟阁学士王公墓志铭》谓：“河北巨贼宋江者，肆行莫之御。”张守《毗陵集·秘阁修撰蒋圆墓志铭》谓：“宋江啸聚亡命，剽掠山东一路，州县大振，吏多避匿。”《宋史·徽宗纪》上记载宣和三年（1122年），“淮南盗宋江等犯淮阳军，遣将讨捕，又犯京东（今山东），江北，入楚海州界，命知州张叔夜招降之”。《东都事略》中也提到当时的亳州知州候蒙曾向皇帝上书建议：“宋江寇京东，蒙上书，言宋江以三十六人横行齐魏，官军数万，无敢抗者，不若赦江，使讨方腊以自赎，或足以平东南之乱”。《宋史·张叔夜传》所叙最详：“宋江起河朔，转略十郡，官军莫敢婴其锋。声言将至，叔夜使间者頕所向。贼径趋海濒，劫巨舟十余，载卤获。于是募死士得千人，设伏近城，而出轻兵踞海诱之战。先匿壮卒海旁，伺兵合，举火焚其舟。贼闻之，皆无斗志。伏兵乘之，禽其副贼，江乃降。”