황해도 해주(海州) 백운방(白雲坊) 기동(基洞)에서 김순영(金淳永)의 외아들로 태어났다.
1893년 정초에 동학교도 오응선(吳膺善)을 찾아가 종지(宗旨)를 듣고 동학(東學)에 입도한 후 이름을 창수(昌洙)라 개명하였다. 같은 해 말에 황해도 도유사(都有司)의 한 사람으로 뽑혀 충북 보은(報恩)에서 최시형(崔時亨)을 만났다.
1894년 4월 초에는 팔봉 접주(八峰接主)로 임명되었으며 9월에는 동학군의 선봉장이 되어 해주성(海州城)을 공략하여 탐관오리들을 추방하려고 했으나 불행히 관군에게 패하고 말았다. 동학의 기강이 점점 무너져 규율을 잃고 백성의 원망을 사게 되자 백범은 연소한 몸으로 이를 수습하기 어려움을 깨닫고 신천군(信川郡)에 사는 안태훈(安泰勳 진사(進士)를 찾아가 몸을 의탁하였다. 당시 그의 아들인 안중근(安重根) 의사(義士)는 16세로 그의 부친을 따라 정병을 이끌고 동학군 토벌에 전념하고 있었던 것이다. 또한 그 곳에서 당시에 명망이 높은 해서 거유(海西巨儒) 고능선(高能善)을 만나 그의 지도를 받았다.
1895년 명성황후(明成皇后) 시해 사건이 발생하였고 이듬해 2월에 안악군(安岳郡) 치하포에서 우연히 편의(便衣)를 입은 일본군 한 사람을 만나게 되었는데 그 자는 토전양량(土田讓亮)이라는 일본군 중위였다. 백범은 그 자를 발견하자 격분을 참을 길이 없어 그 자리에서 그 자가 차고 있던 칼을 빼앗아 그를 찔러 죽이고, ""국모(國母)의 원수를 갚으려고 이 왜놈을 죽였노라""는 포고문을 길거리 장벽(墻壁) 위에 대서특필하고 자기 성명과 주소까지 명백히 기입해 놓은 뒤 유유히 그 곳을 떠났다. 그 뒤 5월 11일 집에서 체포되어 해주옥에 구금되었으며 7월 초 인천감리영으로 이감되었다. 그리하여 1897년 7월에 사형이 확정되었고, 다음 달 광무황제(光武皇帝)의 특명으로 사형 직전에 집행정지령이 내려짐에 따라 생명을 건질 수 있었다.
1898년 3월 9일에 탈옥하여 전국을 방랑하다가 늦가을에 공주 마곡사(公州 麻谷寺)에 들어가 삭발하고 중이 되었으며 법명은 원종(圓宗)이라 하였다.
1899년 늦가을에 환속하여 고향에 돌아온 뒤 이름을 김두래(金斗來)로 고치고 다시 방랑길에 올랐다. 그 뒤 무주 유인무(柳仁茂)의 집에 머무르면서 이름을 구(龜), 자를 연상(連上), 호를 연하(連下)로 고쳤다.
1905년 을사조약(乙巳條約)이 강제로 체결되자 이준(李儁)·이동녕(李東寧) 등과 함께 구국운동에 앞장섰다. 그 이듬해에 해서교육회(海西敎育會) 총감(總監)이 되어 학교 설립을 적극 추진하였으며 황해도 서명의숙(西明義塾)에서 교원생활을 하였다.
1908년 독립지사들의 비밀 결사 조직인 신민회(新民會)에 가입하여 맹렬한 구국운동을 전개하였다.
1909년 10월에 송화군(松禾郡)으로 강연을 나갔다가, 때마침 안중근 의사가 하얼빈에서 이등박문(伊藤博文)을 살해하고 난 직후였으므로 공모의 혐의를 받아 다시 투옥되어 몇 달 후 해주(海州) 지방법원으로 이송되었다. 그러나 증거 불충분으로 불기소 석방되었다.
1910년 국권이 침탈되자, 신민회 간부들과 함께 양기탁(梁起鐸)의 집에 모여 비밀 결사 회의를 갖고 이동녕(李東寧)·안창호(安昌浩)·이시영(李始榮)·안태국(安泰國) 등 여러 애국 영수들과 대계를 공모, 이동녕을 비롯하여 이시영 일가는 중국 남만주(南滿洲)에 가서 독립을 위한 전초기지를 마련하기로 하고 양기탁, 백범은 기부금 모집의 책임을 맡아 동분서주하였다.
1911년 일본 경찰은 소위 보안법을 적용하여 신민회원들을 일망타진하게 되는데 이에 따라 백범도 2년형을 선고받고 수감 중, 안명근(安明根)의 ""사내총독(寺內總督) 암살사건""의 계획이 탄로되자 이 사건에도 관련되었다고 하여 15년형을 선고, 17년형의 징역을 선고하였다. 그 후 일제의 명치(明治) 천황 부처가 연달아 죽게 되자 두 번이나 감형되고 그 후 다시 몇 번의 경전(慶典)으로 감형되어 5년 후인 1915년에 출옥하게 되었다.
1919년 3.1 만세 시위 사건에 가담한 뒤, 상해(上海)로 망명하여 이동녕을 만나 임시정부의 경무국장에 취임하였다.
1924년 4월 9일 임시정부의 국무총리 대리로 임명되었으며 1926년 12월에는 임시정부의 원수(元首) 국무령(國務領)에 취임하였다.
1927년에는 헌법을 개정하여 임시정부를 위원제로 고치고 국무위원에 취임하여 조국 광복을 위해 동분서주하였다. 그러나 이때부터 임시정부는 일본의 극심한 탄압과 젊은 층들의 맹목적인 마르크스·레닌주의에의 심취와 자금난으로 그 기강이 차츰 흔들리기 시작하여 피치 못할 시련을 겪게 되었다.
1928년에 이동녕·이시영과 함께 한국독립당(韓國獨立黨)을 조직하여 민족 진영의 단합을 꾀하였다.
1930년 국무령(國務領)에 재선되었으며, 1931년에는 한인애국단(韓人愛國團)을 조직하고 그 단장에 취임하였다. 한인애국단은 무력적인 행동이 없이는 한국 민족의 광복을 달성할 수 없으며 최소의 역량으로 최대의 효과를 거두는 수단과 방법이 아니고는 한국민족이 영원히 일본 제국주의의 침략과 탄압에 항거하는 백성이라는 사실을 세상에 호소할 길이 없다는 불굴의 신념 하에 조직되었다. 그리하여 1932년 1월에 한국애국단에 가입한 이봉창(李奉昌)을 동경(東京)으로 파견하여 일본 왕를 저격하려 하였으나 실패하였으며 이봉창은 10월 10일 일제의 단두대에 피를 뿌리고 순국하였다. 그 뒤 4월 29일 윤봉길(尹奉吉)로 하여금 상해 홍구공원(虹口公園)에서 일본 왕의 생일을 경축하기 위한 기념식장에 폭탄을 던지게 함으로써 세상을 깜짝 놀라게 하였다. 윤봉길 의거 후 신변이 위험해지자 임정요인들과 함께 강소성(江蘇省) 가흥(嘉興)으로 피신하여 지냈다.
1933년 5월에는 중국의 장개석(蔣介石) 총통(總統)을 만나 낙양군관학교(洛陽軍官學校)를 광복군 무관양성소로 할 것을 결정한 뒤, 조국의 독립을 위한 독립지사들의 군사교육을 시켰다.
1935년 11월 가흥(嘉興)에서 임시의정원 비상회의를 열어 기구를 강화한 뒤 국무위원으로 재선하였으며 이동녕·조경한(趙擎韓)·차이석(車利錫) 등과 함께 한국국민당(韓國國民黨)을 창당하였고, 임시정부는 진강(鎭江)으로 옮기게 되었다.
1938년에는 민족주의 삼당(三黨) 통합문제를 논의하던 남목청(南木廳)에서 조선혁명당원 이운한(李雲漢)의 총격을 받아 1개월 동안 입원, 가료하였으며 중일 전쟁 발발로 임정을 진강(鎭江)에서 장사(長沙)로, 다시 광동(廣東)으로, 또다시 유주(柳州)로 옮겨 다녔다.
1939년 다시 장사(長沙)로 옮겼으나 이곳이 위험해지자 광주(廣州)로 갔다가 장개석 총통의 도움으로 중경(重慶)으로 옮긴 뒤 임시정부 주석(主席)의 자리에 취임하였다.
1940년에는 중경에서 광복군 총사령부의 성립식을 거행하였으며, 임시정부는 기강으로 옮긴 뒤, 5월 전당대회를 개최, 각 단체를 통합하여 한국독립당(韓國獨立黨)을 창당하고 그 집행위원장에 취임하였다. 또한 군사특파단(軍事特派團)을 섬서성(陝西省) 서안(西安)에 상주케 하여 무장부대 편성에 주력하였다. 같은 해 9월에 임시정부를 기강에서 다시 중경으로 옮긴 뒤, 임시정부의 임시약헌 개정과 더불어 국무위원회 주석으로 선출되었다.
1942년에는 임시정부와 중국정부 사이에 광복군에 대한 정식협정이 체결, 공포됨에 따라 대일항전에 진력을 다하였으며 연합군과 함께 중국 각지에서 많은 활동을 전개할 수 있도록 정치적 기반을 만들어 주었다.
1944년 4월에는 개정된 헌법에 따라 다시 주석(主席)으로 임명되었으며, 섬서성 서안(陝西省西安)과 안휘성(安徽省) 부양(阜陽)에 광복군 특별훈련단을 설치하고 미국의 원조로써 본토 상륙을 위한 군사기술 훈련(oss훈련)을 적극 추진, 지휘하였으나 1945년 8월 15일 일본이 항복함에 따라 실현되지는 못하였다.
1945년 11월 23일 임시정부 국무위원 일동과 함께 환국하여 모스크바 삼상회의(三相會議)에서 결의된 신탁통치에 대한 반탁 국민운동을 적극 추진하였으며, 1946년 2월 비상국민회의가 조직되자 부총재에 취임하였다.
1947년 1월 비상국민회의(非常國民會議)가 국민의회로 개편되어 부주석(副主席)에 취임하였으며 5월 제2차 미소공위(美蘇共委)가 열리자 반탁 투쟁위원회의 활동을 이승만(李承晩)과 함께 추진하였으며, 11월에는 유엔 감시 하의 남북선거에 의한 정부 수립 결의안을 지지하였다.
1948년 4월 19일에는 남북 협상차 평양에 갔다 왔다. 1949년 6월 26일 경교장(京橋莊)에서 하수인 안두희(安斗熙)의 흉탄에 맞아 서거하였다.
정부에서는 이와 같은 고인의 공훈을 기리기 위하여 1962년에 최고 명예훈장인 건국훈장 대한민국장을 추서하였다.