황해도 송화(松禾) 사람이다.
어려서부터 기골이 장대하고 힘이 뛰어나서 장군감이라고 촉망받았다.
고향에서 한문을 배우다가, 상경하여 1895년 관비 유학생에 선발되어 이갑(李甲)·유동열(柳東說)·윤치성(尹致晟) 등과 함께 일본에 건너가 경응의숙(慶應義塾)을 수료하였다.
이어 1898년에 성성(成城)학교를 졸업하고, 다음 해에는 일본 육군사관학교를 우수한 성적으로 졸업하였다.
1900년에 귀국한 그는 육군 참위에 임관되어 한국무관학교 교관이 되어 후진양성에 전념하였다. 그 뒤 정령(正領)까지 승진하였으며, 육군무관학교장, 헌병대장, 육군연성(硏成)학교장, 군부(軍部) 교육국장 등으로 한국군 육성에 주력하였다.
1905년 을사조약이 강제로 체결되면서 기울기 시작한 국권은 1907년 마침내 군대를 해산하기까지에 이르렀다. 그는 실의와 비운을 안은 채 조국의 운명을 안타까워하였으며, 1906년에 안창호 이갑(李甲)·전덕기(全德基)·양기탁·안태국(安泰國)·이동녕·이동휘·조성환·신채호 등과 신민회(新民會)를 조직하여 구국운동을 전개하고, 만주에 독립운동 전초기지를 건설하기 위한 계획을 세웠다.
또한 그는 고향인 송화(松禾)에 민립학교 광무학당(光武學堂)을 설립하고, 이어 1908년에는 김구(金九)·최명식(崔明植)·김홍량(金鴻亮) 등과 함께 해서교육총회(海西敎育總會)를 조직하여 구국교육운동을 계속하였다. 그러나 1910년 일제에 의해 마침내 국권이 침탈되자 미국으로 망명하였다.
1910년 6월 그는 박용만(朴容萬) 등과 하와이 오아후 가할루지방에서 국민군단(國民軍團)을 창설하여 김성옥 허용과 함께 별동대 주임으로서 3백여 명의 독립군을 훈련시켰다.
1919년 3·1독립운동이 일어나고 대한민국 임시정부가 수립되자 동년 4월 10일 군무부 총장에 임명되었으며, 이승만·안창호·박용만·이동휘·김규식과 함께 파리강화회의에 대표로 선발되기도 하였다.
그러나 그는 앞으로의 승리는 하늘을 지배하는 자에게 있다고 확신하고, 1920년 2월 20일 캘리포니아주 윌로우스에 비행사양성소를 설립하였다. 이는 이곳 교포인 김종린(金鍾麟) 등의 적극적인 재정지원으로 이루어졌는데 설립 초기에는 비행기 2대, 미국인 기술자 1인과 비행사 6명을 교관으로 하였으나 생각했던 것만큼 큰 호응을 얻지는 못하였다.
이후 임시정부의 군무총장직에 있으면서, 계속 미국에 머물러 비행학교 육성에 종사하여 1920년 7월에는 제1회 졸업생 25명을 배출하였고 1922년 6월에는 학생이 41명에 달하였으며, 1923년에는 11명의 졸업생을 배출하였다. 비행기도 5대로 늘어났으며, 비행기에는 무선통신장비까지 갖추게 되었다.
한편 그는 미국에 있었으므로 임시정부 군무총장으로서는 별다른 활동을 하지 못하였으나, 1920년 1월에 ""전국민이 광복군 전투 대열에 참가를 당부""하는 군무부포고 제1호를 발표하기도 하였다. 이어서 상해로 돌아온 그는 1921년 2월 국민대표회 문제로 이승만과 안창호가 의견을 달리하게 되자 이의 중재에 나섰으나 별다른 효과는 없었던 것으로 보이며, 안창호와 시국대책을 논의하던 끝에 임시정부가 소련과 연합해야 할 것이라는 토의를 하기도 하였다.
그는 임시정부 군무총장으로서 노태연(盧泰然)·도인권(都寅權)·김훈(金勳) 등 무관학교 출신인 열혈청년들과 함께 일제에 대한 무력항쟁을 주창하는 한편 일반외교 활동을 통하여 조국의 광복을 성취할 수 있도록 노력하였다.
1922년 1월에는 독립운동 선상에서 변심(變心)한 자와 소련 정부로부터 수령한 독립운동 자금을 공산계열의 조직을 위하여 사용한 이동휘(李東輝)·김립(金立) 등을 성토하는 임시정부포고 제1호를 국무총리 대리 신규식(申圭植), 내무총장 이동녕(李東寧), 교통총장 손정도(孫貞道) 등 각료들과 함께 서명하여 발표하였다. 동년 7월에는 국민대표회의 등의 개최에 따른 독립운동 단체의 분규와 알력을 수습하기 위해서 안창호 김덕진(金德鎭)·최일(崔日)·한진교(韓鎭敎)·최창식(崔昌植) 등 주요 인사들과 시사책진회(時事策進會)를 조직하여 통일된 의견과 행동으로 조국광복에 매진할 것을 결의하기도 하였다. 또한 동년 10월에는 군자금 모집을 위하여 군무총장 명의의 격문 등을 작성하여 경북 일원에서 군자금 모집 활동을 벌이던 국내 특파원이 체포되기도 하였는데 이를 의용단사건(義勇團事件)이라고 하였다.
1922년 6월에는 임시정부 대통령 이승만의 지명으로 국무총리 대리로 선출되었으며, 1923년 1월에 정식 국무총리로 추대되어 1924년 4월까지 임시정부를 이끌었다. 1924년 12월에는 대통령대리 겸 국무총리에 박은식(朴殷植)이 추대되고 그는 다시 교통 겸 군무총장에 임명되었으며, 1925년 3월 대통령 이승만이 탄핵 면직되고 후임에 박은식이 당선되자 박은식은 그를 다시 국무총리로 추천하여 의정원의 동의를 거쳐 임명하였으며, 교통 겸 군무총장에 임명되었으며, 1925년 3월 대통령 이승만이 탄핵 면직되고 후임에 박은식이 당선되자 박은식은 그를 다시 국무총리로 추천하여 의정원의 동의를 거쳐 임명하였으며, 교통 겸 군무총장직을 겸직하였다.
이렇게 조국의 독립을 위해서 노심초사하던 그는 상해에서 병을 얻어 1926년 1월 22일 한 많은 일생을 마치게 되니, 임시정부에서는 정부요인 및 학생 등 8백여 명이 참석한 가운데 인성(仁成) 학교에서 성대한 장의식을 거행하고 정안사로(靜安寺路)의 공동묘지에 안장하였다.(1993년 유해봉환, 서울현충원 안장)
정부에서는 고인의 공훈을 기리기 위하여 1962년에 건국훈장 대통령장을 추서하였다.