충남 홍성(洪城) 사람이다.
1905년 서울로 올라와 대한제국무관학교(大韓帝國武官學校)를 졸업하고 고향으로 내려가서 가산을 팔아 호명학교(湖明學校)를 설립하고 지방 청년자제들에게 신학문을 교육시켰다.
1907년 다시 상경하여 노백린(盧伯麟)·윤치성(尹致晟)등과 함께 조직적으로 구국운동을 전개하기 위하여 홍성(洪城)에 대한협회지부(大韓協會支部)를 설치하고 민중의 계몽에 노력하는 한편 기호흥학회(畿湖興學會)를 창설하여 지방에 있는 유능한 자제를 뽑아 서울에 유학케 하였다.
1908년에는 오성학교(五星學校) 교감을 지내고 청년학우회원(靑年學友會員) 및 한성신보(漢城新報)이사로서 민족정신의 고취에 진력하였으며, 1910년에 일제가 한국을 강점하였을 때에는 이창양행(怡昌洋行)이란 무역회사를 설립하여 항일독립운동가들의 집합처로 삼는 한편 남북만주와 연락하는 비밀기관으로 하였다.
1915년에는 노백린·신현대(申鉉大)·윤홍중(尹洪重)·박성태(朴性泰)·기명섭(奇明燮)·김홍두(金弘斗) 등과 함께 박상진(朴尙鎭)이 주도한 대한광복회(大韓光復會)에 참가하여 국내 각지를 통하여 항일운동에 맹렬한 활동을 전개하던 중 일경에게 체포되어 서대문(西大門)감옥에서 3년간 옥고를 치렀다.
1917년 출옥하자 일경들은 또다시 그를 체포하려고 하였으며, 이에 두만강을 건너 만주로 망명하였다.
1919년초 3·1독립선언서의 전주곡인 대한독립선언서(大韓獨立宣言書)를 서 일(徐一)·여 준(呂準)·정 신(鄭信)·유동열(柳東說)·신팔균(申八均) 등 38인과 함께 서명하여 발표하였으며, 동년 8월 7일에는 서 일·현천묵(玄天默)·계 화(桂和)·이장녕(李章寧)·김규식(金圭植)·이범석(李範奭)·조성환(曺成煥)·박성태·정 신·김찬수(金燦洙)·박두희(朴斗熙)·홍충희(洪忠熹)·이홍해(李鴻來)·윤창현(尹昌鉉)·나중소(羅仲昭)·김 성(金星) 등과 함께 정의단(正義團)을 근본적으로 개편하여 임전태세의 군정부(軍政府)를 편성하고 그는 북로사령부 제2연대장겸 간북총판국(墾北總辦局) 재무참사(財務參事)로 일하였다.
그후 동년 12월에 북로군정서(北路軍政署)라고 개칭하고 진용을 정비할 때에 총사령관으로서 총재 서 일을 보필하는 한편, 왕청현십리평(汪淸縣十里坪)에 사관연성소(士官鍊成所)를 설치하고 400명의 독립군 간부를 양성하는 데 온 힘을 다하였다.
1920년에는 제1차 세게대전시 「시베리아」에 출병했던 「체코」군대의 특별한 호의로 동북만주의 독립군 부대는 노령해삼위(露領海蔘威)에서 무기를 구입하여 완전한 무장을 갖추고 많은 군자금과 무기를 확보하게 되었다. 이 사실을 탐지한 일본육군성(陸軍省)은 중국 군벌 장작림(張作霖)에게 압력을 가하는 한편 「시베리아」에 출병하였다가 남하하는 일본군 제19사단과 나남(羅南) 제20사단에 명령하여 북로군정서를 협공하게 하였다.
이에 그는 장백산(長白山)중으로 들어가서 좀더 독립군의 실력을 양성하기 위하여 왕청현(汪淸縣) 서대파구(西大坡溝) 청산리(靑山里)에 이르렀을 때 일본군 3대대가 무산(茂山)으로부터 습격해 온다는 정보를 듣고 곧 임전태세를 갖추어 10월 18일에 청산리 백운평(白雲坪) 전방 삼림속 유리한 전투지점에 독립군을 매복시키고 일본군의 내습을 대기하고 편의대(便衣隊)로 하여금 적의 병력을 정확하게 파악하는 한편 적진 부근의 교포를 시켜 독립군의 병력은 미약하고 투지가 없다는 정보를 흘려 적으로 하여금 독립군을 경시하게 하였다.
그리고 독립군을 2개중대로 편성하여 제1중대는 그가 직접 지휘하고 제2중대는 연성대장(鍊成隊長) 이범석(李範奭)이 지휘하게 하였다.
일본군은 독립군의 병력이 보잘 것 없다는 말을 듣고 동월 20일 의기양양하게 청산리를 3면으로 포위하고 기병대 일부를 가지고 대담하게 아무 저항도 받지않고 백운평 삼림으로 진입하였다.
이때 그는 주도면밀한 작전지휘로 백운평 전방에 매복한 독립군에게 일제 사격을 명령하여 적의 전위부대를 전멸시켰으며 계속적인 전투를 통하여 일본군 가납(加納) 연대장을 비롯하여 3,300여명을 섬멸하는 커다란 승리를 거두었다. 이는 소수의 병력으로 10배가 넘는 일군을 물리친 전사상(戰史上) 보기 드문 대승리였다.
그는 이곳 주민들의 안전을 도모하기 위하여 부하들을 인솔하고 밀산(密山)으로 이동, 밀산에 집결한 10개의 독립운동단체를 통합하여 대한독립군단(大韓獨立軍團)을 결성하고 부총재에 취임하였다.
1921년에는 전 독립군을 인솔하고 노령(露領) 이만으로 건너갔다가 뒤에 자유시(自由市)로 다시 이동했으며 1922년에는 소련당국의 배신으로 자유시참변을 겪게 되었다. 이후 북만주 영안(寧安)으로 탈출하여 1925년 3월 15일에는 김 혁(金赫)·최 호(崔灝)·나중소(羅仲昭)·조성환·박성태·유정근(柳正根)·허 빈(許斌)·정 신·이일세(李一世) 등과 함께 전 북로군정서 정신에 입각한 신민부(新民府)를 조직하였으며, 그는 군사부 위원장겸 총사령에 선임되었다. 그리고 목릉현(穆陵縣) 소추풍(小秋風)에 성동사관학교(城東士官學校)를 설립하고 부교장으로서 교장 김 혁 등과 아울러 독립군 간부양성에 전력을 다하였다.
동년 10월 10일에는 상해(上海)의 임시의정원(臨時議政院)에서 그를 임시정부 국무원(國務員)에 임명하였으나 사양하여 취임하지 않고 계속하여 만주에서 독립군을 양성하며 대일 항쟁에 전력을 기울였다.
1927년 2월 신민부 본부가 일본 경찰의 급습을 받아 중앙집행위원장 김 혁 이하 12명의 간부가 체포되니, 그는 신민부를 재정비하고 중앙집행위원장에 취임하여 신민부를 통할하는 한편 중국구국군사령관(中國救國軍司令官) 양우일(楊宇一)과 회담하여 일본군을 격퇴하기 위한 공동전선을 취하기로 합의하고 동년 8월에 중국 국민당 동삼성공작책임자 공패성(貢沛誠)·장령(將領) 악유준(岳維峻)·사가헌(史可軒) 등과 회동하여 한·중 연합군(韓中聯合軍)을 조직하고 일본군을 섬멸할 계획을 세우던 중 일제의 압력을 받은 장작림(張作霖)이 공패성·사가헌·악유준 등을 체포하고 탄압함으로써 좌절되었다.
1928년에는 참의부(參議府)·신민부·정의부(正義府)의 3개 단체통합을 위하여 전력을 다하였으나 각 단체의 이해 관계로 실패하고 혁신의회(革新議會)만을 구성하였다.
1929년에는 정 신·민 무(閔武)·김종진(金宗鎭)·이을규(李乙奎)·유운초(劉雲樵)·한규범(韓奎範)·이종주(李鍾柱)·조각산(趙覺山)·이 달(李達) 등과 함께 중동선(中東線) 일대에서 한족총연합회(韓族總聯合會)를 조직하고 주석(主席)에 취임하여 독립운동을 전개하는 한편 영안현 일대의 동포들의 생활안정을 위하여 중동선 산시역(山市驛) 부근에 정미소를 설치하고 동년(음) 12월 25일 정미소에서 작업을 하던 중 공산주의자로 전향한 종전의 부하이며 일제 고등경찰에게 포섭되었던 김일성(金一星)의 교사를 받은 고려공산당(高麗共産黨) 청년회원이며 재중청년동맹원(在中靑年同盟員)인 박상실(朴尙實)이 등뒤에서 쏜 흉탄을 맞고 순국하였다.
"할 일이……할 일이 너무도 많은 이때에 내가 죽어야 하다니…그게 한스러워서…" 이 민족의 큰 별이던 그는 이 뼈아픈 한마디를 남기고 세상을 떠났으니 참으로 분하고도 원통한 일이었다.
정부에서는 고인의 공훈을 기리기 위하여 1962년에 건국훈장 대한민국장을 추서하였다.