충남 홍성(洪城) 사람이다.
1919년 3·1독립운동이 일어나자 3월 7일 홍성(洪城)의 시위군중을 지휘하다가 주동자로 구속되어 수개월동안 옥고를 겪고 동년 6월에 미성년자라 하여 석방되었다. 그후 곧 상경하여 중동중학 속성과(中東中學速成科)에 학적을 두고 지하운동에 전념하다가 1920년 4월 봉천(奉天)으로 망명하여 형인 김연진(金淵鎭)과 같이 내외연락을 하던 중 국내로 무기를 반입하다가 홍경식(洪景植)이 체포되자 동년 가을 다시 북경(北京)으로 피신하였다.
북경에서 홍성 의병이었던 이세영(李世永)과 북로군정서 대표 조성환(曺成煥), 그리고 이회영(李會榮) 등 다수 동지들과 접촉하면서 내외정세를 관망하다가 독립운동가로서의 자신의 교육과 훈련의 필요성을 깨닫고 상해임시정부 법무총장(法務總長) 신규식(申圭植)을 찾아 그의 소개로 운남성 군관학교교도대(雲南省軍官學校敎導隊)에 입대하였다.
그후 교도대 2년, 군관학교 2년반의 교육과정을 밟고 무인으로서의 실력은 물론 정치·경제·사회 각 방면의 지식을 고루 갖추고 1925년 9월에 졸업하였다.
그는 졸업후 곧 상해로 돌아왔는데 이때 독립운동진영은 급변하여 민족주의·공산주의·무정부주의 등 3파로 나누어져 있었다. 그는 그중 무정부주의자들과 의기가 상통하였으며, 실제 독립운동의 근거지인 북만에서 독립운동을 전개하고자 1926년 봄에 남경(南京)·한구(漢口)·무창(武昌) 등지를 돌아다니면서 동지규합에 나섰다. 1927년 10월에 북만으로 가 신민부(新民府)의 지도자이며 족형(族兄)인 김좌진을 방문하였다.
김좌진으로부터 북만의 제반사정을 들은 그는 각 지방의 실정과 적정(賊情)을 살피기 위하여 중동길돈연선(中東吉敦沿線)과 장백(長白)·무송(撫松) 등 일대를 시찰한 뒤 1928년 8월 김좌진에게 전운동조직의 개편과 재훈련, 교민에게 항일반공계몽운동을 전개할 필요성과 아울러 교포와 독립군과의 단결이 긴요함을 건의하였다.
1929년 7월에는 사상계몽단체로 재만조선무정부주의자연맹(在滿朝鮮無政府主義者聯盟)을 조직하고 그 대표가 되었으며, 김좌진의 위탁으로 신민부의 개편정비작업에 착수하였다.
동년 8월에는 교민의 자치단체로서 재만한족총연합회(在滿韓族總聯合會)를 결성하고 일체 조직을 일원화하여 그 조직부 위원장 겸 농무부 위원장에 취임한 후 사상계몽과 적색분자제거, 농민의 집단정착 및 민심의 안정에 주력하였으며, 동년 12월 10일에는 북만 해림(海林)에서 교포자제의 자주 자립정신을 배양하기 위한 민립중학기성회(民立中學期成會)를 전명원(全明源, 일명 李乙奎)·김야운(金野雲)·이강훈(李康勳) 등과 함께 창설하였는데 그 집행위원으로 임명되어 활동하였다.
1930년 봄에는 북경에서 개최된 재중국조선무정부주의자대표대회에 북만대표로 참석하여 북만한족총연합회운동에 참여할 것을 결의케 하였으며, 그 결과 동년 말에 다수 동지가 입만(入滿)하여 민중운동이 크게 활기를 띠게 되었다. 이에 공산주의자들은 크게 위협을 느낀 나머지 1931년 7월 11일 중동선해림역(中東線海林驛)교외로 그를 납치하여 살해하였다.
정부에서는 고인의 공훈을 기리기 위하여 1990년에 건국훈장 애국장(1977년 건국포장)을 추서하였다.