충남 홍성(洪城) 사람으로 백야 김좌진(白冶 金佐鎭)의 친동생이다. 1920년 6월 서울에서 임시정부 연통제 및 교통국 설치와 관련한 비밀결사 주비단(籌備團)이 조직되고, 소진형(蘇鎭亨)이 단장에 추대되자 이에 가입하여 군자금 모집 등 활동을 벌이다가 동년 말에 일경에 체포되었으나, 증거 불충분으로 1921년 12월에 다행히 면소 석방되었다. 1922년 10월에는 다시 경상도 일대에서 신태식(申泰植)을 단장으로 하여 조직된 의용단(義勇團) 조직에 참가하여 군자금 모집 활동을 하다가 만주로 망명하였다. 1927년 만주에서는 각 독립운동 단체의 통합운동이 한창이었는데, 그는 1928년 1월 김동삼(金東三)이 위원장으로 추대된 군민회의(軍民會議)의 민사위원(民事委員)으로 선임되어 활동하였다. 동년 5월에는 길장연로서방(吉長沿路西方)에 참의부(參議府)·신민부(新民府)·정의부(正義府)의 3부대표가 모여 유일대독립당을 조직하여 각 단체를 통합하는 회의가 있었는데, 그는 김좌진 등과 함께 신민부 대표로 참석하였다. 1929년 초에는 김좌진과 함께 만주 중동현에서 한족연합회를 조직하여 독립운동을 계속하던 중 1937년 7월 7일에 중일전쟁이 일어나자 만주에서 일군에게 포로로 체포되어 국내로 압송되었다. 그리하여 일경에게 모진 고문을 당하는 옥고 끝에 1938년 3월 옥고의 여독으로 순국하였다.
정부에서는 고인의 공훈을 기리기 위하여 1990년에 건국훈장 애족장(1977년 대통령표창)을 추서하였다.