경상북도 성주군(星州郡) 대가면(大家面) 칠봉동(七峰洞)에서 김호림(金頀林)의 아들로 태어났다. 본래의 이름은 창숙이지만 우(愚)라고 개명한 일도 있다. 자(字)는 문좌(文佐), 호는 심산(心山)이지만 일제에 피수(被囚)되어 혹독한 고문을 받아서 앉은뱅이가 되어 벽옹이란 별호(別號)도 붙었다. 성품이 곧아서 평생을 불의·부정·불법과 타협하는 일이 없었으며 누구에게나 자신의 의사를 분명하게 나타내고 규탄을 서슴지 않았다. 심산은 어려서부터 당대에 이름을 날리던 이종기(李種杞)·곽종석(郭鍾錫)·이승희(李承熙)·장석영(張錫英) 등으로부터 유학을 배웠으며, 한주(寒洲) 이진상(李震相)으로부터 시작되는 주리설(主理說)도 전수 받았다. 이러한 성장 과정으로 인하여 심산은 일찍부터 성리학자로서의 길을 닦았다. 그러나 서구근대자본주의와 함께 시작된 개화(開化)와 외국의 것으로부터 내 것을 고수하자는 척사(斥邪)가 국민의 정신적 지주로 받들어지게 되고 동시에 외세(外勢)와 저항이라는 사회변혁 속에서 전통적 유학자의 길에서 나라를 구하고 백성들을 지킬 수 있는 구국부민(救國扶民)으로 태도를 바꾸게 되었다.

심산의 항일독립운동은 1905년 을사조약이 체결되자 스승인 이승희와 함께 상경하여 청참5적소(請斬五賊疏)라는 을사5적의 참형을 요구하는 상소를 올리는데서 시작하였다. 그는 이 일로 말미암아 성주경찰서에서 8개월의 옥고를 치르게 되었다. 출옥 즉시 그는 이승희와 함께 시베리아로 망명하려 하였으나 노모를 두고 떠날 수 없다는 효심(孝心) 때문에 중단하고 계속 국내에서의 항일구국운동을 전개하였다. 나라의 빚을 갚고 자립경제를 함으로써 일본을 물리치자는 국채보상운동(國債報償運動)이 시작되자 그는 이 일에 앞장서서 활동하였으며, 대한협회(大韓協會)의 성주지부(星州支部)를 결성하여 총무로 구국운동을 전개하였다. 한편으로는 유림들의 반대를 무릅쓰고 향리에 사립학교인 성명학교(星明學校)를 세워 민족주의교육을 하였다. 친일 단체인 일진회(一進會)가 한일합병론(韓日合倂論)을 제기하자 심산은 고향인 성주에서 유림들을 모아 이들의 매국행위를 규탄하는 건의서를 연서(連署)로 작성하여 중추원(中樞院)에 제출하고 각 신문에 발표하였다. 이 일로 그는 일경(日警)에 다시 체포되어 옥고를 치렀다.

그러나 마침내 1910년 일제에게 국권이 침탈되자 나라를 잃었다는 생각으로 그는 자포자기의 상태에서 오로지 성리학만을 공부하였다. 그의 학문적 실력은 이때 닦아졌다. 그는 1919년 3·1독립운동이 발발하기 직전인 2월에 총총히 상경하여 민족대표에 유림계(儒林界)가 빠진 것을 통분하며 거족적인 민족운동에 유림계도 적극 참여할 것을 다짐하였다. 다른 기회에 참여키 위하여 그는 영남·호남·호서의 유림중진을 설득하고 파리강화회의에 보내는 독립청원서인 장서(長書)를 작성케 하였다. 이 장서는 그 이외에도 이중업(李中業)·곽대연(郭大淵)·유준근(柳濬根)·김 황(金榥) 등 유림대표 137명이 연서(連署)에 날인하였다. 인쇄되어 국내의 각도 향교 등에도 배포되었으며 원본은 심산이 동년 3월말 휴대하고 중국으로 망명한 뒤 프랑스로 우송케 하였다. 이 결과 제1차 유림단사건이 발생하였고 이로 말미암아 침체되었던 유림계는 한말구국을 위한 척사운동과 의병운동의 전통을 계승하여 독립운동에 적극 참여케 되었던 것이다. 한편 중국으로 망명한 심산은 상해에서 이동녕(李東寧)·이시영(李始榮)·신규식(申圭植)·김 구(金九) 등과 함께 임시의정원(臨時議政院)을 조직하였다. 이에 1919년 4월 25일 임시의정원 제3차회의의 결의에서 도지역별 의원을 선출하는 위원회를 개최, 4월 30일부터 열린 제4차회의에서 심산은 김정묵 등과 함께 의정원 경상도의원으로 선출되었다. 동 5차회의에서 그는 교통위원으로 선출되었으며 부의장직에도 당선되어 구국활동을 위해 혼신을 다하였다. 한편 심산은 그의 유학적 지식을 바탕으로 중화국민당(中華國民黨)의 손 문(孫文)을 비롯하여 오 산(吳山)·서 겸(徐謙)·장병린(章炳麟) 등과 교통하여 한·중공동 항일 운동을 추진토록 하였다. 임시정부를 후원하는 한국독립후원회(韓國獨立後援會)의 조직이 바로 그것이다. 광동의 중국공교회원(中國孔敎會員)인 임복성(林福成)과 교유하면서 그곳 중의원(衆議院)에 나가 연설한 바도 있었다. 따라서 그곳 광동에는 한국독립운동 후원회가 조직되었다. 1920년에는 상해에서 임복성과 함께 한국독립운동을 위한 사민일보(四民日報)를 창간하였으며, 천진(天津)에서는 신채호(申采浩)와 함께 독립운동기관지 천고(天鼓)를 간행하였다. 1923년 1월 민족의 단합을 위하고 임시정부의 새로운 방향을 모색하기 위해 국민대표자대회(國民代表者大會)가 개최되었다. 그러나 참석자들이 창조파(創造派)와 개조파(改造派)로 양분되었고 이때 심산은 창조파의 국민의회대의원으로 추대되었으나 참가하지 않았다. 구국항쟁의 일념에 있던 그는 이때 민족운동의 분열을 우려하여 참가치 않았던 것이다. 1925년 이승만(李承晩) 임시대통령의 위임통치(委任統治) 주장이 문제되자 그는 박은식(朴殷植)·신채호(申采浩) 등과 이를 성토·탄핵하여 이승만을 대통령직에서 파면시켰다.

한편 국내외적 변화에 따른 임시정부의 광복운동이 침체하자 심산은 1924년부터 북경에서 이회영(李會榮)과 상의하여 새로운 독립운동기지로서 동삼성(東三省) 일대에 한인교포들을 모아 집단거주지를 마련하고 이곳에서 산업의 추진, 청장년을 훈련시켜 독립군(獨立軍)을 양성하여 국내로 진입하는 독립전쟁을 목표로 하였다. 이에 중국국민당과의 교섭으로 만몽(滿蒙) 접경지에 황무지 3만 정보(町步)를 무상 조차하였고 이의 개간자금 모집을 위해 1925년 8월 그는 김화식(金華植)과 함께 국내로 잠입하였다. 경기·충청·경상지역에서 유림과 부호를 대상으로 모금활동을 전개했으나 계획대로의 성과는 거두지 못하였다. 다시 상해로 돌아온 그는 국내에서의 잔학한 일제 식민지통치 아래 점차 상실되는 민족의식을 깨우치는 방법으로 결사대(決死隊)를 파견, 각종 식민지기관을 파괴하기로 하였다. 1926년 이동녕·김 구·김원봉(金元鳳) 등과 상의, 1차로 의열단(義烈團)의 나석주(羅錫疇)를 파견하여 1926년 12월 동양척식회사(東洋拓殖會社)를 폭파케 하였다. 국내의 유림들도 그를 도와 모금운동을 하였고 이에 600여 명의 유림이 투옥하는 제2차 유림단사건이 발생하였다. 1927년 5월 심산은 병으로 상해 공동조계(共同租界)에 있던 영국인 병원 공제의원(公濟醫院)에 입원 중 일본 밀정에 발각 붙잡혀 국내로 압송 대구형무소에 수감되었다. 14년형을 선고받은 그는 변호도 공소도 거절한 후 대전형무소에서 옥고를 치렀으며 이때 심한 고문으로 앉은뱅이가 되었다. 광복 후인 1946년 그는 전국 유림을 결속시켜 유림재단을 정리한 후 유도회(儒道會)를 조직하였다. 또한 유학의 근대적 발전과 육영사업을 목적으로 성균관(成均館)과 성균관대학을 재건하였다. 그러나 그의 독립운동에 대한 강인한 정신은 반민족 반민주적인 독소를 제거키 위해 전환되었다. 즉 1951년 독재정권인 이승만대통령에게 하야 경고문(下野警告文)을 내어 부산형무소에 또다시 투옥되었다.

출옥 후 1952년 2·4정치파동 때 국제구락부사건(國際俱樂部事件)을 주동하여 재차 투옥되는 등 그의 민족을 위한 불굴의 의지는 지속되었다. 저서에 자서종요(字書綜要)와 벽옹70년회상기 등이 있다.

정부에서는 고인의 공훈을 기리기 위하여 1962년에 건국훈장 대한민국장을 서훈하였다.