독립협회(獨立協會) 등 애국계몽단체의 일원으로 활약하기도 하였던 그는 1905년 을사조약이 늑결되자 국내에서는 활동할 여지가 없을 것으로 판단하고 국외로 나가 국권회복을 위하여 투쟁할 것을 결심하였다.
그리하여 1905년 겨울 노령(露領)으로 건너가 동지들의 재정지원을 받아 학교를 세워 청년교육에 힘쓰기도 하고 또 전 북간도관리사(北間島管理使) 이범윤(李範允) 등 지도자들과도 연락을 취하여 의병을 조직, 항일전을 준비하였다. 그러던 중 1908년 여름 의병대의 참모총장 안중근(安重根)과 함께 두만강을 건너 함경도 경흥(慶興)·회령(會寧) 지방의 일본 군영을 습격하여 큰 전과를 올리기도 하였다.
한편 그는 이름을 연준(連俊)으로 고치고 담배행상을 하며 노령각지를 왕래하면서 동지들 간의 연락을 취하던 중 1909년 10월 블라디보스톡에서 안중근을 만나 이등박문 처단계획을 듣고 함께 거사할 것을 약속하였다. 그리고 도중에서 유동하(劉東夏)·조도선(曺道先)도 동행하여 하얼빈으로 가서 이등박문이 오기만을 기다리면서 안중근이 거사를 목적에 두고 강개한 마음으로 장부가(丈夫歌)를 읊자, 그도 다음과 같은 거사가(擧事歌)를 지어 기필코 이등을 처단하여 조국의 원수를 갚겠다고 다짐하였다.
'만났도다. 만났도다. 원수 너를 만났도다. 너를 한번 만나고저 일평생에 원했지만 하상견지(何相見之) 만야(晩也)런고. 너를 한번 만나려고 수륙(水陸)으로 기만리(幾萬里)를 혹은 윤선(輪船) 혹은 화차(火車) 천신만고 거듭하여 노청양지(露淸兩地) 지날때에 앉을때나 섰을때나 앙천(仰天)하고 기도하길 살피소서 살피소서 주예수여 살피소서 동반도(東半島)의 대제국을 내 원대로 구하소서. 오호(嗚呼) 간악(奸惡)이 노적(老賊)아 아등민족(我等民族) 2천만을 멸망까지 시켜놓고 금수강산 삼천리를 소리없이 뺏노라고 궁흉참악(窮兇慘惡)이 저 수단을 (중략) 지금 네 명(命) 끊어지니 너도 원통하리로다. 갑오독립 시켜 놓고 을사체약(乙巳締約)한 연후에 오늘 네가 북향(北向) 할줄 나도 역시 몰랐노라. 덕(德) 닦으면 덕이 오고 죄 범하면 죄가 온다. 너뿐인 줄 알지 마라 너의 동포 오천만을 오늘부터 시작하여 하나 둘씩 보는대로 내손으로 죽이리라.'
이등의 처단을 확실히 하기 위하여 그는 채가구(蔡家溝)역에서 기다리고 안중근은 하얼빈역에서 기다리다가 거사하기로 하였는데 10월 26일 아침 이등박문 일행을 태운 기차는 채가구에 정차하지 않고 지나 하얼빈역에 정차하여 이등박문은 안중근의 손에 의해 처단되었다. 이등박문이 처단된 후 그도 안중근과 함께 공범자로 지목되어 러시아 헌병대에 붙잡혀 일본군에 인도되어 여순(旅順)에서 함께 재판을 받고 이듬해 2월 징역 3년형을 선고받고 옥고를 치렀다.
출옥후 다시 하얼빈·치치하르·만주리(滿洲里) 등 지역에서 교육·종교사업에 종사하면서 독립운동에 힘을 기울였으며, 해방후에는 흑룡강성(黑龍江省)의 한인민단(韓人民團) 위원장으로 아들 대영(大榮)과 함께 동포 피난민의 본국 수송에 진력하였다.
귀국후 1948년에는 대한국민당(大韓國民黨) 최고위원으로 정치활동을 하면서 건국사업에 이바지하였다.
1950년 9월 26일 한국전쟁중 인민군에 의해 처형되었다.
정부에서는 고인의 공훈을 기리어 1962년에 건국훈장 독립장을 추서하였다.