1918년 망명의 길을 떠나 종형 안중근(安重根)의사가 이미 독립투쟁의 근거지로 삼았던 해삼위(海蔘威)로 가서 박은식(朴殷植)·안정근(安定根)·신채호(申采浩)·이범윤(李範允) 등 애국지사들과 적극적으로 독립운동을 전개하였다.
1922년 2월에는 혁명 러시아의 과도기적 혼란으로 인하여 자주독립운동에 어려움이 가중됨으로써 상해로 이동하였다. 여기서 대한민국 임시정부에 가담하여 당시 임정 경무국장이었던 백범 김 구(金九)와 의기투합함으로써 그를 적극 보좌하면서 일제 관헌과 밀정 숙청에 전력투구하였다.
1923년에는 동지들의 권유로 사천성(四川省)의 노주군관학교(瀘州軍官學校)에 입학 이준식(李俊植)·문일민(文一民) 등과 소정의 과정을 마치고 졸업하였다.
1925년에는 운남군관학교(雲南軍官學校)를 마쳤으며, 그후 임시정부 요인들과 국권 회복 문제를 협의하였다. 그는 적극적인 독립운동을 하기 위하여 만주로 건너가 정의부(正義府) 군사부의 위원이 되어 사령장 김창환(金昌煥)의 참모로 들어가 독립투쟁에 종사하였다.
1929년에는 정의부, 참의부(參議府), 신민부(新民府) 등 3부 통합운동에 심혈을 경주하였다. 독립운동 단체의 분산은 그만큼 독립투쟁의 역량을 저해·약화시킨다는 의견을 피력하고 민족통합적 차원에서 합작운동을 전개하였던 것이다.
그러나 이해관계에 얽혀 통합에 실패하고 남만주의 국민부(國民府), 북만주에 한족총연합회(韓族總聯合會)로 양립되었다. 이곳은 일제의 주구와 일본군 그리고 공산당이 포진하고 있어 김좌진(金佐鎭)·오동진(吳東振)·김규식(金奎植)·김동삼(金東三) 등이 그 피해를 입었다. 김좌진이 암살 당한 것도 공산당의 소행으로 알려져 있다. 따라서 만주 일원에서의 독립투쟁이 불리해지고 압박도 받자 안전지대인 국제도시 상해(上海)로 돌아와 활동할 계획을 세웠다.
1930년 상해로 돌아온 그는 김 구·이동녕(李東寧) 등 임정 요인과 협의하고 황포군관학교(黃埔軍官學校)의 구대장(區隊長)으로 활약하였다.
1932년 4월 29일 윤봉길(尹奉吉)의사의 투탄의거로 침체국면에서 허덕이던 임시정부는 활기를 되찾을 수 있었다. 중국 국민당 정부의 적극적인 협조로 낙양군관학교(洛陽軍官學校)가 개교됨에 따라 직접 학생을 훈련시켰으며 남경(南京) 등지에서 군관생도(軍官生徒) 모집에 주력하였다.
1933년 1월 15일에는 상해에서 재상해한국독립당대회(在上海韓國獨立黨大會)에 참석하였다. 이해 5월 그는 상해거주 한인교포들과 독립운동가들을 괴롭혀 오던 일본총영사관 소속의 친일파 주구인 밀정 이종홍(李鍾洪)을 교살함으로써 한인들의 맺힌 한(恨)을 풀어 주었다.
이듬해에는 남경에서 애국단(愛國團) 조직에 참여하였다. 한편 동년 12월에는 한국독립군특무대(韓國獨立軍特務隊)를 조직할 것을 결의하여 대장에 김 구, 참모장에 안공근(安恭根)을 선출하였으며, 그 자신은 군관학교 졸업생 등과 함께 대원이 되었다.
1934년에는 장개석(蔣介石)총통과 백범 김 구와의 연락 책임을 맡아 한·중간의 친선을 도모하는데 크게 기여하였다.
1936년 11월 10일의 제29회 의정원 회의에서는 황해도 의원으로 피선되었으며, 임시정부가 사천성(四川省) 기강현( 江縣)으로 이주한 후인 1939년 10월에 다시 의정원 의원으로 보선되어 계속 독립운동에 참여하였다.
