1909년 당시 평남 진남포보통학교(鎭南浦普通學校) 부훈도(副訓導)로 재직하던 중, 그 해 10월 그의 친형 안중근(安重根) 의사가 이등박문(伊藤博文)을 처단했다는 소식을 듣고 자진 사직한 후 안정근(安定根)과 함께 여순(旅順)으로 갔다.
그 후 1919년 중국 상해의 대한민국임시정부에 투신하여 이듬해 1월 모스크바 밀파 외교원으로 선정되었으며, 같은 해 10월에는 다시 임시파로외교위원(臨時派露外交委員)에 임명되어 독립운동에 대한 러시아의 후원을 이끌어 내기도 하였다. 그리하여 1922년에는 이동휘(李東輝)·김규식(金奎植) 등과 함께 모스크바에 체류하면서 레닌으로부터 지원을 약속받은 군자금 잔액 140만 루블을 교부 받기 위해 노력하였다.
1920년 12월 상해 대한인거류민단의사회(大韓人居留民團議事會) 의원으로 선출된 데 이어 이듬해에는 임시정부 의정원(議政院) 황해도 의원, 1926년 2월에는 여운형(呂運亨)의 뒤를 이어 중국 상해한인교민단장(上海韓人僑民團長)으로 임명되어 상해지역 한인들의 인권 보호와 민족정신 고취에 힘썼다.
그 후 1926년 5월 상해에서 이유필(李裕弼)·최창식(崔昌植)·오영선(吳永善) 등과 함께 독립운동촉진회(獨立運動促進會)를 결성하고 "한국 민족의 해방을 촉성하고, 철저한 독립운동가의 조직적인 대단결의 실현을 위해 노력할 것"을 주장하는 선언서를 발표하였다. 이러한 독립운동단체의 대동단결론은 1926년 10월 중국 북경지역의 대독립당조직촉성회(大獨立黨組織促成會), 1927년 4월 상해지역의 전민족독립당(全民族獨立黨)을 결성하는 계기로 작용하였다. 그러나 공산주의자 홍남표(洪南杓)·정백(鄭佰) 등이 전민족독립당을 좌파 중심으로 조직할 것을 선언하자, 참석을 거부하였음에도 전민족독립당 집행위원으로 선정되었다.
1930년대에 접어들면서 백범(白凡) 김구(金九)의 재상해(在上海) 대표격으로 1931년 12월에 한인애국단(韓人愛國團)을 조직한 것을 비롯하여 1935년까지 한국독립당(韓國獨立黨), 1937년까지 한국국민당(韓國國民黨)의 주요 간부로 활동하면서 주로 친일분자의 암살·처단과 독립군 양성에 주력하였다.
그리하여 1933년에는 박찬익(朴贊翊)·엄항섭(嚴恒燮) 등과 함께 친일행각을 벌이는 상해한국인친우회위원장(上海韓國人親友會委員長) 유인발(柳寅發)과 옥관빈(玉觀彬)의 처단을 주도하였고, 1935년 3월에는 흑색공포단원(黑色恐怖團員) 엄순봉(嚴舜奉) 등에게 항해 조선인거류민회(朝鮮人居留民會) 고문(顧問) 이용로(李容魯)를 처단하도록 지시하여 일을 성사시켰다. 이와 함께 1934년 1월부터는 한인애국단원들과 함께 동북의용군(東北義勇軍) 이청천(李靑天) 계열과 합동으로 중국 하남성(河南省) 낙양군관학교(洛陽軍官學校) 분교에 한인군관학교(韓人軍官學校)를 설치하여 독립군을 양성하였다. 또한 1937년 8월에는 한국국민당 당원들을 대동하고 중국 상해로 잠입하여 친일파 한국인·중국인의 암살을 기도하는 한편, 중국측 편의대(便衣隊) 본부와 함께 중국 각지에 산재한 항일신문사(抗日新聞社)를 방문하여 한중연합(韓中聯合) 분위기를 고조시키는 활동을 전개하였다.
1937년 2월 그의 장남 안우생(安偶生)과 함께 한국청년전위단(韓國靑年前衛團)을 결성하여 활동하였다. 같은 해 8월에는 한국애국단(韓國愛國團) 대표로서 미국내 한인독립운동단체인 한국국민회(韓國國民會) 등 5개 단체, 중국내 조선혁명당(朝鮮革命黨)·한국독립당 등 8개 단체와 연명(連名)으로 '한국당호운단체(韓國黨護運團體)의 중일전국(中日戰局)에 대한 선언'을 발표한 데 이어, 동월 17일 한국국민당·한국독립당·조선혁명당 등과 하와이와 미국내 한인독립운동 9개 단체를 연합하여 한국광복운동단체연합회(韓國光復運動團體聯合會)를 조직하여 1938년까지 활동하였다.
또한 1936년 대한민국임시정부 상임 국무위원으로 선임된 이래 1940년까지 임시정부 의정원 황해도 의원으로 활동하였다.
