1908년부터 김천(金䤼)의 개진학교(開進學校)·진명학교(進明學校)·영진학교(永進學校)를 거쳐 1915년 기독교계 학교인 대구(大邱)의 계성학교(啓星學校)에 진학했으나 1916년 11월 일제의 조선지배를 정당시하는 미국인 교장에 반대하여 동맹휴학을 주동하다가 퇴학당하였다. 1917년 일본 세이소쿠[正則] 영어학교에서 6개월간 배운 뒤 돌아와 배재학교(培材學校)에 입학했다.
1919년 3·1운동이 일어나자, 서울에서 만세시위에 참가하는 한편 지하유인물 ‘반도의 목탁’을 발행하여 배포하는 등의 적극적인 활동을 전개한 뒤, 고향인 김천 개녕면(開寧面)에서 은창서(殷昌瑞) 등과 함께 만세운동을 주도적으로 추진하다가 일경에 체포되어 태(笞) 90도(度)를 받았다.
3․1운동 후인 1919년 8월 경남 거창군(居昌郡) 거창면(居昌面) 오형선(吳亨善)의 집에서 오형선․이덕생(李德生)·고운서(高雲瑞)·주남고(朱南皐) 등과 함께 비밀결사 적성단(赤星團)을 조직하고 군자금모집 및 의용병 모집에 대하여 논의하였다. 이들은 만주(滿洲)에서 활동하는 군정서(軍政署)에 독립군을 파견한다는 계획을 세우고, 김태연은 신도출(愼道出)이 제공한 군자금을 가지고 주남수(朱南守)·이사술(李四述)·이성년(李聖年)·백기주(白基周) 등 4명의 의용병을 선발하여 만주 군정서로 파견하였다.
만주에서 돌아온 그는 동년 12월 다시 중국 상하이[上海]로 망명했다. 1920년 2월 저장성[浙江省] 항저우[杭州]의 배정학교(培正學校)에 입학하여 영어와 중국어를 배우는 한편 상해의 사회주의연구소에 출입하면서 사회주의 사상에 공명해갔다. 1921년 이르쿠츠크파 고려공산당(高麗共産黨) 상해지부가 조직될 때 고려공산청년회 중앙위원을 맡고, 동년 말 고려공산당원이 되었다. 1922년 1월에는 모스크바와 레닌그라드에서 열린 극동인민대표대회(極東人民代表大會)에 한국대표의 일원으로 참가하였다.
동년 4월 김만겸(金萬謙)·여운형(呂運亨)·안병찬(安秉璨) 등이 조직한 고려공산당(高麗共産黨)에 가입했으며, 박헌영(朴憲永)·임원근(林元根) 등과 함께 사회주의운동의 국내 활동을 목적으로 귀국했다. 이들은 태고양행(太古洋行)의 기선 북해환(北海丸)을 타고 안동에 도착하여 국내 잠입 기회를 엿보던 중 4월 3일 김태연이 먼저 신의주(新義州)에 잠입했다가 일경에 체포되어 소위 제령 제7호 위반으로 징역 1년 6월을 받아 옥고를 치렀다.
1924년 1월 19일 출옥한 그는 동아일보사·조선일보사 기자로 활동하면서 박헌영·임원근 등과 함께 사회주의 단체인 세칭 화요파(火曜波)의 중심 인물로 활동했다. 1924년 신흥청년동맹(新興靑年同盟)과 조선청년총동맹(朝鮮靑年總同盟)의 중앙집행위원으로 활약하던 그는 1925년 4월 조선공산당(朝鮮共産黨)이 결성될 때 핵심인물로 참가했다. 이때 그는 고려공산청년회의 강령 규약을 작성했고, 전형위원 및 집행위원, 연락부 책임을 맡으며 주로 코민테른, 해외 조직과의 연락을 담당하는 대외 창구의 역할을 맡았다.
1925년 12월 조선공산당 조직이 발각되자, 김찬(金燦) 등과 함께 상해로 망명해 조선공산당 임시상해부를 설치하고 국제공산당과 국내 공산당을 연계하는 역할을 담당했다. 그는 코민테른의 동양혁명후원회의 후원자금, 유학생의 갹출금 등 다양한 경로로 모집된 자금을 국내의 고려공산청년회(高麗共産靑年會)에 전달하면서 국내 사회주의운동의 활성화에 힘을 기울였다. 또한 조선공산당 기관지『불꽃〔火焰〕』의 주필을 맡기도 했다.
1926년 봄 국내에서 대규모의 대중시위를 계획하던 조선공산당 임시상해부는 동년 4월 26일 융희황제(순종)의 승하 소식을 접하면서, 3·1운동 때와 같은 전국적 만세운동을 추진하였다. 그것이 6·10만세운동의 태동이었다. 이때 김태연은 ‘한국의 사회주의 운동은 민족운동의 선봉에 서야 된다’는 취지하에 6·10만세운동 계획을 추진하였다. 그와 김찬은 국내에서 6·10만세운동을 책임질 인물로 권오설(權五卨)을 선정하고 5월 초부터 만세운동을 준비하였다. 이때 조선공산당 임시상해부는 격문과 필요한 자금을 지원하기로 결정하고, 김태연은 직접 만주 안동현(安東縣, 현재 丹東市)과 신의주(新義州)로 가서 권오설을 만나 만세운동을 구체적으로 협의했다. 또한 그는 김찬과 함께 만세시위 때 사용할 장문의 격문인「곡복(哭服)하는 민중에게 격한다」를 지어 상해 삼일인쇄소에서 5천부 정도를 인쇄한 뒤 국내에 발송하기도 했다.
이후 그는 국제공산당(國際共産黨) 원동위원(遠東委員) 등으로 활약하면서 조선공산당(朝鮮共産黨)의 창당과 재건을 주도하며 국내 사회주의운동의 확산을 통한 독립을 위해 소련·중국과 국내를 오가며 활동하였다.
