황해도 장연(長淵) 사람이다.
만주와 몽고에서 독립운동을 전개하였다.
1908년 세브란스 의학전문학교를 제1회로 졸업하였다. 재학 중에 황성기독교청년회와 상동교회를 번갈아 왕래하면서 구국운동가로 활동하였다. 도산 안창호(安昌浩)와 결의형제를 맺고 1907년 신민회가 조직될 때, 그 회원이 되었다. 한편 1900년대 세브란스 병원에 재직하면서 자신의 집을 독립운동가들의 협의장소로 제공하였다.
1910년을 전후하여 해외에 독립운동기지를 건설하고자 하는 움직임이 독립운동가들 사이에 활발히 전개되었다. 이에 따라 전국민은 무장세력의 양성과 군비를 갖추면서 독립운동의 기회를 기다려야 한다는 전제 아래 독립운동기지를 건설하게 되었다.
그리하여 김필순은 1911년 중국으로 망명하여 이동녕(李東寧)·전병현(全秉鉉) 등과 함께 서간도 지역의 독립운동기지 개척에 힘썼다. 그후 내몽고 치치하얼에 수십만 평의 토지를 매입하고 이곳에 100여 호의 한인들을 이주시켜 무관학교를 설립하고 독립운동의 후방 기지로 개척하고자 하였다. 그는 의료업을 하면서 독립운동에 종사하던 중, 1919년 9월 1일 일본인 조수가 주는 우유를 먹고 순국하였다.
정부에서는 고인의 공훈을 기리어 1997년에 건국훈장 애족장을 추서하였다.