徐达农家出身，土里刨食。他性情刚毅，不甘屈居人下。他长得面貌清癯，颧骨稍高，身材魁伟。自幼习武，练得一身好功夫。和朱元璋是从小长大的好朋友。郭子兴举义，濠州人汤和率壮士10余人参加。应汤和之邀，朱元璋也投身郭子兴部。至正十三年（1353年），朱元璋奉郭子兴命回乡募兵，年仅22岁的徐达欣然应召。从此开始了他的戎马生涯。徐达是第一批投靠朱元璋的老臣。

初授镇抚，朱元璋发现徐达才能超乎众人，于是委以重任，代替自己征战四方。

郭子兴与一同举事的孙德崖等人不合。占据徐州（今属江苏）的赵均用、彭大兵败，投奔濠州而来。不久，赵、彭称王，郭子兴受制于下，并险遭杀害。朱元璋见在濠州难成大事，遂于至正十四年（1354年）秋率徐达、汤和等24将离开濠州，南进定远，攻下滁州。徐达冲锋陷阵，威勇初露。

至正十五年（1355年）二月，滁州粮草不继，徐达和朱元璋攻取和州（今安徽和县）。攻打和州后，郭子兴抓走孙德崖，孙德崖军也抓走朱元璋，徐达提出用自己换朱元璋，化解了这场矛盾。六月，朱元璋率徐达等人渡江，拔采石（今安徽当涂西北），下太平（今安徽当涂），并进一步图谋集庆（今江苏南京）。在攻打采石矶和太平府的战斗中，徐达与常遇春二人冲锋陷阵，勇冠三军，擒元将陈也先，收服蕲人康茂才义军。八月，徐达等分道攻溧水、溧阳、句容、芜湖，皆克之。

至正十六年（1356年）二月，破蛮子海牙水师。三月，攻下集庆，改集庆为应天府。东下京口（今江苏镇江）一日克城，授淮兴翼统军元帅。七月，朱元璋称吴国公，置江南行枢密院，以徐达为同佥枢密院事。围攻毗陵（今江苏常州），生擒张士诚胞弟张士德，又与常遇春生擒其部将张德，次年二月，攻克毗陵，升佥枢密院事。又先后攻克宁国、宣城。

至正十八年（1358年）十月，攻克宜兴。十一月，朱元璋亲征婺州（今浙江金华），徐达留守应天府。