1972年，中国与美国、日本相继建交，到达上海港的外轮逐年增加。1978年以后，随着对外经济的发展，外贸远洋运输业务也随之不断的扩大，外运上海分公司自营的船队、中外合资的船公司、以及各省、市的地方船队应运而生。每年进出中国港口的中外国际航运船舶两万艘次以上，中国国内外的运输关系网络迅速发展，原来的外贸运输格局已不能适应发展的需要。
1984年10月，在中国对外贸易运输公司直接指导下，中国对外贸易运输公司上海分公司(简称外运上海分公司)在原中国租船公司上海办事处基础上筹建船务代理。同年11月3日，国务院同意“外运可以经营部分船队和少量船舶代理业务”.1985年1月12日，隶属中国对外贸易运输公司的子公司—中国船务代理公司成立，其英文译名为:CHINAMARINE SHIPPING AGENCY。隶属中国对外贸易运输公司的自营船29艘(其中挂方便旗的27艘，挂五星红旗的2艘)与合营的五星红旗船36艘，共计65艘，全部由中国对外贸易运输公司自行代理。自此，上海港的国际船舶进出口代理业务改变了上海外轮代理公司独家经营的局面。
同年2月28日，外运上海分公司撤消租船科，成立了船务代理部。并于当年6月25日成立中国船务代理公司上海分公司。对内仍称“船务代理部”，中国对外贸易运输公司集外运、租船、船务代理为一体，即为三块牌子一套班子。1991年中国船务代理公司上海分公司有29人，其中计划组4人，调度组3人，登轮人员7人。
