为了贯彻党的“一大”提出的党在当前的中心任务是组织工人阶级，加强党对工人运动的领导的精神，1921年8月，中国共产党在上海建立了中国劳动组合书记部，作为领导全国工人运动的机关，书记部下设北京、武汉、湖南、广州、济南等分部。

中国劳动组合书记部及各分部成立后，就投入了繁忙的宣传教育和组织工作，出版指导工人运动的刊物《劳动周刊》，举办工人补习学校，组建工人俱乐部，成立产业工会等。

1922年，总部由上海迁到北京，邓中夏担任主任，改《工人周刊》为机关刊物，主要活动是对工人进行宣传教育，组织工会，领导工人开展罢工斗争。初期阶段以铁路工人为工作重点。

为加强对工人运动的领导，由书记部发起，于1922年5月1日至6日，在广州召开了全国第一次劳动大会，出席代表162人，代表百余个产业工会的30万会员。大会的主要任务是纪念“五一国际劳动节”，联络全国劳动界之感情，讨论改良生活问题，讨论各代表提案等。会议通过了《罢工援助案》、《八小时工作制案》、《全国总工会组织原则决议案》等10项决议案，大会通过了“在中国全国总工会成立之前，中国劳动组合书记部为全国总通讯机关”案，公认书记部在全国工人运动中的领导地位。在提高工人觉悟和建立产业工会的基础上，有组织地开展了反对帝国主义、封建军阀和资本家三重压迫的罢工斗争。

1922年1月香港海员罢工为起点，1923年2月京汉铁路工人罢工为终点，掀起了中国工人运动的第一个高潮。在十三个月的时间里。全国发生罢工100余次，参加人数在30万以上；上海罢工54次，人数8万以上。其中著名的罢工有香港海员、安源路矿工人、开滦煤矿工人、京汉铁路工人四次大罢工，这些罢工都是在书记部支援或直接领导下进行的。

1925年5月1日，中国劳动组合书记部在广州召开了第二次全国劳动大会。会议通过了工人阶级与政治斗争、经济斗争、组织问题、工农联合等30个决议案，成立了中华全国总工会。至此，中国劳动组合书记部完成了自己的历史使命。书记部从成立到结束的三年零九个月里，为工人阶级的解放事业作出了不朽的贡献。