为建立和完善结构合理、人员精干、灵活高效的政府机构，中国进行过多次机构改革，最多时曾设100个机构。1978年中国实行改革开放以来，共有过五次规模较大的政府机构改革。目前，国务院组成部门为28个。探索实行职能有机统一的大部门体制无疑是新一届政府机构改革的着力点。
2007年10月召开的中国共产党的十七大在部署未来的行政管理体制改革中明确指出，加快行政管理体制改革，建设服务型政府.报告特别指出，要加大机构整合力度，探索实行职能有机统一的大部门体制，健全部门间协调配合机制.精简和规范各类议事协调机构及其办事机构，减少行政层次，降低行政成本，着力解决机构重叠、职责交叉、政出多门问题.统筹党委、政府和人大、政协机构设置，减少领导职数，严格控制编制。
2008年2月25-27日召开的中国共产党第十七届中央委员会第二次全体会议上，通过关于深化行政管理体制改革的意见和国务院机构改革方案，并同意把国务院机构改革方案提请将于3月5日召开的中国十一届全国人大一次会议审议。
以下为中国改革开放以来，分别在1982年、1988年、1993年、1998年和2003年进行的五次规模较大的政府机构改革情况：
2003年3月至今
2003年3月国务院机构改革方案提请十届全国人大一次会议审议，启动了改革开放以来的第五次大规模的机构改革。改革后，除国务院办公厅外，国务院由28个部门组成。包括外交部、国防部、发展改革委、教育部、科技部、国防科工委、国家民委、公安部、安全部、监察部、民政部、司法部、财政部、人事部、劳动保障部、国土资源部、建设部、铁道部、交通部、信息产业部、水利部、农业部、商务部、文化部、卫生部、人口计生委、人民银行、审计署。
其中，新建立国资委、银监会；组建商务部、国家食品药品监督管理局，调整国家安全生产监督管理局为国家直属机构.国务院直属特设机构(1个)，为国资委；国务院直属机构(18个)，包括海关总署、税务总局、 工商总局、质检总局、环保总局、民航总局、广电总局、新闻出版总署(版权局)、体育总局、安全监管总局、统计局、林业局、食品药品监管局、知识产权局、旅游局、宗教局、参事室、国管局。
国务院办事机构(4个)，包括侨办、港澳办、法制办、国研室、台办、新闻办.国务院直属事业单位(14个)，包括新华社、中科院、社科院、工程院、发展研究中心、行政学院、地震局、气象局、银监会、证监会、保监会、电监会、社保基金会、自然科学基金会。
国务院部委管理的国家局(11个)，包括信访局、粮食局、烟草局、外专局、海洋局、测绘局、邮政局、文物局、中医药局、外汇局、煤矿安监局、档案局、保密局。
1998年3月至2003年3月
1998年3月第九届全国人大一次会议审议通过了关于国务院机构改革方案的决定.根据改革方案，国务院不再保留的有15个部、委.新组建的有四个部、委.更名的有三个部、委.改革后除国务院办公厅外，国务院组成部门由原有的40个减少到29个.2003年3月，由29个机构减至28个。
其中，撤销大部分工业专业经济部门共10个，如电力工业部、煤炭工业部、冶金工业部、机械工业部、电子工业部、化学工业部、地质矿产部、林业部、中国轻工业总会、中国纺织总会。
1993年3月至1998年3月
1993年3月第八届全国人大一次会议审议通过了关于国务院机构改革方案的决定。方案实施后，国务院组成部门、直属机构从原有的86个减少到共59个，人员减少20%.同年4月，国务院决定将国务院的直属机构由19个调整为13个，办事机构由九个调整为五个。国务院不再设置部委归口管理的国家局，国务院直属事业单位调整为八个。此外，国务院还设置了国务院台湾事务办公室与国务院新闻办公室。
其中，机械电子部拆为机械部和电子部；撤消能源部，设立电力部和煤炭部；实行中纪委机关和监察部合署办公。
1988年4月至1993年3月
1988年4月第七届全国人大一次会议通过了国务院机构改革方案的决定.方案实施后，国务院部委由原有的45个减为41个，直属机构从22个减为19个，非常设机构从75个减到44个。
其中，撤消国家计委和国家经委，组建新的国家计委；撤消煤炭工业部、石油工业部、核工业部，组建能源部；撤消国家机械工业委员会和电子工业部，成立机械电子工业部；撤消劳动人事部，建立国家人事部，组建劳动部；撤消国家物资局，组建物资部；撤消城乡建设环境保护部，组建建设部；撤消航空工业部、航天工业部，组建航空航天工业部；撤消水利电力部，组建水利部；撤消隶属于原国家经委的国家计量局和国家标准局以及原国家经委质量局，设立国家技术监督局。
1982年3月至1988年4月
1982年3月第五届全国人大常委会第二十二次会议通过了关于国务院机构改革问题的决议，国务院各部门从100个减为61个。
