公务员考试制度起源于 中国古代的科举制度。科举制度始于隋朝，盛行于唐宋，至明清时期达到顶峰。在科举制度下，士人通过参加各级考试，获得相应的官职。虽然科举制度与现代公务员考试制度存在较大差异，但二者在选拔人才的方式上具有相似之处。

新中国成立后，国家开始重视公务员队伍的建设。1956年，中央组织部颁布了《关于加强干部管理工作的通知》，明确提出了“凡属国家工作人员，除特殊情况外，都要经过考试录用”的原则。从此，公务员考试制度正式成为我国选拔人才进入公共部门的主要途径。

20世纪80年代部分省市开始实行公务员考试，90年代国务院发布《国家公务员暂行条例》及配套的《国家公务员录用暂行规定》，我国公务员考试制度进入全面实施阶段。大概1994年至1995年间开始招录。2006年颁布的《公务员法》具有里程碑式的意义，2006年1月1日正式实施的明确规定：录用担任主任科员以下及其他相当职务的非领导职务公务员，采取公开考试，严格考察，平等竞争，择优录取的办法。