公务员考试的管理主要 归中央公务员主管部门和省级公务员主管部门负责。具体来说：

中央层面：

中央公务员主管部门负责组织中央机关及其直属机构公务员的录用工作。

地方层面：

地方各级机关公务员的录用工作由省级公务员主管部门负责组织，必要时省级公务员主管部门可以授权设区的市级公务员主管部门组织。

此外，各地的人力资源和社会保障部门（人事部门）也参与公务员的招考和录用工作，具体负责公务员招聘考试的组织工作。

因此，公务员考试的管理涉及中央和地方的多个部门，但主要归中央公务员主管部门和省级公务员主管部门负责。