「賢者在位，能者在職」乃為政首要。自隋唐開科取士以來，士人懷牒自進，以公平競爭參與國家治理，確立了考試取才的仕進制度，成為我國政治制度的特色。國父 孫中山先生創立五權憲法即是擷取我國固有政治制度的優點，於歐美三權之外，增列考試、監察兩權。民國17年10月國民政府公布「中華民國國民政府組織法」，分訂五院職掌，確立五權分立的政治規模。19年考試院正式成立，掌理國家考試及全國公務人員人事制度等工作，90餘年來為我國文官法制奠定穩固的基礎，並與行政、立法、司法、監察等四院立於平等地位，共同配合推動國家建設。
民國17年10月10日，國民政府任命戴傳賢先生為考試院院長，隨即在南京羊皮巷住宅，成立考試院籌備處，並勘定關岳廟院址改建為考試院暨所屬考選委員會、銓敘部等之辦公處所。其後，考試院組織法、銓敘部組織法、考選委員會組織法，相繼於17年10月20日、17年12月17日及18年8月1日由國民政府先後公布。19年1月6日，考試院與所屬考選委員會（行憲後改為考選部）及銓敘部正式成立，依法行使職權。戴院長傳賢兼考選委員會委員長、副院長孫科、考選委員會副委員長邵元沖、銓敘部部長張難先等宣誓就職。同年12月，戴院長准免兼職，國民政府特任邵元沖為考選委員會委員長。26年7月，抗日戰爭爆發，同年11月，考試院隨同國民政府離京赴渝，至抗戰勝利，院會部各單位，隨政府遷回南京。36年中華民國憲法公布並於12月25日施行，考試院組織法重新修正公布。37年7月10日張伯苓先生在南京就任考試院院長，第1屆考試委員正式就職。38年政府遷臺，考試院初暫借臺北市大龍峒孔廟，後於40年遷木柵溝子口現址。
中華民國憲法第83條規定：考試院為國家最高考試機關，掌理考試、任用、銓敘、考績、級俸、陞遷、保障、褒獎、撫卹、退休、養老等事項。民國80年至94年陸續修憲，依憲法增修條文第6條規定，考試院為國家最高考試機關，掌理考試、公務人員之銓敘、保障、撫卹、退休及公務人員任免、考績、級俸、陞遷、褒獎之法制事項，考試院之職權在法制上略有調整。
配合憲法增修條文規定及因應時代需要，民國83年7月1日修正考試院組織法，並於84年5月1日、85年6月1日、88年7月26日相繼成立公務人員退休撫卹基金監理委員會（以下簡稱監委會）暨公務人員退休撫卹基金管理委員會（以下簡稱管委會）、公務人員保障暨培訓委員會（以下簡稱保訓會）、國家文官培訓所。又為提高文官訓練效能，建構完整之培訓體系，99年3月26日國家文官培訓所改制為國家文官學院，同時成立中區培訓中心。
考試院置院長、副院長各1人，第1屆至第12屆考試委員為19人，任期6年，自第13屆起考試委員人數修正為7人至9人，院長、副院長及考試委員任期修正為4年；並置秘書長及副秘書長各1人，共同協助院長處理考試院事務；另院本部設處、中心、會、室，分別執行職務。考試院設考試院會議，以院長、副院長、考試委員及所屬各部會首長組織之，決定憲法所定職掌之政策及其有關重大事項。其下原設考選部、銓敘部、保訓會及監委會等二部二會。為因應考試院功能業務調整，以及配合112年7月1日實施初任公務人員個人專戶退撫新制，112年4月26日修正考試院組織法及銓敘部組織法，並制定公務人員退休撫卹基金管理局（以下簡稱基管局）組織法，其中銓敘部組織法（除有關退撫基金監理業務外）及基管局組織法，於112年4月30日施行；考試院組織法及銓敘部組織法有關退撫基金監理業務部分，於同年6月1日施行，監理會業務整併至銓敘部監理司，統一職掌公務人員退休撫卹基金、公教人員保險準備金及個人專戶制退撫儲金等監理業務，考試院所屬組織架構調整為二部一會。
考選部主管公務人員考試及專門職業及技術人員考試等各種國家考試。銓敘部負責公務人員之銓敘、撫卹、退休及其任免、考績、級俸、陞遷、褒獎等法制事項。為辦理退撫基金之收支、管理及運用，銓敘部設管委會，於112年4月30日改制為基管局。保訓會負責有關公務人員權利保障與訓練進修政策、法制事項，並執行各項保障業務暨規劃辦理公務人員考試筆試錄取人員訓練、升任官等及行政中立等項訓練。又為辦理公務人員訓練進修相關業務，保訓會並設國家文官學院。
自訓政時期國民政府設立考試院起，迄今已歷90餘載。除行憲前由戴傳賢先生擔任近20年院長外，行憲後至今考試院共歷13屆，期間擔任院長者分別為張院長伯苓（1屆，未來臺，由鈕副院長永建代理2年餘）、賈院長景德（1屆）、莫院長德惠（2、3屆）、孫院長科（4、5屆）、楊院長亮功（5屆）、劉院長季洪（6屆）、孔院長德成（7、8屆）、邱院長創煥（8屆）、許院長水德（9屆）、姚院長嘉文（10屆）、關院長中（11屆）、伍院長錦霖（12屆）、黃院長榮村（13屆）。
考試院在歷任首長領導之下，於文官法制規章之變革與建制，均能審機度勢，因應時代的變化、人民的需求及國家的永續發展而多所更張，唯其因時制宜、因民立政，建立一現代化具競爭力的文官體制，以提昇人民的福祉之精神則一。考試院在各界的鼓勵與督飭下，推動改革創新，轉型為國家人力資源部門，以培育現代政府所需要的治理人才。