現在、官庁街となっている霞が関に初めて置かれた官庁は「外務省」であった。「外務省」は1869(明治2)年、「太政官」のもとに、日本で最初に置かれた6省の一つで、当初は現・中央区築地四丁目1番、次いで現・中央区銀座六丁目17番に庁舎が置かれた。1871(旧暦では明治3)年、霞ヶ関の「福岡藩黒田家上屋敷」の跡へ移転、江戸期からの大名屋敷の建物が庁舎として利用された。
「明治維新」後、新政府の中央官庁は、江戸期の旧大名屋敷を活用したため、竹橋、大手町、永田町など、旧「江戸城」周辺に散在していた。この不便さを解消するため、また、「欧化政策」を進めるため、当時の外務大臣で、内閣の「臨時建築局」総裁にも就任した井上馨を中心に、「官庁集中計画」が進められた。1886(明治19)年のドイツ人技師・ベックマンによる案は、築地から永田町一帯を一大官庁街とする壮大なものであったが、翌1887(明治20)年には現実的な「日比谷練兵場」の跡地を中心とする縮小された案が検討された。同年の井上馨の失脚後は、「内務省」の管轄となり「司法省」を着工するも、日比谷周辺の地盤が軟弱であったことから、練兵場跡地の東半分は公園(現「日比谷公園」)に変更。これが現在の「霞が関官庁街」の骨格となった。