Eingangs muss erwähnt werden, dass im Zusammenhang mit der öffentlichen Verwaltung der Begriff Organisation als jene Einrichtungen verstanden wird, die die Verwaltungsaufgaben besorgen. Hierbei wird wiederum zwischen dem Beziehungsgefüge dieser Einrichtungen zueinander und dem Beziehungsgefüge innerhalb dieser Einrichtungen unterschieden. In diesem Zusammenhang muss zwischen formelle Organisation und informelle Organisation unterschieden werden. Formelle Organisation bedeutet, dass sowohl die Aufbauorganisation als auch die Ablauforganisation der Verwaltung durch Rechtsvorschriften bestimmt sind. In einigen Bereichen bestehen zu diesen Regelungen auch ergänzende oder sogar davon abweichende Strukturen, die von den Menschen entwickelt werden, die in der Verwaltung tätig sind. Hierbei liegt wiederum eine informelle Organisation vor.
Es ist erwähnenswert, dass eine Entscheidungsform der informellen Organisation in der öffentlichen Verwaltung beispielsweise etwa die abgeleitete Macht der Kabinette oder Büros der Bundesminister ist, denen wegen ihrer Nähe zum jeweiligen Regierungsmitglied in der Regel einen großen Einfluss auf das Verwaltungsgeschehen im betreffenden Ressort zukommt.
Außerdem muss beachtet werden, dass die öffentliche Verwaltung ein bürokratisches System ist. Für die Bürokratie sind einige Merkmale maßgeblich, und zwar unter anderem eine genau festgelegte Amtshierarchie und Autoritätshierarchie, eine vollständige Verteilung der Arbeit nach einer festgelegten Kompetenzordnung, die Gebundenheit des Handelns an Normen und Regeln, eine schriftliche Kommunikation, durch die Akten gebildet werden sowie eine Besetzung der Ämter aufgrund fachlicher Qualifikation und eine Laufbahn, die einen Aufstieg nach Lebensalter und Leistung ermöglicht, wobei der Aufstieg wiederum vom Urteil des Vorgesetzten abhängig ist.
Zudem stehen die einzelnen Einrichtungen der Verwaltung in einem Überordnungsverhältnis und Unterordnungsverhältnis zueinander. Dabei sind die untergeordneten Organe den vorgesetzten bzw. übergeordneten Organen zur Gehorsam verpflichtet. Die Leitungsbefugnis der übergeordneten Organe besteht in der Aufsichtsbefugnis, der Weisungsbefugnis, der Organisationsbefugnis sowie in der Personalhoheit und in der Finanzhoheit. Unter Aufsichtsbefugnis ist die Ermächtigung zu verstehen, bestimmte Berichte und Akten anzufordern sowie Befugnisse an sich zu ziehen und Entscheidungen einer Genehmigungspflicht zu unterwerden. Die Weisungsbefugnis ist die Ermächtigung, den nachgeordneten Einrichtungen gewisse Anordnungen zu erteilen. Unter Organisationsbefugnis ist wiederum die Ermächtigung zu verstehen, die Organisation der nachgeordneten Einrichtungen zu bestimmen. Die Personalhoheit ist die Befugnis, in Personalangelegenheiten der nachgeordneten Einrichtungen zu entscheiden. Die Finanzhoheit ist wiederum die Befugnis, die finanziellen Mittel auf die einzelnen Verwaltungseinrichtungen aufzuteilen.
In diesem Zusammenhang muss ebenso zwischen Linienorganisation, Stab-Linien-Organisation und Matrixorganisation unterschieden werden. Dabei ist zu berücksichtigen, dass die hierarchische Struktur der Verwaltung sowohl das Verhältnis der einzelnen Verwaltungseinrichtungen zueinander als auch den Aufbau der einzelnen Verwaltungseinrichtungen selbst bestimmt. In der österreichischen Verwaltungsorganisation dominiert die Linienorganisation. Diese führt zu eindeutigen Unterstellungsverhältnissen und zu klar abgegrenzten Verantwortungsbereichen. Bei der Stab-Linien-Organisation sind der jeweiligen Leitung wiederum Hilfsorgane zur Unterstützung beigegeben. Daher haben die Hilfsorgane als solche keinen Anteil an der Leitungsbefugnis, sondern sollen der Leitung nur zuarbeiten. Bei der Matrixorganisation wiederum sind die einzelnen Organisationseinheiten bzw. Mitarbeiter einer Verwaltungseinrichtung zweifach oder mehrfach untergeordnet, und zwar unter anderem im Hinblick auf bestimmte Verwaltungsaufgaben wie beispielsweise etwa Gesundheitsverwaltung bzw. Schulverwaltung oder Verkehrsverwaltung.
Die Vorteile der Matrixorganisation bestehen in der Entlastung der Leitungsspitze durch die Möglichkeit der Querinformation und der Koordination sowie die Ersparnis durch die Zentralisierung von Funktionen. Dabei erweist sich jedoch die Abgrenzung der Entscheidungsbefugnisse bei gleichberechtigten Leistungsebenen als Problem. Dies ist bedeutsam wegen der Mehrfachunterstellung des Verwaltungspersonals.
Weiters muss zwischen monokratische Organisation und kollegiale Organisation unterschieden werden. Es ist erwähnenswert, dass der Wille einer Person bzw. eines Organwalters bei der monokratischen Organisation die Entscheidung bestimmt. Bei der kollegialen Organisation wird die Entscheidung durch den Willen einer Mehrheit gleichberechtigter Organwalter gebildet. Als weiterer Vorteil der monokratischen Organisation kann die Klarstellung der Verantwortlichkeit für die getroffenen Entscheidungen betrachtet werden. Als Beispiele für die monokratische Organisation sind etwa der Bundespräsident, die Bundesminister, die Landeshauptmänner bzw. die Bezirkshauptmänner oder die Bürgermeister zu nennen. Eine kollegiale Organisation ist in der Verwaltung wiederum insbesondere dort vorgesehen, wo es auf besonders qualifizierte Entscheidungen ankommt oder wo es darum geht, unterschiedliche Interessen in die Willensbildung einzubinden.
Bei der kollegialen Organisation muss der Weg der Willensbildung geregelt sein, insbesondere für Anwesenheitsquorum und Beschlussquorum. Unter Anwesenheitsquorum ist die Zahl der Mitglieder zu verstehen, deren Anwesenheit für einen gültigen Beschluss des Kollegiums notwendig ist. Unter Beschlussquorum ist die Zahl der Stimmen zu verstehen, die für einen gültigen Beschluss notwendig sind. Der Nachteil der kollegialen Organisation besteht jedoch darin, dass die Willensbildung grundsätzlich aufwendiger ist als bei monokratischer Organisation sowie dass die Gefahr der Verdunkelung der Verantwortlichkeit besteht.
Außerdem sind kollegiale Entscheidungen nicht immer das Ergebnis einer eigenständigen Willensbildung aller Mitglieder des Kollegiums, und zwar wegen der Gruppendynamik. Als Beispiel für kollegiale Verwaltungsorgane sind unter anderem beispielsweise etwa die Bundesregierung, die Landesregierungen, die Gemeinderäte und die Gemeindevorstände zu verstehen. In diesem Zusammenhang muss die Zentralisation und die Dezentralisation beachtet werden. Zentralisation der Verwaltung wäre etwa dann gegeben, wenn sämtliche Verwaltungsaufgaben von einer einzigen Einrichtung besorgt werden. Eine Dezentralisation läge etwa dann vor, wenn für jede einzelne Art von Verwaltungsaufgaben eine eigene Einrichtung besteht. Es muss beachtet werden, dass sich für die Verwaltungsorganisation in Österreich, insbesondere aus dem bundesstaatlichen Prinzip sowie aus den verschiedenen Formen der Selbstverwaltung, starke Komponente der Dezentralisation ergeben.
Auch das Ressortsystem und das Territorialsystem müssen berücksichtigt werden. Das Ressortsystem bedeutet, dass jede Verwaltungseinrichtung nur für bestimmte Sachgebiete zuständig ist, diese aber für das ganze Staatsgebiet besorgt. In solch einen Fall würden mehrere Verwaltungseinrichtungen mit gleichem örtlichen, aber verschiedenem sachlichen Wirkungsbereich bestehen. Das Territorialsystem wiederum bedeutet, dass jede Verwaltungseinrichtung nur für ein Teilgebiet des Staates sachlich umfassend zuständig ist. In solch einen Fall würden also mehrere Verwaltungseinrichtungen mit gleichem sachlichen, aber verschiedenem örtlichen Wirkungskreis bestehen. Nach dem Territorialsystem sind beispielsweise etwa die Dienststellen der allgemeinen staatlichen Verwaltung in den Ländern, also Ämter der Landesregierungen sowie Bezirksverwaltungsbehörden, eingerichtet. Diese führen innerhalb ihres Sprengels in der Regel alle Aufgaben der Bundesverwaltung und der Landesverwaltung, für die keine Sonderbehörden, wie beispielsweise etwa Abgabenbehörden des Bundes oder Grundverkehrsbehörden der Länder, eingerichtet sind.
In diesem Zusammenhang müssen auch die unmittelbare Verwaltung und die mittelbare Verwaltung beachtet werden. Die unmittelbare Verwaltung ist dadurch gekennzeichnet, dass sich Rechtsträger zur Besorgung ihrer Verbandsaufgaben eigener Organe bedienen. Hierbei stimmen die organisatorische und die funktionelle Organqualifikation überein; wie beispielsweise etwa die Besorgung von Verwaltungsaufgaben, die nach bundesstaatlicher Kompetenzverteilung in die Zuständigkeit des Bundes fallen, durch eigene Bundesbehörden. Bei der mittelbaren Verwaltung werden wiederum Verbandsaufgaben eines Rechtsträgers durch Organe besorgt, die organisatorisch einem anderen Rechtsträger zugeordnet sind. Hierbei stimmen die organisatorische und die funktionelle Organqualifikation nicht überein; mittelbare Bundesverwaltung wäre etwa die Wahrnehmung von Verwaltungsaufgaben, die nach bundesstaatlicher Kompetenzverteilung in die Zuständigkeit des Bundes fallen, durch Organe der Länder.
Weitere Beispiele für die mittelbare Verwaltung sind neben der mittelbaren Bundesverwaltung auch die Auftragsverwaltung in Angelegenheiten der Privatwirtschaftsverwaltung des Bundes oder die Mitwirkung von Bundesorganen an der Vollziehung von Landesgesetzen bzw. die Besorgung von Aufgaben der öffentlichen Verwaltung durch Selbstverwaltungskörper, wie etwa durch die Gemeinden.