Ustav Bosne i Hercegovine uspostavio je nadležnost tužilaštava na entitetskom nivou, dok je Tužilaštvo Bosne i Hercegovine uspostavljeno naknadno kao institucija s posebnom nadležnošću za postupanje pred Sudom Bosne i Hercegovine u krivičnim djelima propisanim Zakonom o Sudu BiH, Zakonom o Tužilaštvu BiH, Krivičnim zakonom BiH, Zakonom o krivičnom postupku BiH, Zakonom o ustupanju predmeta od strane Međunarodnog krivičnog suda za bivšu Jugoslaviju tužilaštvima u BiH. 

Nadležnost i područje djelovanja Tužilaštva propisani su Zakonom o Tužilaštvu Bosne i Hercegovine, prema kojem je Tužilaštvo:

• organ nadležan za provođenje istrage za krivična djela za koja je nadležan Sud Bosne i Hercegovine, te za gonjenje počinitelja pred Sudom Bosne i Hercegovine, u skladu sa Zakonom o krivičnom postupku Bosne i Hercegovine i drugim primjenjivim zakonima,
• organ nadležan za primanje zahtjeva za međunarodnu pravnu pomoć u krivičnim stvarima, u skladu sa zakonima, multilateralnim i bilateralnim sporazumima i konvencijama, uključujući i zahtjeve za izručenje ili predaju traženih lica od strane sudova ili organa na području Bosne i Hercegovine i drugih država, odnosno Međunarodnih sudova ili Tribunala,
• organ zadužen za izradu statističkog pregleda svojih aktivnosti (izvještaja o radu), te izradu informacije o stanju kriminaliteta u Bosni i Hercegovini i ukazuje na tendencije u njegovom kretanju. U zaključnom dijelu ove informacije glavni tužilac može iznijeti prijedloge zakonskih reformi.

Tužilaštvo BiH je sui generis institucija, te nije nadređeno entitetskim tužilaštvima nego je njegova nadležnost ograničena na procesuiranje krivičnih djela propisanih gore navedenim zakonima.

Druga tužilaštva u BiH uspostavljena su u skladu s postojećim političko-administrativnim ustrojem Bosne i Hercegovine tako da je:

Federalno tužilaštvo F BiH "vrhovno" tužilaštvo za deset kantonalnih tužilaštava s područja F BiH.
Republičko tužilaštvo RS je "vrhovno" tužilaštvo za pet okružnih tužilaštava na području Republike Srpske.
Javno tužilaštvo Brčko distrikta BiH je nadležno za područje Distrikta.

Šema organizacije svih tužilaštava u BiH