U svojoj mladosti don Anto Baković četiri je puta bio optužen i osuđen ukupno na deset godina i tri mjeseca zatvora. Prošao je divizijski zatvor u Leskovcu, Vojno-istražni zatvor u Nišu, KPD Niš, KPD Zenica, Centralni zatvor Sarajevo, Okružni zatvor Travnik i KPD Foča. Potpuno nevin, proveo je cijelu mladost po Titovim zatvorima. Na prvu robiju poslan je zbog obrane Stepinca, drugi, treći i četvrti puta zatvaran zbog svećeničkih aktivnosti, rada s djecom i mladeži te spominjanja imena Hrvat! Napominje da ništa nije radio ni govorio protiv ondašnje države i Tita! Nikakvom se politikom nije bavio, a najbolje godine mladosti proveo je po Titovim zatvorima.