In augustus 1991 behoorde hij tot de groep conservatieve samenzweerders die Sovjetpresident Michail Gorbatsjov afzetten en de noodtoestand uitriepen. Van 19 tot 22 augustus1991 was het Staatscomité voor de Noodtoestand in de Sovjet-Unie aan de macht. Krjoetsjkov was een van de leden van dit comité. Toen bleek dat de coup slechts gedeeltelijk was geslaagd en dat de bevolking van de Sovjet-Unie, onder leiding van liberale politici zoals Boris Jeltsin (president van de Russische Socialistische Federatieve Sovjetrepubliek) zich met alle macht tegen de coupplegers bleef verzetten, trad het comité op 22 augustus af en werd Gorbatsjov in functie hersteld.
De ontwikkeling die het comité had willen stuiten, raakte door dit falen juist in een stroomversnelling. De populariteit van Boris Jeltsin was enorm gegroeid. De desintegratie van de Sovjet-Unie had geleid tot de afscheiding van belangrijke Sovjetrepublieken als Oekraïne. In december 1991 viel de Sovjet-Unie uiteen. Jeltsin, president van de Russische Federatie, nam het heft in handen.
Krjoetsjkov werd na de mislukte couppoging van zijn post als KGB-chef ontheven.