La pire répression jamais connue par un pays en temps de paix, les Grandes Purges aboutissent entre 1936 et 1939 à l’exécution de 680 000 personnes et à la déportation de centaines de milliers d’autres. En août 1937, Staline autorise personnellement le recours à la torture dans les prisons, et ne l’interdit à nouveau que fin 1938.
La grande purge du parti en 1936 a eu pour but de contrôler le recrutement en son sein. À la fin de 1936, avant même que les grandes purges ne commencent, le Parti ne compte plus que 1 450 000 membres, soit une diminution de 750 000 en quatre ans. En 1937, première année de purge en profondeur, 500 000 autres membres disparaissent des registres, le plus souvent fusillés ou envoyés dans des camps. 1937 marque l'accentuation de la politique entreprise.
En août 1936, Staline fait juger Kamenev et Zinionev et 14 autres personnes, accusés d'avoir constitué un « centre terroriste trotsko-zinoviéviste », déjà responsable de l'assassinat de Kirov et de comploter l'assassinat de Staline et de la plupart des membres du Politburo, pour restaurer le capitalisme avec l'aide de fascistes allemands et japonais. Les preuves sont visiblement truquées ; en particulier celles attestant une rencontre entre les fils de Trotski et les accusés.
En septembre, Staline fait remplacer Guenrikh Lagoda par Nikolaï Lejov à la tête du NKVD pour renforcer la répression. L'étape suivante date de la session du Comité central de février–mars 1937 où, après des débats houleux, Staline,Molot, Ejov finissent par l'emporter sur les partisans d'une ligne modérée. Ils obtiennent la tête de Nikolaï Boukharine et Rykov, aussitôt arrêtés (leur ancien collègue Mikhaïl Tomsky s'était suicidé). En mars 1938, Boukharine, Rykov, Iagoda passent à leur tour en procès. Par la suite, Toukhatchevsky et six autres maréchaux sont également jugés sommairement et exécutés. L'armée est décimée.
La période la plus intense des Purges fut de 1936 à 1938, pendant laquelle Nikolaï Iejov fut à la tête du Commissariat du peuple aux Affaires intérieures (NKVD), les Russes appellent d'ailleurs cette période « Iejovchtchina ». Durant ces deux années, la répression fait plus de deux millions de victimes, dont 725 000 exécutions. La directive « prikaz 00447 », appliquée à partir du 5 août 1937 ordonne à la police secrète de fusiller un quota minimal de 75 950 personnes et d'en envoyer 193 000 au goulag.
À Moscou, plusieurs procès spectaculaires furent tenus, pour convaincre l'opinion publique interne et étrangère de l'existence d'une vaste conspiration antisoviétique et pour servir d'exemple pour les procès qui se déroulaient dans le reste du pays. Ces procès se sont révélés être mis en scène de toute pièce. Les accusés se retournaient les uns contre les autres, tout en n'oubliant pas de s'accuser. Ces aveux, pour certains totalement fantasmagoriques (rencontre dans un hôtel qui n'existait plus le jour de la rencontre, personnes se trouvant à plusieurs endroits en même temps, etc.) devaient très certainement avoir pour origine les fortes pressions et tortures exercées par le NKVD, sur ordre de Staline. La plupart de ces procès finissaient par la condamnation à mort des victimes, rarement par l'exil ou par incarcération dans un Goulag.
Presque tous les Bolcheviks qui avaient tenu un rôle de premier plan pendant la Révolution russe de 1917, ou dans le gouvernement de Lénine ensuite, furent exécutés ou exilés pendant cette période. Léon Trotski part en exil au Mexique mais il est assassiné par un agent soviétique en 1940. Seuls parmi les vieux bolcheviks, Viatcheslav Molotov, Mikhaïl Kalinine et bien évidemment Staline survécurent à ces purges.
Ces procès, cependant, n'étaient qu'une partie mineure des purges, et l'un de leurs buts étaient de détourner l'attention du monde de ce qui se passait dans le reste du pays. Près d'un million de personnes furent exécutées par des pelotons et bien plus furent envoyées dans des prisons ou des camps gérés par le goulag où beaucoup ne survivaient pas. Les estimations des victimes varient beaucoup, le chiffre revenant le plus souvent étant de 20 millions de morts, mais selon certains, ce chiffre correspondrait au nombre de déportés (de la période allant de 1930 à 1953) et le nombre de morts (exécutions et famines comprises) de 1932 à 1939 irait jusqu'à neuf millions de personnes.
Beaucoup de ceux accusés et emprisonnés l'étaient sous l'inculpation de sabotage économique, d'affiliation avec le trotskisme ou d'être des agents de la subversion étrangère. De nombreux chefs locaux du parti furent dénoncés et accusés d'abus de pouvoir.
À l'été 1938, Staline et son entourage proche réalisèrent que les purges étaient allées trop loin et Iejov fut rétrogradé comme commissaire du peuple au transport fluvial le 21 août puis envoyé en purge. Lavrenti Beria fut alors placé à la tête du NKVD. Cela marqua la fin des Grandes purges, cependant la pratique d'arrestation de masse et d'exil continua jusqu'en 1953, à la mort de Staline.
Le pays traverse donc une intense période de terreur, de délation et de suspicion généralisée, qui met bien des nerfs à rude épreuve (la pression subie en conduit plus d’un au suicide), et qui brise les solidarités amicales, familiales et professionnelles. Après le premier procès de Moscou en août 1936, c’est l’année 1937 qui marque le vrai lancement de la Grande Terreur, dont elle deviendra synonyme.
À court terme, Staline veut fournir à la population des boucs émissaires aux difficultés du quotidien, en rejetant tout le mal sur une pléthore de « saboteurs ». Au-delà, il renforce son pouvoir absolu en liquidant la vieille garde bolchevique, qui sait son faible rôle dans la révolution, et en brisant les réseaux clientélistes et les fiefs personnels que se sont taillés les ministres, les membres du Politburo, ou bien, à tous les échelons, les responsables locaux du Parti et les directeurs de Goulag. Les cadres compétents et les techniciens, qui osent souvent contredire ses objectifs politiques irréalistes, sont aussi particulièrement visés.
Enfin, Staline entend éliminer radicalement tous les éléments socialement suspects, et tous les mécontents suscités par sa politique. Alors que les tensions diplomatiques s’accumulent en Europe depuis l’avènement de Adolf Hitler, et que le déclenchement de la guerre d'Espagne en juillet 1936 fait craindre un conflit général, il s’agit d’éliminer tout ce qui pourrait constituer une « cinquième colonne » de l’ennemi en cas d'invasion.
Pour lancer et développer cette terreur de masse, Staline bénéficie du soutien indispensable de ses fidèles, mais aussi du zèle indéniable de nombreux responsables locaux, de bien des policiers et bureaucrates enthousiastes, ou de bien des simples citoyens délateurs.
Les trois procès de Moscou, en 1936-1939, permettent d’éliminer une cinquantaine d’anciens compagnons de Lénine. C’est la face la plus spectaculaire de la liquidation de la vieille garde du parti bolcheviks. Staline se débarrasse définitivement de rivaux vaincus depuis longtemps. Il élimine aussi la moitié du Politburo, décime les délégués du XVIIe Congrès, et fait exclure les trois quarts des membres du Parti ayant adhéré entre 1920 et 1935. Toutefois, les purges du Parti ne constituent qu’une très faible part de la répression : selon les calculs de Nicolas Werth, celle-ci touchera à 94 % des non-communistes.
La Terreur n’épargne en effet aucun organisme : des coupes claires frappent ministères, Gosplan, Komintern, Armée rouge et même à terme… les gardes et les chefs du Goulag, ainsi que les policiers du NKVD. Les purgés sont remplacés par une nouvelle génération de cadres qui voue à Staline un culte sans réserves : les jeunes promus de la « génération de 1937» (Khroutchtchev, Beria, Malenko, Jdanov, Brejnev, etc.) n’ont connu que lui et lui doivent tout.
Ne se limitant nullement aux dirigeants, la terreur s’abat sur toute la société. Le 2 juillet 1937, des quotas fixant le nombre de suspects à fusiller (catégorie 1) ou à déporter (catégorie 2) sont envoyés par le centre à toutes les régions. Les responsables locaux, eux-mêmes menacés, rivalisent de zèle pour dépasser ces chiffres et pour demander au Kremlin la « permission » de frapper encore plus de gens : d’où une surenchère sanglante, et une inflation rapide des condamnations. Des 260 000 initialement prévues, on passe vite ainsi à plus de 400 000 arrestations. Staline signe en personne 383 listes de condamnés à mort représentant 44 000 exécutions. Ses fidèles comme Kaganovitch, Jdanov, ou Khroutchtchev sont aussi dépêchés dans les diverses Républiques pour radicaliser la purge dans le Parti et la population.
Parallèlement, une série d’opérations du NKVD frappe par centaines de milliers certains éléments particulièrement suspectés :
- Le décret n° 00447, signé le 30 juillet 1937 par Lejov, frappe par centaines de milliers de dékoulakisés appauvris par la collectivisation, les innombrables vagabonds et marginaux engendrés par cette dernière, les anciens membres des classes dirigeantes et leurs enfants, les « gens du passé » déclassés par la révolution ou par le Grand Tournant.
- Tous les individus entretenant ou ayant entretenu des relations avec l’étranger sont sur la sellette. Le corps diplomatique est décimé, de nombreux ambassadeurs rappelés et liquidés, tout comme bon nombre d’agents du Komintern, et certains anciens combattants d’Espagne. La terreur s’étend jusqu’aux esperantophone, aux philatéistes et aux astronomes.
- Les minorités nationales frontalières, déjà traitées en suspect par les derniers tsars, puis par les bolchéviques, sont particulièrement exposées. Le 11 août 1937, Lejov signe le décret n° 00485 qui entraîne l’arrestation de 350 000 personnes, dont 144 000 Polonais et de nombreux Baltes ou Finlandais : 247 157 seront exécutées, dont 110 000 Polonais. À la frontière chinoise, 170 000 Coréens sont déportés en Asie centrale, tandis que les ouvriers ayant jadis travaillé sur le chemin de fer soviétique de Kharbin en Mandchourie sont liquidés. Mais c’est aussi la sédentarisation forcée des nomades d’Asie centrale, notamment au Kasakhstan, qui se solde par un désastre démographique et par la perte de nombreuses traditions culturelles.
- Le principe totalitaire de la responsabilité collective fait retomber la « faute » d’un individu à son conjoint, à ses enfants, à sa famille entière, à tout son réseau d’amis, de subordonnés, de collègues et de relations. Par exemple, le 5 juillet 1937, le Politburo ordonne au NKVD d’interner toutes les épouses de « traîtres » en camp pour 5 à 8 ans, et de placer leurs enfants de moins de 15 ans « sous protection de l’État ». Ordre qui conduit à arrêter 18 000 épouses et 25 000 enfants, et à placer près d'un million d’enfants de moins de 3 ans dans des orphelinats.
En 1939, à l’arrêt des Grandes Purges - autrement appelée la Grande Terreur - Staline a éliminé les dernières sphères d’autonomie dans le parti et la société, et imposé définitivement son culte et son pouvoir absolu. Il a pris ce faisant le risque de désorganiser gravement son armée et son pays, alors même que la guerre approche.