De Zwart Russische Terriër is een "product"  van de vroegere sovjetse kynologen en hun hondenkennis. In de veertiger jaren wilde het toenmalige Rode Leger een diensthond scheppen die voor object- en grensbewaking kon worden ingezet .De Zwarte Terriër kwam tot stand door het doelgeoriënteerde fokken van specialisten van de staatskennel "Rode Ster”.  

Het doel was een grote massieve, robuuste, temperamentvolle en werkgrage hond te fokken, die op veel plaatsen inzetbaar is en die zich goed aan klimatologische veranderingen van het land kon aanpassen. Zo ontstond een nieuw hondenras.

De rassen die aan de basis van de Russische terriër staan zijn de Riesenschnauzer, de Airedale terriër en de Rottweiler. Daarnaast werden er nog verschillende andere rassen gebruikt.
In de jaren 50 kwamen de honden ook bij hobbyfokkers terecht. De fysieke kenmerken en de werkkenmerken van de Zwarte Terriërs werden opzettelijk gefokt door de fokkers, terwijl zijn aantrekkelijke verschijning vele later pas ontstond. 
In mei 1984 werd de Zwarte Russische terriër door de FCI erkend.