Своё происхождение цвергшнауцер (миниатюрный шнауцер), так же как и ризеншнауцер (гигантский шнауцер), ведёт от миттельшнауцера (среднего шнауцера; до появления миниатюрного и гигантского шнауцеров эта порода называлась шнауцер без уточнения).
Происхождение собственно шнауцеров достоверно не установлено. Теория Теофила Штудера о происхождении шнауцеров, как и других собак, от торфяной собаки, найденные останки которой датируются III-IV векам до нашей эры, опровергнута генетическими исследованиями. Очевидно что более близкими предками шнауцера являются жесткошёрстные собаки Южной Германии, которых в средние века держали жители тех мест для охраны жилища и борьбы с грызунами, подобно тому, как в то время в Англии использовались терьеры.
Первые сведения о выведении цвергшнауцеров в Германии относятся к концу XIX века. Их предки охраняли сельские амбары от крыс и других паразитов. Для создания миниатюрной копии известного тогда миттельшнауцера, были скрещены несколько поколений мелких представителей породы. При скрещивании с другими породами, такими как аффенпинчер, пудель, миниатюрный пинчер, шпиц, в качестве побочного эффекта появлялись цвета, не соответствовавшие конечной цели заводчиков, и для стабилизации генофонда разноцветные и белые щенки исключались из программ разведения. Первый миниатюрный шнауцер был зарегистрирован в 1888 году, первая выставка была проведена в 1899 году.
Благодаря их храбрости цвергшнауцеры первоначально использовались для охраны стад, маленьких ферм и домов. Со временем они стали использоваться для ловли крыс, потому что у них было достаточно ловкости для этого, а небольшой размер позволял им забираться в труднодоступные места.
В России первые цвергшнауцеры появились в 1974 году. Это были две суки и кобель Фриц Тинкер Казанова (вл. Гросман), вывезенный из США. Позднее Л. Поповой удалось в течение нескольких лет привозить собак из Чехословакии. В Москве разведение миниатюрных шнауцеров началось в 1980 году, когда были получены первые пометы от собак, привезенных из Львовской пограншколы, все происхождения ЧССР