Зиновий Ефимович Гердт родился 21 сентября 1916 года в Псковской области, в бедной еврейской семье. Настоящее имя – Залман Эфроимович Храпинович. Юноша окончил фабрично-заводское училище Московского электрозавода, в 15 лет начал работать слесарем-электриком, участвовал в Метрострое. Именно при заводском клубе Гердт начал играть свои первые роли.
Театр рабочей молодежи (ТРАМ) раскрыл талант молодого актера, и следующей вехой его жизни стала работа в Театре кукол при Московском Доме пионеров. Театральную деятельность Гердта прервала Великая Отечественная война. Зиновий ушёл на фронт добровольцем, командовал сапёрной ротой.
В феврале 1943 года в госпиталь привезли тяжело раненного старшего лейтенанта. Офицеру пришлось выдержать 11 сложнейших операций, но нога, хотя и была спасена, навсегда стала короче здоровой на 8 сантиметров. С тех пор Гердт всегда прихрамывал – однако, что интересно, эта хромота стала неотъемлемой частью образов его героев. Многие зрители думали, что хромает он специально – роль требует.
После войны Зиновий Гердт продолжил работу в театре кукол под руководством С.В. Образцова (до 1982 года), затем начал дублировать роли и выступать как закадровый рассказчик на кинематографе. Долгое время Гердт так и проработал в кино – за кадром. Да и на экран он попал как эпизодический актёр.
Однако режиссёры фильмов «Фокусник» и «Золотой телёнок», куда Гердт был приглашён в эпизоды, разглядели в актере оригинальный талант. Гердт и сам помогал – не играл по писанному, а вносил в каждую роль свою индивидуальность. В результате вместо эпизодов появились великолепные образы фокусника Кукушкина и жулика Паниковского.
Гердта наконец-то рассмотрели и начали приглашать в фильмы. Он выступал в основном как комедийный, острохарактерный актёр. Комедийность, юмористичность игры подчеркивала удивительно сочетающаяся с юмором лиричность и мягкая грусть. Всего в фильмографии актера около 80 киноролей.
Некоторое время Зиновий Гердт работал и на телевидении, вел «Кинопанораму» в 1960-х и «Чай-клуб» в 1990-х годах. А также продолжал играть на сцене - с 1983 года он был актером Московского драматического театра имени М.Н. Ермоловой.
Великий актер Народный артист СССР Зиновий Ефимович Гердт скончался 18 ноября 1996 года в Москве. В Киеве установлен памятник Паниковскому, а прообразом ему послужил, естественно, Зиновий Гердт.