1947 yılında Uşak'ta doğdu. Evli ve üç çocuk babası. Lisans eğitimini İngiltere'de The City University London'da tamamladı. 1980 yılında Türkiye Cumhuriyet Merkez Bankası Dış Borç Erteleme Servisi'nde göreve başladı. 1995 yılında Müdür, 1996'da Para Piyasaları Genel Müdür Yardımcısı oldu. 2002 yılında İşçi Dövizleri Genel Müdürlüğü'ne atanan Yılmaz, 1 Mayıs 2003'ten itibaren Banka Meclisi Üyesi seçildi. 13 Nisan'daki Genel Kurul'da yeniden bu göreve seçilen Yılmaz, aynı zamanda Para Politikası Kurulu üyesi.
