Klaus Mertens erhielt schon während seiner Schulzeit Gesangsunterricht. Nach dem Abitur studierte er Musik und Pädagogik, darauf folgte zunächst eine pädagogische Laufbahn. Seine Gesangsausbildung, die er mit Auszeichnung abschloss, erhielt der gebürtige Niederrheiner bei den Professoren Else Bischof-Bornes, Jakob Stämpfl i und Peter Massmann. Unmittelbar danach begann eine rege Konzerttätigkeit im In- und Ausland. Der Bassist arbeitete sowohl mit namhaften Dirigenten wie Frans Brüggen, Philippe Herreweghe, René Jacobs, Ton Koopman und Nikolaus Harnoncourt als auch mit bedeutenden Orchestern wie beispielsweise dem Concertgebouworkest Amsterdam, dem Jerusalem Symphony Orchestra, den großen Orchestern Berlins und dem Chicago Symphony Orchestra zusammen.

Klaus Mertens, der bei zahlreichen internationalen Festivals ein gern gesehener Gast ist, gilt als namhafter und gefragter Interpret insbesondere der barocken Oratorienliteratur. So erfolgte unter verschiedenen Dirigenten die wiederholte Aufnahme der großen Vokalwerke Bachs. Die Produktion sämtlicher Bach-Kantaten, gemeinsam mit Ton Koopman und dem Amsterdam Baroque Orchestra, wurde im Oktober 2003 abgeschlossen. Mit dem Projekt waren große Tourneen in Europa, Amerika und Japan verbunden. Zu Mertens' Repertoire zählen ebenso die Konzertliteratur der Romantik, u. a. die Oratorien "Elias" und "Paulus" von Mendelssohn, als auch Werke großer Komponisten des 20. Jahrhunderts wie beispielsweise Hindemiths "Requiem" und Strawinskys "Oedipus Rex". Zahlreiche Rundfunk- und Fernsehaufnahmen im In- und Ausland sowie eine umfangreiche Diskografie von mehr als 120 CDs belegen seine Vielseitigkeit.

Mit dem Bach-Verein Köln und dem Philharmonischen Chor der Stadt Bonn unter der Leitung von Thomas Neuhoff arbeitet Klaus Mertens regelmäßig zusammen. So wird der Bassist auch im März 2010 - wiederum in der Kölner Phlharmonie - bei der Aufführung von Bachs Matthäuspassion durch den Bach-Verein Köln mitwirken.