Rubén Juárez nació el 5 de noviembre de 1947 en Ballesteros, Provincia de Córdoba y creció en Avellaneda, en el sur del Gran Buenos Aires. Estudió bandoneón desde temprana edad y en 1956, a los 9 años, ingresó en la Orquesta Juvenil del Club Atlético Independiente. En su adolescencia estudió guitarra, lo que lo llevó a integrar varios conjuntos de rock. Años después conoció al guitarrista Héctor Arbello, quien había tocado junto a Julio Sosa, «El Varón del Tango». Juárez y Arbello formaron un dúo con el cual comenzaron a realizar giras por distintas provincias de la Argentina.
A los 22 años, por intermedio de Lucio Demare, Juárez llegó a la boîte Caño 14, consagrándose desde su debut como uno de los artistas más destacados del lugar. Cuando el bandoneonista Aníbal Pichuco Troilo lo escuchó por primera vez en vivo, Juárez le pidió a Pichuco que fuera su padrino artístico. El 2 de junio de 1969 grabó su primer tema en la discográfica Odeón, Para vos, canilla, que fue un éxito inmediato. Un año después fue convocado por el animador Nicolás "Pipo" Mancera para cantar en su famoso y muy visto ciclo televisivo Sábados Circulares de Mancera, que lo hizo famoso.
Desde entonces actuó en los lugares más importantes de Argentina y del extranjero y grabó con figuras de la talla de: Armando Pontier, Charly García, Pedro Aznar, Leopoldo Federico, Raúl Garello, Litto Nebbia, el guitarrista Roberto Grela, José Colángelo, José "pepo" Ogivieki, Cristian Zárate, Pablo Agri, Daniel Naka y Horacio Romo. En 1989 realizó su única participación como actor (además de cantante), coprotagonizando junto a Raul Julia y Valeria Lynch el film Tango Bar, de Marcos Zurinaga.
Además de su excelente voz clara y grave, se caracterizó por utilizar un bandoneón blanco. Es posiblemente el único intérprete de tangos que ha unido al canto el hecho de ejecutar el bandoneón simultáneamente, lo cual lo convierte en un artista único dentro de la historia de la música rioplatense. Desde el 2003 -cuando realizaba una temporada en Carlos Paz- Rubén Juárez solía cantar acompañado por su hija primogénita, la también tanguera Lucila Juárez.
En el año 2002 se trasladó con su familia a vivir en la ciudad de Carlos Paz (a 35 km de la ciudad de Córdoba). En 2005 recibió el Premio Konex de Platino en la disciplina Cantante Masculino de Tango de la década en la Argentina. Poco después fue nombrado Ciudadano Ilustre de la Ciudad Autónoma de Buenos Aires.
En 2008 se le diagnosticó cáncer de próstata, que lo obligó a someterse a sesiones de quimioterapia cada tres semanas en la ciudad de Córdoba. En el mes de abril de 2010 se descubrió que el cáncer había hecho metástasis en los huesos, y en la noche del 28 de mayo de 2010, el actor y conductor Coco Sily interrumpió el programa "Animales sueltos" para pedir que la Casa del Actor enviara una ambulancia para traer a Juárez desde Carlos Paz, ya que había sufrido una descompensación que lo obligaba a abandonar la internación domiciliaria. Inmediatamente fue internado en terapia intensiva en el sanatorio Güemes de la Ciudad de Buenos Aires, donde falleció el 31 de mayo de 2010
