La Plaza Colombia se encuentra limitada por la Avenida Montes de Oca, principal arteria de Barracas que comunica el centro de la ciudad con los partidos de la zona sur desde hace siglos, y las calles Isabel la Católica, Pinzón y Brandsen.
La manzana de la plaza estaba ocupada por la Quinta de los Guerrero y se hizo famosa por al asesinato de Felicitas Guerrero en 1872, a raíz del cual en 1876 se construyó la Iglesia de Santa Felicitas que está sobre la calle Isabel la Católica.
En 1937, la entonces Municipalidad de Buenos Aires decidió la demolición de los antiguos edificios aristocráticos para la apertura de la plaza pública. Los antiguos túneles que conectaban la residencia Guerrero con la iglesia se mantienen actualmente bajo tierra, y se pueden visitar de forma guiada.