Abancay ya era un centro poblado antes de la llegada de los incas. Fue la frontera cultural incaica pues más allá del Valle del Pachachaca empezaba la zona de influencia Chanka. Los españoles nombraron este sitio como Amancay, Villa de Santiago de los Reyes luego de trasliterar la palabra quechua Amankay, que es una flor nativa de la zona. Es posterior que se pierde el nombre original de la ciudad llamándosele Villa de Abancay a pricipios de la época Republicana y posteriormente es elevada a la categoría de ciudad durante la República.
La decisiva Batalla de Abancay entre conquistadores almagristas y pizarristas tuvo lugar en el valle que se encuentra cerca a la ciudad.
Durante la colonia fue importante lugar de tránsito de mercancías entre las ciudades costeras y la sierra sureste. Micaela Bastidas, miembro de una familia de arrieros de la zona, en 1781, junto a su marido Túpac Amaru II, se sublevó contra el imperio español, en lo que se constituyó en uno de los primeros gritos de emancipación del continente americano.
Fue parte del departamento del Cusco hasta la creación del Departamento de Apurímac el 28 de abril de 1873. Hacia 1940 se construyó la carretera entre Nazca y Cusco, que pasa por Abancay, así como la Vía de los Libertadores entre Ayacucho y Cusco, convirtiendo a la ciudad en un nudo carretero que ha impulsado su economía.
En 1997, como consecuencia de las lluvias torrenciales, se produjo un huayco o corrimiento de tierra que sepultó a los pobladores de Ccocha y Pumaranra, los cuales están ubicados entre Abancay y Tamburco; sólo se rescataron 42 cadáveres de casi 400 personas sepultadas y hubo 200 heridos.
Laguna Uspaccocha, en el Santuario Nacional de Ampay.Abancay tiene una gran potencial turístico que abarca riquezas paisajísticas, arqueológicas, culturales (carnavales) y gastronómicas. Entre los principales atractivos destacan la Plaza de Armas de la localidad, el Monolito de Saywite, el Puente Colonial de Pachachaca y el Santuario Nacional de Ampay, donde se encuentra el nevado del Ampay con sus bellas lagunas y la representativa Intimpa. Los lugareños se enorgullecen de considerarla como la Ciudad de la Eterna Primavera por su clima templado-cálido durante todo el año.
En la ciudad de Abancay se encuentran la Universidad Tecnológica de los Andes (privada), Universidad Nacional "Micaela Bastidas" (pública), y la filial de la Universidad Alas Peruanas (privada), así como la ex Escuela Normal Mixta de Abancay (hoy Instituto Superior Pedagógico de La Salle).
