Название Аксай с тюркских языков переводится как Белая балка (белое русло), где «ак» — белый, «сай» — овраг, сухое русло. Первое письменное упоминание о населённом пункте, расположенном на территории нынешнего города Аксая, относится к 1570 году. Из статейного списка посольства Ивана Новосильцева в Турцию за 1570 год известно, что в Константинополь из Москвы через Азов было отправлено посольство, возглавляемое Иваном Петровичем Новосильцевым, с целью поздравить Селим-султана с его восшествием на престол Османской империи. В документе отмечено, что «азовской Сефер прислал к Ивану на встречу на Оксайское устье под Кобяково городище двух человек в приставы да толмача». Об этом 7 июля 1570 года И. Новосильцев сообщал царю Ивану IV Грозному в письме. С того времени турки и казаки разменивались в этом месте послами, следовавшими в Россию и Турцию.
Казачий городок неоднократно подвергался разорительным набегам со стороны турок, крымских татар и ногайцев. Однако удобное местоположение на высоком берегу при слиянии реки Аксая с Доном, на перекрёстке сухопутных дорог, ведущих в столицу Войска Донского — Черкасск (ныне ст. Старочеркасская), вновь и вновь влекло сюда людей. В документе 1734 года, хранящемся ныне в Аксайском музее, перечислены царские заставы, располагавшиеся вокруг Черкасска (ныне станица Старочеркасская), упомянута в нём и застава при Усть-Оксае. В документе говорится, что в Усть-Оксай во время разлива воды казаки с женами и детьми, а также вдовы, в основном из Черкасска, ежегодно выезжали почти на все лето; в поселении бывал торг с приезжими малороссиянами, на котором покупали и обменивали на рыбу хлеб и другой товар.
В 1742 году на карте появился Усть-Аксайский стан по названию протекающей здесь реки. В 1783 году в Аксае начали постройку каменной Троицкой церкви с пределами святого Николая чудотворца и великомученика Георгия Победоносца. Многоярусный, резной, золоченый по зелёной земле, иконостас этой церкви устроен в С.-Петербурге архитектором К. Б. Растрелли. Зимой 1783/84 гг. в Усть-Аксайском стане проживал А. В. Суворов, командовавший тогда Кубанским корпусом. В 1786 году в Усть-Аксайском, «по найму рядчика Буденнова», были возведены Триумфальные ворота.
В 1797 году Усть-Аксайский стан был переименован в Усть-Аксайскую станицу, а приставка «Усть» позднее исчезла из названия. 1 июня 1820 года А. С. Пушкин ночевал в станице Аксайской проездом на Кавказ. В 1825 году в станице был построен Успенский храм.
В период Крымской войны, в 1854—1855 годах, в устье реки Аксай была организована Азовская гребная флотилия. Тогда же начал выпускать продукцию пороховой завод, расположившийся на пологом склоне балки северо-западной окраины станицы. Устройство в 1854 году капитальной Ольгинской дамбы через все займище Дона ещё больше способствовало торговым и мореходным выгодам станицы Аксайской.
На дальнейшие судьбы станицы значительное влияние оказало строительство в 1864 году первой на Дону железной дороги, соединившей Александровск-Грушевские угольные копи (ныне город Шахты) и станицу Аксайскую, движение по ней началось в январе 1864 года. В 1868 году железнодорожная ветка была доведена до Ростова-на-Дону, соединив станицу с железнодорожной сетью страны.
Указом Президиума Верховного Совета РСФСР от 23 декабря 1957 года станица Аксайская, Ростовской области, получила статус города районного подчинения и название Аксай.
С 1 февраля 1963 года по 12 января 1965 года Аксай имел статус города областного подчинения. Указом Президиума Верховного Совета РСФСР от 12.01.1965 года город Аксай вновь получил статус города районного подчинения и стал центром Аксайского района Ростовской области.