После подавления восстания Степана Разина власти собирались вообще покончить с Острогожском, расселив его жителей по разным местам. Но татары снова напомнили о себе. В мае 1673 года они подходили к городу «в числе тысяч с две, побили и угнали много людей, конные и животинные стада отогнали и разорения чинили». Волей-неволей пришлось укреплять мятежный город, население которого составляло уже 3,5 тысячи человек. Но власти решили ускорить начавшийся процесс расслоения среди казачества.
Поначалу было упразднено казацкое право избирать себе полковника, а после и казацкую старшину. Все должности в полку стали замещаться людьми, назначавшимися царскими властями. Земли и имущество, ранее считавшиеся только закреплёнными за старшиной, теперь становятся их собственностью с правом передачи по наследству.
С конца XVII века Русское государство начало планомерную борьбу с Турцией и Крымским ханством за возврат исконных русских земель и выход к южному морю. Сохранённый казачий полк в Острогожске становится непременным участником всех южных походов русской армии. Особенно активное участие принимали острогожцы в подготовке и осуществлении Азовских походов Петра I. По специальным нарядам для строительства флота в Воронеж направлялись плотники и лодочные мастера. Сотни людей были отправлены в ольшанские и битюцкие леса для заготовок корабельного леса. Городские умельцы изготовляли бочки для пороха, оконные рамы для кораблей, облицовочную плитку для корабельных печей и даже варили пиво для царского стола. На всех жителей Острогожского полка была возложена обязанность выжигать уголь и добывать смолу. Во время самих походов конные и пешие полковые казаки были включены в армию графа Шереметева, а всех неслуживших людей мобилизовали с лошадьми и повозками для подвоза боеприпасов, продовольствия и фуража. В городе и селениях оставались тогда только старики да женщины с детьми.
Вот что писали острогожцы Петру I об этих походах: «Да мы ж, холопы твои, с бояриным и воеводою с Борисом Петровичем Шереметевым громили татар на речке Берестовой и были мы холопы твои на приступах под турецким городом Кази-Карменом, и на приступах бились с неприятельскими людьми не щадя голов своих, раны и всякую нужду терпели и кровь проливали». (См.: Вайнберг Л. Б. Материалы по истории Острогожска (акты XVII—XVIII столетий). Воронеж, 1886, с 207).
И, может, не случайно после взятия Азова Петр I избрал Острогожск местом встречи с гетманом Украины И. Мазепой. Встреча состоялась 16 сентября 1696 года на Майдане в специально приготовленном шатре. Коварный гетман в знак верности подарил Петру саблю и щит на золотой цепи, украшенные драгоценными камнями. Царь поверил гетману, принял его милостиво, одарил шубой со своего плеча, провёл в беседе несколько часов и обедал с ним. Выслушал царь и жалобы острогожцев на разорение и нарушение местными властями данных им привилегии. Поблагодарив за активное участие в Азовских походах, он ещё раз подтвердил все права, данные казакам его отцом, и подарил 52-пудовый колокол. Уехал Пётр в специально присланной из Воронежа карете, уверенный в верноподданничестве острогожцев. Но события последующих лет не оправдали доверия царя. Осенью 1707 года в город приходили булавинокие казаки, они звали его жителей на Дон продолжать дело Разина, обещая скоро быть и в Острогожске. Многие острогожцы ушли за ними. Стремясь предупредить повторение событий 1670 года, царские власти решили превратить Острогожск в опорный пункт карательных войск, направленных на борьбу с булавинцами. Так и не смогли казаки Булавина занять Острогожск.
К началу XVIII века южный оборонительный рубеж Русского государства с белгородской черты отодвигается далеко на юг. Острогожск утрачивает стратегическое значение, но боевых доспехов город не снимает. Вместе с русской армией острогожские казаки участвовали в боях под Нарвой, в войне за так называемое польское наследство, в трёхлетней войне с Турцией за Крым и семилетней войне с Пруссией. Одновременно с этим каждый год сотни острогожцев отправлялись на юг строить новые и новые линии пограничных укреплений. Тогда-то и появилась у них песня:
Пооралы, посиялы,
Да никому жаты:
Пишлы наш козаченькы
Линии копаты.
Тем не менее во всех документах XVIII века подчеркивается, что главным занятием жителей Острогожска было земледелие. Это нашло отражение и в гербе города, утверждённом императрицей Екатериной I в 1729 году: «В щите, в зелёном поле златой оржаной сноп, показующий богатые жатвы областей сего города».
К полку приписываются огромные территории, расположенные на правом берегу Тихой Сосны к югу до реки Айдар, для их освоения. Но количественный состав полка с каждым годом уменьшается. Лишённые казацкого звания становились ремесленниками пли переселялись на новые земли, основывая там слободы и хутора. Лучшие земли под видом «наградного пожалования» переходили в собственность царских вельмож Шереметева, Кантемира и других. От них не отставала и казацкая старшина. Последний полковник Острогожского казачьего полка С. И. Тевяшов присвоил около 100 тысяч десятин. На захваченных землях селили новоприбывающих переселенцев, которые попадали в личную зависимость от владельца.
К середине XVIII века край был заселён. Помимо нескольких десятков хуторов там выросли большие слободы — Богучар, Новая Калитва, Россошь, Ольховатка, Кантемировка, Подгорное и другие. Острогожский полк стал совершенно ненужным, и в 1765 году указом Екатерины II он был ликвидирован. Казацкая старшина получила дворянские звания. За ними навечно закрепили захваченные земли вместе с жившими на них крестьянами. Рядовых казаков стали называть государственными войсковыми обывателями и вскоре лишили всех привилегий, сравняв в правах с остальным населением России.
В ответ на эти акции правительства среди бывших казаков начинаются волнения. В том же 1765 году беглый воронежский солдат Гаврила Кремнев объявил себя царём Петром III. Разъезжая по сёлам, он обещал всем улучшить жизнь. Его с почётом принимали в Коротояке, Солдатском и в других селах. Но Кремнев был схвачен.
Новые волнения в наших краях вспыхнули во время Крестьянской войны под предводительством Е. И. Пугачёва. Многие острогожцы, ожидая пугачёвцев, направлялись в леса, где создавали отряды «лесных братьев», другие уходили на Дон и Волгу, становясь воинами пугачёвской армии. Известно, что одним из пугачёвских отрядов, действовавших по рекам Хопру и Воронежу, командовал острогожец Луковкин, которого называли полковником.
Подавив Крестьянскую войну и расправившись с её участниками, царское правительство приступило к упорядочению местного управления.
В 1779 году на территории бывшего Острогожского казачьего полка учреждаются Бирюченский, Богучарский, Коротоякский и Острогожский уезды.
В новом Острогожском уезде оказалось 14 больших и малых слобод и 60 хуторов, в которых было 3192 двора с общим количеством населения около 20 тысяч человек. Острогожск стал центром уезда. Население его в то время составляло свыше 12 тысяч. На 39 улицах и переулках города было 1632 двора, из которых 1280 дворов принадлежали войсковым обывателям (бывшим рядовым казакам), 108 дворов — дворянам, духовенству и купцам, а остальные — людям других сословий (однодворцам, разночинцам, канцелярским служащим). За исключением 12 каменных строений, все остальные здания в городе были деревянные.
В одном из ответов на запрос Петербургской Академии наук, посланном в 1782 году, о Острогожске сказано: «…Старшины и мещанство из лучших имеют у себя винные заводы, салотопки, ветряные и водяные мельницы… Ремесло у жителей города простое кожевное, сапожное, сыромятное, ткацкое, портняжное, плотницкое, кузнечное… Искусные тут художники есть живописцы, иконописцы, золотых и серебряных дел мастера, столяры и медники… В городе в год бывают три ярмарки, на которые приезжают купцы с великороссийских разных городов… из Малороссии, Дона и слободских полков… Училищ в городе пет. Благородные дети обучаются разным наукам и языкам в Харькове, в учреждённых там училищах, как-то: коллегии и классах. Прочее же из простолюдинов юношество обучается здесь российской грамоте церковнослужителями частно».
В 1786 году высочайше утверждается новый план города. Его территория и население уменьшаются более чем наполовину. Для расчленения единства казаков с двух сторон отсекаются окраины и преобразовываются в самостоятельные пригородные слободы — Лушниковку, Новую Сотню и Пески.
Город в новых границах стал представлять собой почти правильный четырёхугольник с 14 прямыми и широкими улицами (8 вдоль и 6 поперёк). Жителям, оставшимся в новой черте города, запрещалось иметь гумна и предписывалось перенести свои жилища на новые места в соответствии с планом. Символ казацкой вольности — крепость, как мешавшую перестройке города по новому плану, снесли. Многие бывшие казаки, не связанные с ремеслом и не желавшие расстаться с земледелием, переселялись за черту города. Усадьбы тех, кто покидал город, за бесценок скупали купцы и деловые люди, потом они их продавали втридорога. Первые 20 лет жизни в новых границах город рос медленно, так как действовал закон, разрешавший строить новые здания только из кирпича, и лишь в 1807 году последовало разрешение строить и деревянные, но обязательно на каменном фундаменте.
Отдавая дань уже сложившимся в городе традициям, вдоль новых улиц были поставлены деревянные заборы и насажены декоративные деревья, а на всех новых усадьбах — фруктовые сады. Утопающий в зелени, с ровными, прямыми и широкими улицами Острогожск называли тогда воронежскими Афинами. Таким и увидел его весной 1817 года поручик Кондратий Фёдорович Рылеев, прибывший сюда из заграничного похода вместе с первой драгунской дивизией и написавший о городе такие строки:
Там, где волны Острогощи
В Сосну Тихую влились;
Где дубов сенистых рощи
Над потоком разрослись;
Где в стране благословенной
Потонул в глуши садов
Городок уединённый
Острогожских казаков…
Много времени прошло с тех пор. Но и сейчас ещё удивляешься жизненной энергии и трудолюбию острогожских казаков, которые собственными руками создавали крепостные сооружения и насыпали непроходимые земляные валы. В трёх километрах северо-западней города сохранилась первая линия обороны крепости под названием Турецкий вал. Остатки второго крепостного вала есть в северной части города по центру улицы Кирова. Почти километровые земляные гати, насыпанные тогда в поймах рек Тихой Сосны и Острогощи, послужили основой для последующего сооружения современной дамбы, соединяющей город с вокзалом.
При въезде в город со стороны вокзала у самого берега реки Тихой Сосны можно видеть огороженное место бывшего родника, из которого гарнизон крепости во время осады брал чистую ключевую воду. Крепления подземного хода к роднику со временем сгнили, и ход обвалился. Это место, по которому сейчас движется нескончаемый поток автомобилей, острогожцы называют Провальней.
От деревянной крепости Острогожска сохранились полусгнившие дубовые брёвна с башен, стеклянная посуда и облицовочная керамическая плитка, найденные в конце 1960-х годов при проложении тепловых и коммуникационных трасс, и переданные местному краеведческому музею.
В народной памяти живы многие наименования тех времён. Одну из окраин города и сейчас называют Лушниковкой, тут когда-то поселилась сотня лучников, вторую окраину — Новая Сотня, её когда-то заселила вновь образованная сотня казаков. Давно застроенную площадь, на которой проводились военные учения и сборы Острогожского казачьего полка, а также шла оживлённая торговля, до сих пор называют Майданом и Торговицей. Недалеко от города, вниз по реке, есть большой плес, названный Резанкой, там не раз происходила страшная резня казаков с татарами.