Во всех справочниках того времени броненосцы типа «Полтава» упоминаются как хорошо сбалансированные корабли с удачным сочетанием орудийной мощи, защиты и скорости при умеренном водоизмещении. На момент спуска они были в числе самых мощных боевых судов в мире. Но из-за затянувшейся на 9 лет постройки «Петропавловск», «Полтава» и «Севастополь» вступили в строй одновременно с кораблями, заложенными в 1894 — 1896 гг., в проектах которых уже были учтены новейшие достижения в области бронирования, артиллерии и судовых механизмов. Внедрение крупповской брони и появление за главным поясом скоса бронепалубы (сначала на английских, а затем и на кораблях всех других флотов) позволило уменьшить толщину вертикальных плит по ватерлинии при сохранении надежной защиты жизненно важных частей корабля, а за счет этого увеличить площадь бронирования, включая оконечности. Увеличение площади бронирования становилось важным фактором из-за появления фугасных и полубронебойных снарядов с большим весом взрывчатой начинки, способных наносить невиданные до сих пор повреждения в небронированных участках борта. Значительную экономию веса, позволявшую усилить вооружение и защиту кораблей, давали новые водотрубные котлы, обеспечивающие к тому же большую мощность и быстрое поднятие пара при переходе с экономического хода на полный.
Поэтому к началу войны 1904 — 1905 гг. корабли типа «Полтава» уже не могли на равных соперничать с новейшими японскими броненосцами типа «Микаса». Известный справочник Джейна за 1904 г. соотносил их боевую силу как 0,8:1,0 в пользу последних [21]. Правда, потопить эти русские броненосцы в артиллерийском бою было нелегко, но пробитие незащищенных оконечностей даже средними и мелкими снарядами могло привести к затоплению части носовых и кормовых отсеков и значительной потери скорости. В таком состоянии русские корабли уже не представляли серьезной опасности для более быстроходных японских броненосцев и броненосных крейсеров, а сами могли стать легкой жертвой торпедных атак. Тем более что их противоминное вооружение из 47-мм и 37-мм пушек было почти бесполезным против появившихся 300 — 400-тонных эскадренных миноносцев. Стандартным противоминным вооружением броненосцев и крейсеров стали уже батареи из 12 — 24 75-мм орудий.
Если сравнивать «Полтаву» с равными по силе японскими броненосцами типа «Фуджи», можно отметить следующее. Главный пояс из гарвеевской брони на «японцах» был на 4 м короче (при большей длине корпуса — 125,5 м), но толще (356— 457 мм) и закрывался с концов мощными 356-мм переборками. Верхний пояс был тоньше (102 мм), но длиннее, чем на «Полтаве». Артиллерия ГК имела толстые 356-мм барбеты (на японских броненосцах диаметр барбета был больше диаметра поворотной платформы башни, а на русских — наоборот), но орудия прикрывались всего лишь 152-мм броней. Интересно, что единственный за всю войну случай пробития башни с разрывом снаряда внутри имел место именно на «Фудзи» в Цусимском бою. Орудия ГК на этих японских кораблях имели больший угол возвышения, что давало им возможность стрелять дальше, а в ходе блокады Порт-Артура — вести перекидной огонь по внутреннему рейду. Из десяти 152/40 орудий на «Фудзи» только 4 стояли в забронированных казематах на ГП, а у остальных 6 на верхней палубе были только противоосколочные щиты. Зато 4 торпедных аппарата из пяти были подводными, то есть хорошо защищенными от артиллерийского огня. Снаряды английского образца, которые использовались на японском флоте, были тяжелее и имели больший заряд взрывчатки, чем русские.
Применение двухорудийных башен среднего калибра на русских броненосцах явилось смелым, но, учитывая уровень техники того периода, преждевременным решением. Хотя все преимущества башен впоследствии подтвердились в кампаниях мирного времени (например, во время перехода «Петропавловска» через Бискайский залив), в ходе боевых действий все же больше сказывались их недостатки: малая скорость горизонтальной наводки из-за значительного веса и небольшой мощности механизмов; меньшая, по сравнению с батарейными орудиями, скорострельность из-за тесноты помещения и сложностей с подачей боезапаса; риск выхода из строя сразу двух орудий при одном удачном попадании (как правило, броня таких башен была тоньше брони казематов) или вследствие поломки не очень надежных механизмов. И именно на основании опыта войны 1904—1905 гг. ведущие морские державы отказались от применения башен среднего калибра на целых 20 лет. Хотя номинально 152-мм башни давали лучший огонь в нос и корму, слабо бронированные траверзные переборки русских броненосцев делали бой на острых курсовых углах очень рискованным.
Как артиллерийские платформы корабли типа «Полтава» также проигрывали японским, имевшим большие размеры и больший период бортовой качки. Реальная продолжительная скорость также была на полтора-два узла меньше.