И в каждом конкретном случае может быть по-разному: в одном случае имеет смысл купить пару плат оперативной памяти и забыть про проблему. А в другом случае имеет смысл провести общую оптимизацию проекта и переехать с кластера из трех серверов на один единственный хорошо оптимизированный сервер и СРАЗУ ЖЕ уменьшить свои расходы на сервера в ТРИ РАЗА.

Я Вам приведу конкретный пример: статья Прогрессивные технологии, как способ выжать из сервера максимум. Если Вам интересно, можете связаться с автором и спросить, сколько бы стоила поддержка серверов для проекта, если бы они решили не проводить серверную оптимизацию.

Тем не менее, все результаты специалистов по оптимизации легко поддаются количественной оценке: уровню нагрузки, оценки прироста производительности, скорости генерации страниц и т.д. Выбрать инструменты для подобного анализа До и После — одна из моих целей. Когда получится цельная картина — обязательно напишу об этом статью.

P.S. Сам по себе движок MediaWiki оптимизировать не нужно. Точнее нужно, но его оптимизацией должны заниматься сами разработчики и нас это не касается.

Задача специалистов оптимизировать связку всех различных технологий, на которых работает конкретный сайт. Изучить, в чем проблема конкретного проекта. Может быть 70% нагрузки генерируется всего-лишь за счет запросов статики со сторонних ресурсов? В таком случае, в нашем примере, имеет смысл перейти на связку nginx, как фронтенд-прокси и apache, как бекэнд.

Или вообще отказаться от Apache, и перейти на связку nginx + php-fpm + php. Но, нужно понимать, что в таком случае необходимо будет переписать формат всех .htaccess файлов, предварительно проверить стабильность работы скриптов на новом веб-сервере и т.д.

И из вот таких улучшений и состоит работа специалистов по серверной оптимизации. Не имеет смысла перечислять все возможные улучшения в этом комментарии, но, думаю, основную идею вы поняли.

Интересуют критерии оценки производительности до и после, оценки прироста производительности после оптимизации.

P.S. для примера проекта, вики-движок MediaWiki. На нем работает, в частности, википедия. Нужна ему оптимизация или нет ... кто лучше ответит если не специалисты по оптимизации.