Para que uma aplicação aguente diversas requisições é preciso distribuí-la entre diversas máquinas que funcionem em paralelo num padrão horizontal, seja isso através de um Load Balancer ou seguindo estratégias semelhantes de distribuição.
(Assista em 09min 36seg)
ESCALABILIDADE
Nas operações de TI, a escala horizontal representa a adição de novas máquinas para sustentar uma aplicação. Enquanto na escala vertical é adicionado mais processamento e recursos computacionais, melhorando o hardware de uma máquina, por exemplo.
— PRIMEIRO PASSO: TRABALHAR DE FORMA ELÁSTICA
Trabalhando de forma elástica você guarda as suas sessões num banco de dados, além de utilizar assets e não armazenar os logs nas máquinas. Assim os arquivos para upload não ficam mais na máquina; você deve deixá-los numa CDN (Content Delivery Network).
Isso também implica que as modificações no seu sistema podem ser destruídas a qualquer momento, já que ao trabalhar dessa forma você cria e remove máquinas a todo momento, implicando o risco de você perder tudo o que foi gerado.
Somente com alguns desses pontos você vai conseguir escalar, de uma forma ou de outra, mesmo gastando um pouco mais caso a sua aplicação não esteja otimizada.
— SEGUNDO PASSO: MONITORAMENTO DE PERFORMANCE
Você também deve trabalhar com serviços de APM (Application Performance Monitoring), que te permitem monitorar e resolver os principais gargalos da sua aplicação. Ao fazer isso você pode garantir que elas aguentem mais requisições. Mas, lembre-se que por mais requisições que a sua aplicação vá aguentar, ela sempre terá a necessidade de escalar horizontalmente. Por isso você deve adaptá-la e otimizar para que você escale o mínimo possível, economizando dinheiro.
Há um documento da Heroku chamado Twelve-Factor App onde constam todos os pontos recomendados para você trabalhar com aplicações mais escaláveis.
