|
Dans les années 1980, les systèmes de traitement de l’information performants étaient basés sur la technologie semi-conductrice bipolaire ECL. Cette technologie était extrêmement dissipatrice et les systèmes l’employant étaient généralement refroidis par circulation d’eau au plus près des composants. L’apparition des technologies CMOS a permis de diminuer la puissance dissipée et d’augmenter l’intégration sur une même puce. Un processeur haut de gamme est ainsi devenu réalisable dans un premiers temps en quelques puces consommant chacune moins de 5 watts (années 80), puis sur une seule puce consommant moins de 10 watts (début des années 90). Le refroidissement à air est devenu utilisable facilement, il est ainsi devenu la technologie standard.
Les applications informatiques ont demandé et demandent toujours de plus en plus de puissance de calcul (bases de données, applications décisionnelles, calcul intensif, accès Internet…). Les serveurs ont évolué en conséquence utilisant les processeurs plus puissants et généralisant l’utilisation d’architecture SMP (architecture multi processeurs symétrique), c’est la voie du « Scale-in ». Les techniques de clustering permettent d’ajouter la puissance de plusieurs serveurs élémentaires c’est la voie du « Scale-out ». La puissance de calcul des systèmes informatiques a donc continué à croître grâce à :
l’augmentation du nombre de transistors disponibles sur une même puce qui permet la réalisation d’architectures de processeurs plus performantes (SMP plus performant) ;
l’augmentation des fréquences d’horloge des systèmes (performances intrinsèques du cœur) ;
la réalisation de larges clusters (intégrant jusqu’à 10 000 processeurs élémentaires) Ces grands cluster sont surtout présents pour le calcul intensif (HPC, High Performance Computing).
Les deux premiers axes de progrès résultent de l’utilisation de technologie de plus en plus fines pour la réalisation des transistors. Dans un premier temps cette évolution s’est opérée sans augmentation significative de la dissipation, mais l’augmentation des courants de fuite des transistors (à partir de la technologie 90nm) et la course à la fréquence ont conduit à l’explosion de la puissance dissipée par un processeur qui aujourd’hui peut atteindre 130 Watts. Cette rupture représente un premier défi : Comment continuer à refroidir à l’air de tel composants dans un serveur ?
Le troisième axe nécessite la création de très grandes salles de calcul, où l’on cherche à installer le maximum de serveurs dans les trois dimensions : armoires hautes, rangées de baies les unes à la suite des autres. L’objectif est ici d’installer le maximum de GFlops par m² ou le maximum de connexions Internet par m². La salle de calcul sera remplie jusqu’à l’atteinte de la première limite physique : limite en volume, limite de l’alimentation électrique ou limite dans l’évacuation des calories. Cette rupture conduit à un deuxième défi : Comment ou jusqu’à quelle limite, maintenir un refroidissement à air dans la salle de calcul ?
Intégration des composants dans les serveurs
Le refroidissement d’un processeur dissipant 130 W nécessite des radiateurs et ventilateurs performants et la maîtrise des flux d’air dans le serveur.
L’industrie a fait évoluer les technologies de radiateurs utilisées en informatique. Ceci se traduit par l’augmentation du nombre d’ailettes, l’utilisation de matériaux assurant une bonne conductivité thermique (cuivre). La diminution du pas des ailettes et la demande d’un débit d’air accru sont deux éléments qui augmentent les pertes de charges du radiateur et demandent l’utilisation de ventilateurs plus performants.
Le marché des ventilateurs a accompagné ces demandes. Il est maintenant possible d’approvisionner des ventilateurs plus compacts (passage de 160 mm de diamètre à 60 mm, voire moins), qui permettent des débits sensiblement identiques en optimisant la forme des pales et en augmentant la vitesse de rotation (jusqu'à 8000 tours/mn) et qui supportent des pertes de charges importantes.
Il reste à construire le système en garantissant la bonne circulation de l’air aux endroits requis afin d’assurer l’environnement thermique optimum au niveau de chaque composant en tenant compte de la structure hétérogène des pertes de charges locales. Ceci est réalisé grâce à l’utilisation de moyens de modélisation et de simulation numérique thermique et fluidique.
La Figure 1 montre un exemple des simulations numériques mises en œuvre. Les champs de température dans un sous-ensemble sont représentés avant et après optimisation des circuits de sortie d’air. Les zones rouges (image de gauche) représentent les points chauds, en ajoutant un déflecteur la situation est nettement améliorée (image de droite)
Figure 1 : optimisation d’un tiroir
A la fin de l’étude, une cartographie thermique de la machine est disponible, elle garantit un bon fonctionnement du serveur si l’on assure une température d’entrée d’air dans le serveur inférieure à 30°C (valeur typique).
Intégration des serveurs dans les racks et des racks dans les centres informatiques
Les serveurs une fois intégrés dans un rack n’ont plus besoin d’être modélisés aussi finement. La connaissance de la dissipation par unité de hauteur et du débit d’air nécessaire est suffisante dans un premier temps.
La dissipation par U (1U = 44,45 mm unité de hauteur normalisée du système de racks 19’’ a augmenté significativement suite à l’augmentation de puissance des composants et à la densité plus importante du packaging. Elle évolué de 200 W/U à 400 W/U et nous envisageons, dans un proche avenir des densités comprises entre 500 W/U et 1 kW/U.
A cause de l’augmentation de la puissance dissipée par serveur, la puissance dissipée par rack peut dépasser 10 kW et nécessiter une étape de modélisation préalable.
L’exemple de la Figure 2 montre une simulation relative à l’intégration de 25 serveurs de 400 W/U dans un rack. Une première option d’intégration consiste à regrouper les tiroirs en cinq groupes de 5U et à les séparer de 3U. Dans la seconde option, un panneau obstrue les espaces inter serveurs.
On note, dans le premier cas, que l’air sortant des serveurs en position haute est ré-aspiré à l’avant et que la température d’entrée d’air augmente de 4°C environ. Ces phénomènes de re-circulation d’air peuvent être amplifiés par la présence de portes plus opaques.
Figure 2 : champs de températures dans un rack
avant et après
obstruction des espaces inter serveurs
De façon similaire, l’intégration de racks dans un centre de calcul nécessite des modélisations thermiques et fluidiques lors de la phase d’implantation du cluster. Ceci est d’autant plus nécessaires lorsque la puissance dissipée par rack est supérieure à 4 kW et lorsque le nombre de racks dissipatifs augmente.
Les systèmes de climatisation permettent d’évacuer de l’ordre de 4 kW/m² (valeurs typiques). Pour une densité de l’ordre de 2 m² par rack, on obtient une dissipation moyenne par rack de l’ordre de 10 kW. Ceci explique qu’actuellement les racks ne soient pas systématiquement remplis au maximum de leur capacité en fonction des capacités de refroidissement du local
La première étape, lors de la conception d’un centre de calcul est donc de respecter ces limitations, tant au niveau de l’intégration des serveurs dans les racks, que de l’intégration des racks dans la salle, en prenant en compte l’ensemble des contraintes. Une des plus importantes est la limitation de longueur de certaine liaisons électriques inter racks pouvant conduire à l’utilisation de liaisons fibre optique plus onéreuses
Grâce à des outils de simulation on peut prédire le comportement fluidique et thermique des centres de calcul et jouer sur les divers paramètres (disposition des baies, positionnement des dalles perforées, profondeur de faux plancher) pour optimiser les températures d’air en s’assurant que chaque serveur est dans les conditions d’environnement optimales.
Comme précédemment, les re-circulations d’air limitent les possibilités de refroidissement par air. L’alternances entre allées chaudes et allées froides limite ces phénomènes (voir Figure 3). Leur effet est principalement sensible à la périphérie du cluster. La Figure 4 montre clairement l’air chaud repris par une baie.
Figure 3 : Mise en œuvre typique dans le centre informatique
 Figure 4 : Re-circulation en bord d’allée
Bull a l’expérience de l’installation de tels systèmes à forte dissipation et a notamment réalisé un cluster de 250 racks avec des dissipations de 8 kW par rack.
La Figure 5 montre un exemple de simulation d’un centre informatique. Elle représente les champs de température suivant deux plans perpendiculaires. Un des plans est localisé sur l’entrée des racks, ce qui permet de vérifier que les températures d’entrée d’air de chaque serveur est dans la limite de sa spécification. Sur cette figure, une rangée est retirée pour améliorer la lisibilité.
Figure 5 : champs de température dans deux plans du cluster
Augmentation de la puissance de calcul dans les salles
Pour répondre à la demande d’accroissement de la puissance de calcul par unité de surface, Bull travaille principalement dans deux directions :
La première est l’optimisation des systèmes existants par organisation des flux d’air dans la salle. Le cloisonnement sélectif, la répartition des climatiseurs en surface et le guidage de l’air par déflecteurs sont des exemples de cet axe de recherche. Il permet de capitaliser sur les investissements existants du client et d’en tirer le meilleur bénéfice. La mise en œuvre d’une telle solution nécessite la réalisation de simulations fluidiques. La limite estimée d’une telle approche se situe autour de 12 kW par rack. C’est une solution intéressante pour un coût très compétitif qui se situe dans une densité moyenne meilleure que 60% de la densité maximale obtenue en remplissant complètement les racks.
D’autre part, l’évolution de l’offre des éditeurs de logiciels de modélisation fluidique et thermique permet de simuler de plus en plus finement ces systèmes en vue de leur dimensionnement et optimisation.
Le deuxième grand axe est l’utilisation, au plus près des serveurs, de liquides réfrigérants dont le pouvoir caloporteur est 4000 fois supérieur à celui de l’air, permettant ainsi de limiter l’air brassé par les climatiseurs de salle. Les technologies sont principalement les portes réfrigérantes et les racks fermés à échangeur air eau.
Cette approche doit permettre de remplir entièrement les racks dans la gamme de 20 à 40 kW. Elle nécessite l’ajout d’un échangeur et de ventilateurs propres à l’armoire. Outre l’évaluation du gain réel en densité, deux domaines sont à adresser :
un technique avec la cohabitation de deux systèmes de ventilation (celle de l’échangeur et celle des serveurs) ;
un économique qui est le coût additionnel dans une salle existante.
La prise en compte des contraintes de refroidissement fait partie de la conception d’un centre de calcul. Ceci nécessite de savoir caractériser en détail les matériels intégrés et de maîtriser les techniques de modélisation. Bull dispose des outils et de l’expertise nécessaire pour réussir cette évolution. Aujourd’hui, Bull travaille sur la définition de ces offres de façon à proposer des solutions progressives en performance, en coût et en densité dans la gamme de 10 à 60 kW par rack.
|
