Le principe des unités

Dans un système comme BlueMind, il y a différents composants consommateurs de ressources.

Le calcul basique “par utilisateur” n’est plus valide car un utilisateur qui n’utilise que la partie messagerie ne sollicitera pas le système de la même façon qu’un utilisateur utilisant le mail et les outils collaboratifs (agenda,..), notamment avec un smartphone.

Le calcul du dimensionnement s’effectue donc par unité sachant que :

De même pour un même nombre d’unité, une utilisation uniquement messagerie n’aura pas la même consommation de ressources qu’une utilisation messagerie + collaboratif (pour la moitié d’utilisateurs). Le mail étant par exemple plus dépendant des IO que du CPU, ce qui est inverse en général des outils collaboratifs.

CPU

Nous parlons en nombre de cœurs. La référence est un CPU serveur récent, de type Xeon.

BlueMind comprend de nombreux services, nous préconisons donc 2 cœurs minimum.

A noter qu'allouer trop de CPU peut mener à d'autres problèmes sur des environnements virtualisés (https://techan.fr/problemes-de-performance-sur-vmware-du-a-du-cpu-ready.html)

RAM

*avec déport du service Cyrus et bm-elasticsearch sur des serveurs dédiés

Stockage / IO

Performances minimales des disques

Le stockage est dimensionné en IOPS, un service de messagerie étant un gros consommateur d’IO. L’espace de stockage est lui directement dépendant de la demande du client (quotas,..)

Selon l'usage final, tous les disques n'ont pas nécessairement besoin d'avoir le même niveau de performance. Voici les IOPS minimum pour toute installation :

point de montage	description	type		IOPS minimum
		NFS	block device
/var/lib/postgresql	Base de données PostgreSQL			10 000 iops
/var/spool/cyrus/meta	meta données des e-mail			10 000 iops
/var/spool/cyrus/data	emails			6 000 iops
/var/spool/bm-hsm	emails archivés			6 000 iops
/var/spool/bm-elasticsearch	index de recherche			10 000 iops
/var/spool/bm-mail	envoi des emails via EAS/mapi ~2Go			6 000 iops
/var/log	logs (fichiers journaux)			6 000 iops
/var/backups/bluemind	sauvegardes			6 000 iops

Pour les installations supérieures à 2000 utilisateurs, les iops attendus peuvent être calculés selon le nombre d'utilisateurs et l'usage :

Données sur les IOPS des moyens de stockage (wikipedia)

Vérification de la performance de vos disques

Vous pouvez vérifier la performance de vos disques en utilisant la procédure de test suivante :

[Système] Commandes (à déplacer dans Troubleshooting de la v4 ?)

Exemples

La répartition des cœurs / ram sur plusieurs serveurs (virtuels ou non) n’est pas décrite ici.

Cependant jusqu’à 16/24 cœurs, nous considérons pertinent d’installer l’ensemble sur une même plateforme.

Au dela de ceci, et pour gérer les populations en dizaine ou plus de milliers d’utilisateurs, l’architecture doit être distribuée.

Ensuite, la partie messagerie doit être séparée, ainsi que la base de données (très sollicitée par le collaboratif / smartphones).

Bande passante

La bande passante nécessaire n’est pas prévisible car elle dépend en très grande partie du trafic mail.

A titre d’informations ci-dessous les informations sur la consommation bande passante de l’agenda BlueMind et des smartphones, qui montre bien la prédominance du trafic mail.

Bande passante Agenda BlueMind

Pour un utilisateur avec l'application d'agenda ouverte dans son navigateur, en http et en octets (mesuré sur le réseau avec wireshark) :

• toutes les 30 sec: un "doSync" 1067 / 293 (envoie des modifs locales et récupération des changements)
• toutes les 5 sec: un "ping": 898 / 233, soit 5388 / 1398 en 30 s(un "keep alive")

Client vers serveur: 215 octets/sec (1067+5388)/30

Server vers client: 56 octets/sec (293+1398)/30

Avec de la marge, pour 1000 agendas ouverts dans les navigateurs :

• Client vers serveur: 500ko/sec.
• Serveur vers client: 150ko/sec.

Bande passante de la gestion des contacts

Pour un utilisateur avec l'application de gestion des contacts ouverte dans son navigateur, en http et en octets :

144 octets / seconde

Avec en particulier :

• toutes les 5 secondes un "ping"
• toutes les 30 secondes un "bmc"

En prenant une marge de sécurité en doublant la valeur mesurée, nous obtenons une bande passant de 288 octets par seconde pour un utilisateur ayant lancé l'application de gestion de contacts.

Bande passante smartphones

Les ratios ActiveSync sont  fournis par microsoft : 1.04kb /sec/user

soit pour 100 smartphones : 104Kb, donc 13Ko/sec

Pour lequel nous prendrons une marge raisonnable de x2, ce qui donne :

100 smartphones == 26 Ko/sec

1 000 smartphones == 260 Ko/sec

About units

Several BlueMind components use up resources. A typical "per user" calculation cannot be applied because a user who only uses messaging will not generate the same load for the system as a user using messaging and collaborative services (Calendar, etc.) and a smartphone.

As a result, sizing is calculated "per unit", on the following basis:

Also, for a same amount of units, a use of messaging only won't consume the same amount of resources as a messaging+collaborative use: unlike collaborative tools, messaging, for example, is more heavily dependent on IO than on CPU.

CPU

CPU is stated in number of cores. Reference values are based on recent Xeon-type CPU.

BlueMind has several services, as a result we recommend a minimum of 2 cores.

Please note that too much CPU can lead to other issues on virtualized environments (https://techan.fr/problemes-de-performance-sur-vmware-du-a-du-cpu-ready.html)

RAM

*With the Cyrus service and bm-elasticsearch on dedicated servers 

Storage / IO Performance

The messaging service is a heavy user of IO, as a result storage is sized in IOPS . As for storage space, it depends on client requirements (quotas, etc.)

Performances minimales des disques

Le stockage est dimensionné en IOPS, un service de messagerie étant un gros consommateur d’IO. L’espace de stockage est lui directement dépendant de la demande du client (quotas,..)

Selon l'usage final, tous les disques n'ont pas nécessairement besoin d'avoir le même niveau de performance. Voici les IOPS minimum pour toute installation :

point de montage	description	type		IOPS minimum
		NFS	block device
/var/lib/postgresql	Base de données PostgreSQL			10 000 iops
/var/spool/cyrus/meta	meta données des e-mail			10 000 iops
/var/spool/cyrus/data	emails			6 000 iops
/var/spool/bm-hsm	emails archivés			6 000 iops
/var/spool/bm-elasticsearch	index de recherche			10 000 iops
/var/spool/bm-mail	envoi des emails via EAS/mapi ~2Go			6 000 iops
/var/log	logs (fichiers journaux)			6 000 iops
/var/backups/bluemind	sauvegardes			6 000 iops

Pour les installations supérieures à 2000 utilisateurs, les iops attendus peuvent être calculés selon le nombre d'utilisateurs et l'usage :

IOPS data for storage devices (wikipedia)

Source: http://en.wikipedia.org/wiki/IOPS

Examples

Core/RAM distribution over several servers (virtual or otherwise) is not described here.

However, for up to 16/24 cores, we believe that a single-platform installation makes sense.

Above this threshold, and to manage populations of tens of thousands of users or more, the architecture must be distributed.

Also, the messaging part as well as the database (which collaborative use/smartphone places heavy demands on) must be kept separate from the rest.

Bandwidth

Bandwidth requirements cannot be predicted as they largely depend on mail traffic.Please note that the data on bandwidth usage of the BlueMind calendar and smartphones below clearly shows the preponderance of mail traffic.

BlueMind Calendar bandwidth

For a user with the Calendar application open in their web browser, in http and in bytes (measured on the network with Wireshark):

• every 30 seconds: one doSync 1067 / 293 (sends local modifications and retrieves changes)
• every 5 seconds: one ping: 898 / 233, i.e. 5388 / 1398 in 30s (one keepalive)

Client to server: 215 bytes/sec (1,067+5,388)/30

Server to client: 56 bytes/sec (293+1,398)/30

With room for maneuver, for 1,000 Calendars running in web browsers:

• Client to server: 500KB/s
• Server to client: 150KB/s

Contacts bandwidth

For a user with the Contacts application running in their browser, in http and in bytes:

144 bytes/second

Specifically:

• a ping every 5 seconds
• a "bmc" every 30 seconds

By doubling the value measured to ensure a comfortable safety margin, we calculate a bandwidth of 288 bytes per second for a user who has launched the Contacts application.

Smartphone bandwidth

Microsoft provides the following ActiveSync ratios: 1.04KB/s/user

i.e. for 100 smartphones: 104Kbit, or 13KB/s

By taking a sensible safety margin of x2, we calculate:

• 100 smartphones == 26KB/s
• 1,000 smartphones == 260KB/s

Das Prinzip der Einheiten

In einem System wie BlueMind gibt es verschiedene ressourcenverbrauchende Komponenten.

Die „pro Benutzer“-Basisberechnung ist nicht gültig, da ein Benutzer, der nur die Mailbox verwendet, das System nicht in der gleichen Weise beansprucht wie einer, der E-Mail und kollaborative Tools (Kalender usw.) nutzt, insbesondere mit einem Smartphone.

Die Berechnung der Dimensionierung erfolgt daher pro Rechner, wobei:

Ebenso wird bei gleicher Anzahl von Einheiten eine reine Mailbox-Nutzung nicht den gleichen Ressourcenverbrauch aufweisen wie eine Mailbox + Kollaborationsnutzung (für die Hälfte der Benutzer). Zum Beispiel ist die E-Mail mehr von IO als von CPU abhängig, was im Allgemeinen das Gegenteil von kollaborativen Tools ist.

CPU

Anzahl der Kerne (Cores). Die Referenz ist eine aktuelle Server-CPU, Typ Xeon.

BlueMind enthält viele Dienste, daher empfehlen wir mindestens 2 Kerne.

Beachten Sie, dass die Zuweisung von zu vielen CPUs zu anderen Problemen in virtualisierten Umgebungen führen kann (https://techan.fr/problemes-de-performance-sur-vmware-du-a-du-cpu-ready.html)

RAM

*mit Verschiebung des Dienstes Cyrus und bm-elasticsearch auf dedizierte Server

Speicherung / IO

Der Speicher wird in IOPS bemessen, da ein Mailbox-Dienst viele IOs verbraucht. Der Speicherplatz ist direkt abhängig vom Bedarf des Kunden (Kontingente usw.)

IOPS-Daten der Speichermedien (Wikipedia)

Beispiele

Die Verteilung von Kernen / Ram auf mehrere Server (virtuell oder nicht) wird hier nicht beschrieben.

Bis zu 16/24 Kernen halten wir es jedoch für sinnvoll, das Ganze auf der gleichen Plattform zu installieren.

Darüber hinaus und zur Verwaltung von zehn oder tausenden von Benutzern muss die Architektur verteilt sein.

Dann muss der Mailbox-Teil getrennt werden, ebenso wie die Datenbank (sehr beansprucht bei den kollaborativen Teilen / Smartphones).

Bandbreite

Die benötigte Bandbreite ist nicht vorhersehbar, da sie sehr stark vom E-Mail-Verkehr abhängt.

Als Information nachstehend der Bandbreitenverbrauch des BlueMind-Kalenders und der Smartphones, der die Dominanz des E-Mail-Verkehrs aufzeigt.

Bandbreite BlueMind Kalender

Für einen Benutzer, der die Kalenderanwendung in seinem Browser geöffnet hat, in http und Bytes (gemessen über das Netzwerk mit Wireshark:

• alle 30 Sekunden: ein „doSync“ 1067 / 293 (sendet lokale Änderungen und ruft Änderungen ab)
• alle 5 Sekunden: ein „Ping“: 898 / 233, d.h. 5388 / 1398 in 30 s (ein „keep alive“)

Client an Server: 215 Bytes/Sek. (1067+5388)/30

Server an Client: 56 Bytes/Sek. (293+1398)/30

Mit Marge, für 1000 geöffnete Kalender in den Browsern:

• Client an Server: 500 KB/Sek.
• Server an Client: 150 KB/Sek.

Bandbreite der Kontaktverwaltung

Für einen Benutzer, der die Kontaktverwaltungsanwendung in seinem Browser geöffnet hat, in http und Bytes:

144 Bytes / Sekunde

Und mit:

• alle 5 Sekunden ein „Ping“
• alle 30 Sekunden ein „bmc“

Unter Berücksichtigung einer Sicherheitsmarge durch Verdoppelung des gemessenen Wertes erhalten wir eine Bandbreite von 288 Byte pro Sekunde für einen Benutzer, der die Kontaktverwaltungsanwendung gestartet hat.

Smartphone-Bandbreite

Die ActiveSync-Kennzahlen werden von Microsoft bereitgestellt: 1.04KB /Sek./Benutzer

oder für 100 Smartphones: 104KB, also 13KB/Sek

Dafür nehmen wir einen angemessenen Spielraum von x2 an, dies ergibt:

100 Smartphones == 26 KB/Sek.

1.000 Smartphones == 260 KB/Sek.