Pourquoi MATLAB est-il si rapide dans la multiplication de matrices ?

Question

Je réalise quelques benchmarks avec CUDA, C++, C#, Java, et j'utilise MATLAB pour la vérification et la génération de matrices. Lorsque j'effectue une multiplication de matrice avec MATLAB, 2048x2048 et des matrices encore plus grandes sont presque instantanément multipliées.

             1024x1024   2048x2048   4096x4096
             ---------   ---------   ---------
CUDA C (ms)      43.11      391.05     3407.99
C++ (ms)       6137.10    64369.29   551390.93
C# (ms)       10509.00   300684.00  2527250.00
Java (ms)      9149.90    92562.28   838357.94
MATLAB (ms)      75.01      423.10     3133.90

Seul CUDA est compétitif, mais je pensais qu'au moins le C++ serait assez proche et pas 60 fois plus lent. Je ne sais pas non plus quoi penser des résultats du C#. L'algorithme est le même que celui du C++ et de Java, mais il y a un saut énorme. 2048 de 1024 .

Comment MATLAB peut-il effectuer une multiplication matricielle aussi rapidement ?

Code C++ :

float temp = 0;
timer.start();
for(int j = 0; j < rozmer; j++)
{
    for (int k = 0; k < rozmer; k++)
    {
        temp = 0;
        for (int m = 0; m < rozmer; m++)
        {
            temp = temp + matice1[j][m] * matice2[m][k];
        }
        matice3[j][k] = temp;
    }
}
timer.stop();

Answer 1

Voici mes résultats en utilisant MATLAB R2011a + Boîte à outils pour le calcul parallèle sur une machine avec un Tesla C2070 :

>> A = rand(1024); gA = gpuArray(A);
% warm up by executing the operations a couple of times, and then:
>> tic, C = A * A; toc
Elapsed time is 0.075396 seconds.
>> tic, gC = gA * gA; toc
Elapsed time is 0.008621 seconds.

MATLAB utilise des bibliothèques hautement optimisées pour la multiplication des matrices, ce qui explique pourquoi la multiplication des matrices de MATLAB est si rapide. Le site gpuArray La version utilise MAGMA .

Mise à jour avec R2014a sur une machine avec un Tesla K20c, et la nouvelle timeit et gputimeit fonctions :

>> A = rand(1024); gA = gpuArray(A);
>> timeit(@()A*A)
ans =
    0.0324
>> gputimeit(@()gA*gA)
ans =
    0.0022

Mise à jour avec R2018b sur une machine WIN64 avec 16 cœurs physiques et un Tesla V100 :

>> timeit(@()A*A)
ans =
    0.0229
>> gputimeit(@()gA*gA)
ans =
   4.8019e-04

(NB : à un moment donné (j'ai oublié quand exactement) gpuArray est passé de MAGMA à cuBLAS - MAGMA est toujours utilisé pour certaines applications. gpuArray mais pas les opérations)

Answer 2

C'est pourquoi . MATLAB n'effectue pas une multiplication matricielle naïve en bouclant sur chaque élément comme vous l'avez fait dans votre code C++.

Bien sûr, je suppose que vous venez d'utiliser C=A*B au lieu d'écrire vous-même une fonction de multiplication.

Answer 3

Matlab a intégré LAPACK il y a quelque temps, je suppose donc que leur multiplication matricielle utilise quelque chose d'au moins aussi rapide. Le code source et la documentation de LAPACK sont facilement disponibles.

Vous pouvez également consulter l'article de Goto et Van De Geijn intitulé " Anatomy of High-Performance Matrix Multiplication" à l'adresse http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.140.1785&rep=rep1&type=pdf

Answer 4

Lors de la multiplication de matrices, vous utilisez la méthode de multiplication naïve qui prend du temps de O(n^3) .

Il existe un algorithme de multiplication de matrice qui prend O(n^2.4) . Ce qui signifie qu'à n=2000 votre algorithme nécessite ~100 fois plus de calculs que le meilleur algorithme.
Vous devriez vraiment consulter la page wikipedia sur la multiplication matricielle pour obtenir de plus amples informations sur les moyens efficaces de la mettre en œuvre.

Answer 5

Il faut faire attention à ne pas faire de comparaisons justes avec le C++. Pouvez-vous afficher le code C++ qui montre les boucles internes principales que vous utilisez pour la multiplication de la matrice ? Je suis surtout préoccupé par la disposition de la mémoire et par le fait que vous faites des choses inutiles.

J'ai écrit une multiplication matricielle en C++ qui est aussi rapide que celle de Matlab, mais cela a demandé un certain soin. (EDIT : Avant Matlab utilisait les GPU pour cela).

Vous pouvez être pratiquement sûr que Matlab ne gaspille que très peu de cycles avec ces fonctions "intégrées". Ma question est la suivante : où perdez-vous des cycles ? (Sans vouloir vous offenser)