Un modèle de musique générative peut produire une minute crédible à partir d’une phrase. Cela n’en fait pas un musicien capable d’écouter la note qui vient d’être jouée et de répondre sans écraser le soliste.
MazzikaAI attaque précisément cet espace. Le système présenté par Jiaxin Du, Boulbaba Abdeljaouad, Yong Zhuang et Haoyu Li ne réentraîne pas le générateur. Il construit une couche de règles qui transforme en continu ce que joue un musicien en nouveaux prompts pour Google Lyria RealTime.1
Le modèle reste généraliste. Le savoir musical vit devant lui.
Un compilateur entre le clavier et le modèle
Le musicien joue sur un clavier MIDI dans le navigateur. Le système récupère les notes, la pédale, certains gestes et des commandes vocales. Un backend maintient un état du jeu : registre, densité, mouvement, dynamique, mode et autres informations utiles.1
Cette matière passe ensuite dans une base de connaissances explicite consacrée au maqam arabe. Les auteurs documentent six maqamat principaux, leurs intervalles microtonaux, des ornements caractéristiques et des règles de dynamique d’ensemble.1
Enfin, le système compile cet état en texte. Le prompt décrit ce que le générateur doit jouer maintenant, quels instruments employer, quel rôle tenir et comment répondre à la phrase du soliste. Lyria produit l’audio en streaming, puis le cycle recommence.1
Le mot « compiler » est bien choisi. Le musicien n’écrit jamais le prompt. Son jeu devient le langage source.
Garder l’expertise hors du modèle
La solution habituelle à un modèle qui comprend mal une pratique consiste à chercher plus de données ou à le fine-tuner. MazzikaAI prend une autre route.
Les auteurs partent du constat que les systèmes génératifs musicaux sont surtout façonnés par des représentations occidentales et tempérées. Le maqam utilise notamment des intervalles microtonaux et des comportements mélodiques qui rentrent mal dans cette grille.1
Au lieu d’espérer que Lyria sache spontanément quoi faire, le contrôleur encode ce savoir sous une forme inspectable. Une règle peut imposer un degré microtonal. Une autre peut limiter l’instrumentation. Une autre encore peut demander une phrase de réponse qui reprend certains éléments du soliste.1
C’est une architecture presque vieille école : base de connaissances, mémoire de travail, règles déterministes. La partie étrange est l’actionneur final. À la place d’un synthétiseur symbolique, les règles commandent un gros modèle audio avec du langage naturel.1
Le prompt comme protocole de contrôle
Cette idée dépasse la musique.
On parle souvent du prompt comme d’une consigne rédigée par un humain. Ici, personne n’a envie d’écrire « joue plus doucement, en bayati, réponds à cette phrase, retire la batterie » toutes les deux secondes. Le texte devient un protocole intermédiaire produit par une machine pour en piloter une autre.
Cela permet de séparer deux compétences. Le modèle fournit la matière sonore. Le contrôleur décide ce qui est musicalement acceptable dans le contexte.
Les auteurs rapportent une latence inférieure à une seconde entre une touche et une mise à jour audible, ainsi que des sessions de jeu avec des experts et des ablations sur le grounding du maqam, la suppression d’instruments et la fréquence de re-prompt.1
Il faut garder la taille de la preuve en tête. C’est un preprint récent, évalué par ses propres auteurs. La capacité à généraliser cette architecture à d’autres traditions musicales est une proposition, pas encore un résultat démontré.1
Mais le procédé est déjà intéressant. Quand un modèle généraliste manque de culture métier, la réponse n’est peut-être pas toujours de modifier ses poids. On peut aussi construire devant lui une couche explicite qui sait ce qu’elle veut.
Dans MazzikaAI, l’IA générative n’est pas le musicien savant. C’est l’instrument très puissant qu’un petit système de règles essaie enfin d’empêcher de jouer n’importe quoi.