Eu realmente não entendi sua ideia.

Existe toda uma discussão sobre se um sistema operacional que usa os programas GNU e o kernel Linux deveria se chamar Linux ou GNU/Linux. Então quando você diz "[...] pegar um sistema operacional Open Source, como o Linux, [...]" não entendi se quer dizer pegar apenas o kernel ou pegar alguma distribuição completa e modifica-la.

Sobre a ideia de construir um kernel inteiro baseado em IA, isso me parece uma péssima ideia. Provavelmente o Andrew S. Tanenbaum te daria um tiro só por ouvir isso. Um kernel tem um papel importante e delicado, talvez alguns serviços que se baseam em IA integrados ao kernel seja uma ideia menos alarmante mas ainda sim vejo como problemática. Se você amplia a atuação dessa IA para todo kernel isso é a chave para ter um sistema inconsciente e imprevisível. Que tipo de coisa essa IA teria permissão para alterar? o funcionamento do escalonamento de processos, tratamento de interrupções/exceções, gerenciamento de memória, gerenciamento de processos, gerenciamento de sistemas de arquivos, gerenciamento de dispositivos de E/S? Porque são basicamente essas as funções de um kernel.

Essa IA poderia modificar a API do sistema para se adapatar ao usuário? Por exemplo, se ela perceber que o usuário usa muito o wine para executar programas Windows, ela poderia estender a API implementando a Windows API nativamente? Ela poderia modificar a implementação da sua API de forma a otimizar para o hardware do usuário? Isso parece até interessante, mas repare que isso traria uma mudança profunda em como o sistema interage com os programas aplicativos.

Talvez esteja exagerando mas não consigo pensar em funções que uma IA que atua a nível de kernel teria. Talvez desse para você esclarecer melhor.