De fato, você não precisa importar, pode user o direto. Porém é melhor usar o componente , da lib "next/image", que nem o SpaceFox falou.

Da uma lida nesse material que tem uma boa explicação https://nextjs.org/learn/basics/assets-metadata-css/assets