Dado que código fonte é basicamente texto - um tipo bem específico, claro, mas ainda sim, texto - não consigo ver a diferença.

Dá pra escrever código em qualquer editor de texto. Mas se o programa tem também funcões para compilar, rodar, syntax highlight, formatação, etc, já passa a ser IDE.

Pra mim o que muda é que alguns IDEs são mais completos que outros. Mas a partir do momento em que tem funções específicas pra programar, não é mais um mero editor.