Na documentação oficial diz que não é possível criar um ErrorBoundary como um componente funcional, apenas como classe:

There is currently no way to write an error boundary as a function component. However, you don’t have to write the error boundary class yourself. For example, you can use react-error-boundary instead.

Saquei, maneiro!