У меня стоит в start.bat текст
java -Xmx512M -Xms512M -jar spigot-1.12.2.jar
и что мне делать чтобы поменять цвет букв или фона?
Никак
Скачать BuildTools, с помощью него скачать исходники ядра и поменять цвет в исходном коде ядра.
Всё.
Всё что ты сможешь изменить, только надписи от самого ядра, warn, айпи там и так далее
А остальное это плагины, именно в них тоже нужно менять цвет