Өйткені осы команда 1904 жылдың 4 мамырында құрылған.
Клуб «Шальке 04» был основан 4 мая 1904 года. Первое имя клуба — «Вестфалия Шальке». Первые клубные цвета — красный и жёлтый. Западногерманский игровой союз (WSV) признать новый клуб отказался, но к концу года в клубе уже состояло 16 членов. 13 февраля 1912 года происходит слияние «Вестфалии Шальке» и гимнастического общества «1877 Шальке». Общество уже является членом WSV и «Вестфалия» входит в «1877 Шальке» на правах футбольной секции. Заведующим секцией становится Герхард Клопп. Главные болельщики «Шальке 04» того времени — шахтёры. Шахта «Консоль» помогла оборудовать площадку на Гренцштрассе. Именно отсюда и первое прозвище — «Die Knappen» (горняки). 20 мая 1923 года «Шальке 04» побеждает в групповом турнире районной лиги. 5 января 1924 года футболисты выходят из гимнастического общества и выбирают клубу новое имя «FC Schalke 04». Новыми клубными цветами становятся белый и синий, поэтому у клуба появляется ещё одно прозвище — «Die Königsblauen» (кобальтовые). В течение следующих лет «Шальке 04» становится доминирующим клубом в Северном Рейне-Вестфалии. Клуб играет в быстрый футбол с множеством коротких пасов. Это система получает огромную популярность и получает название «Schalker Kreisel» (Волчок «Шальке»). В 1928 году у «Шальке 04» появляется новый стадион «Глюкауф-Кампфбан». В том же году «Шальке 04» был переименован в «FC Gelsenkirchen-Schalke 04». В 1929 году клуб впервые выигрывает чемпионат Западной Германии.
В 1933 году «Шальке 04» вступает в Гаулигу Вестфален. Период с 1934 по 1942 год был самым успешным в истории клуба. Клуб 10 раз выходил в финал Гаулиги и 8 раз в финал Тшаммерпокаля, предшественника Кубка Германии.
Первый национальный титул «Шальке 04» выиграл в 1934 году, обыграв «Нюрнберг». В следующем году они защитили титул. Клуб пропустил финал 1936 года, однако в 1937, 1939, 1940 и 1942 годах клуб побеждал в финалах. «Кобальтовые» также участвовали в финалах Тшаммерпокаля, но не пользовались таким успехом. Всего однажды, в 1937 году, клуб выиграл кубок. Также «Шальке» участвовал в финалах 1935, 1936, 1941 и 1942 годов.