#!/usr/bin/python3

import os
import io

# Pfad des Ordners mit Textdateien
path = '/path/to/textfiles'

# Leere Liste, um die Wörter der Textdateien aufzunehmen
words = []

# Iteriere durch die Dateien im Ordner
for filename in os.listdir(path):
    if filename.endswith(".txt"):
        # Öffne die Datei und lese den Inhalt ein
        with io.open(os.path.join(path, filename), "r", encoding="utf-8") as file:
            contents = file.read()
            # Füge die Wörter der Datei zur Liste hinzu
            words += contents.split()

# Entferne doppelte Wörter
words = list(set(words))

# Schreibe die eindeutigen Wörter in eine neue Datei
with io.open("merged_text.txt", "w", encoding="utf-8") as outfile:
    outfile.write(" ".join(words))