3.py

# crossval_compare_models.py

# Detta skript jämför flera olika klassificeringsalgoritmer för att upptäcka spam i textmeddelanden.
# Följande algoritmer används i koden:
# 1. Multinomial Naive Bayes – en enkel och effektiv probabilistisk modell för textklassificering.
# 2. Logistic Regression – en linjär modell som ofta fungerar bra för binär klassificering.
# 3. Linear SVM (Support Vector Machine) – en kraftfull linjär klassificerare för högdimensionella data.
# 4. Random Forest – en ensemblemetod som bygger flera beslutsträd för att förbättra prediktionerna.

# 1. Importera bibliotek
import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import cross_val_score
from sklearn.metrics import make_scorer, f1_score

# Klassificeringsalgoritmer
from sklearn.naive_bayes import MultinomialNB  # Naive Bayes
from sklearn.linear_model import LogisticRegression  # Logistisk regression
from sklearn.svm import LinearSVC  # Support Vector Machine
from sklearn.ensemble import RandomForestClassifier  # Random Forest

# 2. Ladda in datan
df = pd.read_csv("cleaned_spam_dataset.csv")

# 3. Förbered data
texts = df['message']
labels = df['label'].map({'ham': 0, 'spam': 1})

# 4. Text -> TF-IDF
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(texts)
y = labels

# 5. Definiera modeller och deras namn
models = [
    ("Multinomial Naive Bayes", MultinomialNB()),
    ("Logistic Regression", LogisticRegression(max_iter=1000)),
    ("Linear SVM", LinearSVC()),
    ("Random Forest", RandomForestClassifier())
]

# 6. Testa varje modell med cross-validation
print("F1-score resultat per modell:\n")
for name, model in models:
    # Använd F1-score som mätvärde med 5-fold CV
    scores = cross_val_score(model, X, y, cv=5, scoring='f1')
    print(f"{name}:")
    print(f"  F1-score per fold: {scores}")
    print(f"  Genomsnittligt F1-score: {np.mean(scores):.4f}\n")