ライナー君のひねりのある道：正則化でオーバーフィッティングを制する

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_breast_cancer

# 乳がんデータセットを読み込み
data = load_breast_cancer()
X = data.data
y = data.target

# データをトレーニングセットとテストセットに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# データのスケーリング
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

def compute_gradient_logistic_reg(X, y, w, b, lambda_):
    m, n = X.shape
    dj_dw = np.zeros(n)
    dj_db = 0.0

    for i in range(m):
        f_wb_i = 1 / (1 + np.exp(-(np.dot(X[i], w) + b)))
        err_i = f_wb_i - y[i]
        dj_dw += err_i * X[i]
        dj_db += err_i

    dj_dw = dj_dw / m + (lambda_ / m) * w
    dj_db = dj_db / m

    return dj_db, dj_dw

num_iter = 1000  # 繰り返し回数
alpha = 0.01  # 学習率
lambda_ = 1.0  # 正則化パラメータ

# パラメータを初期化
w = np.random.rand(X_train_scaled.shape[1])  # w のサイズを特徴量の数に合わせる
b = 0.0  # b の初期値

for i in range(num_iter):
    # 勾配を計算
    dj_db, dj_dw = compute_gradient_logistic_reg(X_train_scaled, y_train, w, b, lambda_)

    # パラメータを更新
    w = w - alpha * dj_dw
    b = b - alpha * dj_db

# モデルのスコアを計算する関数
def compute_score(X, y, w, b):
    predictions = 1 / (1 + np.exp(-(np.dot(X, w) + b)))
    predictions = predictions >= 0.5  # 0.5以上をクラス1と予測
    accuracy = np.mean(predictions == y)  # 正解率を計算
    return accuracy

# トレーニングセットとテストセットでスコアを計算
train_score = compute_score(X_train_scaled, y_train, w, b)
test_score = compute_score(X_test_scaled, y_test, w, b)

print('トレーニングセットのスコア:', train_score)
print('テストセットのスコア:', test_score)

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import Ridge

# 仮のデータセットを生成
np.random.seed(0)
X = np.random.rand(100, 3)
y = X @ np.array([1.5, -2.0, 1.0]) + 0.5 * np.random.randn(100)

# データをトレーニングセットとテストセットに分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 正則化パラメータを設定
alpha = 1.0

# リッジ回帰モデルをトレーニング
ridge_model = Ridge(alpha=alpha)
ridge_model.fit(X_train, y_train)

# スコアを表示
print('sklearnのRidgeモデルのスコア')
print('Training set score:', ridge_model.score(X_train, y_train))
print('Test set score:', ridge_model.score(X_test, y_test))

# 上記のscikit-learnの検証データを用いています。上記を実行後をベースにしています
# テストデータの予測
predictions_sklearn = model.predict(X_test_scaled)

# 混同行列の作成
conf_matrix_sklearn = confusion_matrix(y_test, predictions_sklearn)

# 混同行列をheatmapで表示
plt.figure(figsize=(10, 7))  # グラフのサイズを設定
sns.heatmap(conf_matrix_sklearn, annot=True, fmt="d", cmap="Blues",
            xticklabels=data.target_names, yticklabels=data.target_names)
plt.title('Confusion Matrix')
plt.xlabel('Predicted Label')
plt.ylabel('True Label')
plt.show()

from sklearn.metrics import roc_curve, roc_auc_score

# ROC曲線のデータを計算
fpr, tpr, thresholds = roc_curve(y_test, model.predict_proba(X_test_scaled)[:, 1])

# ROC曲線のスコアを計算
roc_auc = roc_auc_score(y_test, model.predict_proba(X_test_scaled)[:, 1])

# ROC曲線をプロット
plt.figure(figsize=(6, 6))
plt.plot(fpr, tpr, color='darkorange', lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver Operating Characteristic')
plt.legend(loc="lower right")
plt.show()