LogisticRegression.hpp

#pragma once
/* (C) 2021 Roman Werpachowski */
#include <Eigen/Core>
#include "dll.hpp"
 
namespace ml
{
    class LogisticRegression
    {
    public:        
        struct Result
        {            
            Eigen::VectorXd w; 
            unsigned int steps_taken; 
            bool converged; 
            DLL_DECLSPEC void predict(Eigen::Ref<const Eigen::MatrixXd> X, Eigen::Ref<Eigen::VectorXd> y) const;
 
            Eigen::VectorXd predict(Eigen::Ref<const Eigen::MatrixXd> X) const
            {
                Eigen::VectorXd y(X.cols());
                predict(X, y);
                return y;
            }
 
            DLL_DECLSPEC double predict_single(Eigen::Ref<const Eigen::VectorXd> x) const;
 
            DLL_DECLSPEC std::string to_string() const;
        };
 
        DLL_DECLSPEC virtual ~LogisticRegression();
 
        DLL_DECLSPEC virtual Result fit(Eigen::Ref<const Eigen::MatrixXd> X, Eigen::Ref<const Eigen::VectorXd> y) const = 0;
 
        DLL_DECLSPEC static double probability(Eigen::Ref<const Eigen::VectorXd> x, double y, Eigen::Ref<const Eigen::VectorXd> w);
 
        DLL_DECLSPEC static double log_likelihood(Eigen::Ref<const Eigen::MatrixXd> X, Eigen::Ref<const Eigen::VectorXd> y, Eigen::Ref<const Eigen::VectorXd> w, double lam);
 
        DLL_DECLSPEC static void grad_log_likelihood(Eigen::Ref<const Eigen::MatrixXd> X, Eigen::Ref<const Eigen::VectorXd> y, Eigen::Ref<const Eigen::VectorXd> w, double lam, Eigen::Ref<Eigen::VectorXd> g);
 
        DLL_DECLSPEC static void hessian_log_likelihood(Eigen::Ref<const Eigen::MatrixXd> X, Eigen::Ref<const Eigen::VectorXd> y, Eigen::Ref<const Eigen::VectorXd> w, double lam, Eigen::Ref<Eigen::MatrixXd> H);        
    };
 
    class AbstractLogisticRegression : public LogisticRegression
    {
    public:
        DLL_DECLSPEC AbstractLogisticRegression();
 
        double lam() const
        {
            return lam_;
        }
 
        double absolute_tolerance() const
        {
            return absolute_tolerance_;
        }
 
        double relative_tolerance() const
        {
            return relative_tolerance_;
        }
 
        unsigned int maximum_steps() const
        {
            return maximum_steps_;
        }
 
        DLL_DECLSPEC void set_lam(double lam);
 
        DLL_DECLSPEC void set_absolute_tolerance(double absolute_tolerance);
 
        DLL_DECLSPEC void set_relative_tolerance(double relative_tolerance);
 
        DLL_DECLSPEC void set_maximum_steps(unsigned int maximum_steps);
    protected:
        bool weights_converged(Eigen::Ref<const Eigen::VectorXd> old_weights, Eigen::Ref<const Eigen::VectorXd> new_weights) const;
    private:        
        double lam_;
        double relative_tolerance_;
        double absolute_tolerance_;
        unsigned int maximum_steps_;
    };
 
    class ConjugateGradientLogisticRegression : public AbstractLogisticRegression
    {
    public:        
        DLL_DECLSPEC Result fit(Eigen::Ref<const Eigen::MatrixXd> X, Eigen::Ref<const Eigen::VectorXd> y) const override;
    };
}