structuredPlaner.h

Go to the documentation of this file.

/***************************************************************************
 *   Copyright (C) 2005 by Christophe GONZALES and Pierre-Henri WUILLEMIN  *
 *   {prenom.nom}_at_lip6.fr                                               *
 *                                                                         *
 *   This program is free software; you can redistribute it and/or modify  *
 *   it under the terms of the GNU General Public License as published by  *
 *   the Free Software Foundation; either version 2 of the License, or     *
 *   (at your option) any later version.                                   *
 *                                                                         *
 *   This program is distributed in the hope that it will be useful,       *
 *   but WITHOUT ANY WARRANTY; without even the implied warranty of        *
 *   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the         *
 *   GNU General Public License for more details.                          *
 *                                                                         *
 *   You should have received a copy of the GNU General Public License     *
 *   along with this program; if not, write to the                         *
 *   Free Software Foundation, Inc.,                                       *
 *   59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.             *
 ***************************************************************************/
// =========================================================================
#ifndef GUM_STRUCTURED_PLANNING_H
#define GUM_STRUCTURED_PLANNING_H
// =========================================================================
#include <thread>
// =========================================================================
#include <agrum/core/argMaxSet.h>
#include <agrum/core/functors.h>
#include <agrum/core/inline.h>
#include <agrum/core/smallobjectallocator/smallObjectAllocator.h>
// =========================================================================
#include <agrum/multidim/implementations/multiDimFunctionGraph.h>
#include <agrum/multidim/utils/FunctionGraphUtilities/terminalNodePolicies/SetTerminalNodePolicy.h>
// =========================================================================
#include <agrum/FMDP/SDyna/Strategies/IPlanningStrategy.h>
#include <agrum/FMDP/fmdp.h>
#include <agrum/FMDP/planning/IOperatorStrategy.h>
#include <agrum/FMDP/planning/actionSet.h>
#include <agrum/FMDP/planning/mddOperatorStrategy.h>
#include <agrum/FMDP/planning/treeOperatorStrategy.h>
// =========================================================================

namespace gum {

  template < typename GUM_SCALAR >
  class StructuredPlaner : public IPlanningStrategy< GUM_SCALAR > {
    // ###################################################################
    // ###################################################################
    public:
    // ==========================================================================
    // ==========================================================================
    static StructuredPlaner< GUM_SCALAR >*
       spumddInstance(GUM_SCALAR discountFactor = 0.9,
                      GUM_SCALAR epsilon = 0.00001,
                      bool       verbose = true) {
      return new StructuredPlaner< GUM_SCALAR >(
         new MDDOperatorStrategy< GUM_SCALAR >(),
         discountFactor,
         epsilon,
         verbose);
    }

    // ==========================================================================
    // ==========================================================================
    static StructuredPlaner< GUM_SCALAR >*
       sviInstance(GUM_SCALAR discountFactor = 0.9,
                   GUM_SCALAR epsilon = 0.00001,
                   bool       verbose = true) {
      return new StructuredPlaner< GUM_SCALAR >(
         new TreeOperatorStrategy< GUM_SCALAR >(),
         discountFactor,
         epsilon,
         verbose);
    }


    // ###################################################################
    // ###################################################################
    protected:
    // ==========================================================================
    // ==========================================================================
    StructuredPlaner(IOperatorStrategy< GUM_SCALAR >* opi,
                     GUM_SCALAR                       discountFactor,
                     GUM_SCALAR                       epsilon,
                     bool                             verbose);

    // ==========================================================================
    // ==========================================================================
    public:
    virtual ~StructuredPlaner();


    // ###################################################################
    // ###################################################################

    public:
    // ==========================================================================
    // ==========================================================================
    INLINE const FMDP< GUM_SCALAR >* fmdp() { return _fmdp; }

    // ==========================================================================
    // ==========================================================================
    INLINE const MultiDimFunctionGraph< GUM_SCALAR >* vFunction() {
      return _vFunction;
    }

    // ==========================================================================
    // ==========================================================================
    virtual Size vFunctionSize() {
      return _vFunction != nullptr ? _vFunction->realSize() : 0;
    }

    // ==========================================================================
    // ==========================================================================
    INLINE const MultiDimFunctionGraph< ActionSet, SetTerminalNodePolicy >*
                 optimalPolicy() {
      return _optimalPolicy;
    }

    // ==========================================================================
    // ==========================================================================
    virtual Size optimalPolicySize() {
      return _optimalPolicy != nullptr ? _optimalPolicy->realSize() : 0;
    }

    // ==========================================================================
    // ==========================================================================
    std::string optimalPolicy2String();



    // ###################################################################
    // ###################################################################

    public:
    // ==========================================================================
    // ==========================================================================
    virtual void initialize(const FMDP< GUM_SCALAR >* fmdp);


    // ==========================================================================
    // ==========================================================================
    virtual void makePlanning(Idx nbStep = 1000000);



    // ###################################################################
    // ###################################################################

    protected:
    // ==========================================================================
    // ==========================================================================
    virtual void _initVFunction();

    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >* _valueIteration();

    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >*
       _evalQaction(const MultiDimFunctionGraph< GUM_SCALAR >*, Idx);

    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >*
       _maximiseQactions(std::vector< MultiDimFunctionGraph< GUM_SCALAR >* >&);

    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >*
       _minimiseFunctions(std::vector< MultiDimFunctionGraph< GUM_SCALAR >* >&);

    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< GUM_SCALAR >*
       _addReward(MultiDimFunctionGraph< GUM_SCALAR >* function, Idx actionId = 0);



    // ###################################################################
    // ###################################################################

    protected:
    // ==========================================================================
    // ==========================================================================
    virtual void _evalPolicy();

    // ==========================================================================
    // ==========================================================================
    MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >, SetTerminalNodePolicy >*
       _makeArgMax(const MultiDimFunctionGraph< GUM_SCALAR >* Qaction,
                   Idx                                        actionId);

    private:
    // ==========================================================================
    // ==========================================================================
    NodeId __recurArgMaxCopy(NodeId,
                             Idx,
                             const MultiDimFunctionGraph< GUM_SCALAR >*,
                             MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >,
                                                    SetTerminalNodePolicy >*,
                             HashTable< NodeId, NodeId >&);

    protected:
    // ==========================================================================
    // ==========================================================================
    virtual MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >,
                                   SetTerminalNodePolicy >*
       _argmaximiseQactions(
          std::vector< MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >,
                                              SetTerminalNodePolicy >* >&);

    // ==========================================================================
    // ==========================================================================
    void _extractOptimalPolicy(
       const MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >,
                                    SetTerminalNodePolicy >* optimalValueFunction);

    private:
    // ==========================================================================
    // ==========================================================================
    NodeId __recurExtractOptPol(
       NodeId,
       const MultiDimFunctionGraph< ArgMaxSet< GUM_SCALAR, Idx >,
                                    SetTerminalNodePolicy >*,
       HashTable< NodeId, NodeId >&);

    // ==========================================================================
    // ==========================================================================
    void __transferActionIds(const ArgMaxSet< GUM_SCALAR, Idx >&, ActionSet&);



    protected:
    // ==========================================================================
    // ==========================================================================
    const FMDP< GUM_SCALAR >* _fmdp;

    // ==========================================================================
    // ==========================================================================
    MultiDimFunctionGraph< GUM_SCALAR >* _vFunction;

    // ==========================================================================
    // ==========================================================================
    MultiDimFunctionGraph< ActionSet, SetTerminalNodePolicy >* _optimalPolicy;

    // ==========================================================================
    // ==========================================================================
    Set< const DiscreteVariable* > _elVarSeq;

    // ==========================================================================
    // ==========================================================================
    GUM_SCALAR _discountFactor;

    IOperatorStrategy< GUM_SCALAR >* _operator;

    // ==========================================================================
    // ==========================================================================
    bool _verbose;


    private:
    // ==========================================================================
    // ==========================================================================
    GUM_SCALAR __threshold;
    bool       __firstTime;
  };

} /* namespace gum */


#include <agrum/FMDP/planning/structuredPlaner_tpl.h>

#endif   // GUM_STRUCTURED_PLANNING_H