In Quantitative Portfolio Optimization: Theory and Practice, renowned financial practitioner Miquel Noguer, alongside physicists Alberto Bueno Guerrero and Julian Antolin Camarena, who possess excellent knowledge in finance, delve into advanced mathematical techniques for portfolio optimization. The book covers a range of topics including mean-variance optimization, the Black-Litterman Model, risk parity and hierarchical risk parity, factor investing, methods based on moments, and robust optimization as well as machine learning and reinforcement technique. These techniques enable readers to develop a systematic, objective, and repeatable approach to investment decision-making, particularly in complex financial markets.
Readers will gain insights into the associated mathematical models, statistical analyses, and computational algorithms for each method, allowing them to put these techniques into practice and identify the best possible mix of assets to maximize returns while minimizing risk. Topics explored in this book include: - Specific drivers of return across asset classes - Personal risk tolerance and it#s impact on ideal asses allocation - The importance of weekly and monthly variance in the returns of specific securities
Serving as a blueprint for solving portfolio optimization problems, Quantitative Portfolio Optimization: Theory and Practice is an essential resource for finance practitioners and individual investors It helps them stay on the cutting edge of modern portfolio theory and achieve the best returns on investments for themselves, their clients, and their organizations.
Table of Contents
Contents
Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . 1
1 Introduction 3
1.1 Evolution of Portfolio Optimization . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 3
1.2 Role of Quantitative Techniques . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 3
1.3 Organization of the Book . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .7
2 History of Portfolio Optimization 9
2.1 Early beginnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Harry Markowitz’s Modern Portfolio Theory (1952) . . . . . . . . . . . . . . 12
2.3 Black-Litterman Model (1990s) . . . . . . . . . . . . . . . ……………………16
2.4 Alternative Methods: Risk Parity, Hierarchical Risk Parity and
Machine Learning . . . . . . . . . . . . . . . . . . . … .. . . .. . .. . .. ………. . 21
2.4.1 Risk Parity . . . . . . . . . . . . . . . . . . . . . . . . .. . .. . . .. . . . . . . …...21
2.4.2 Hierarchical Risk Parity . . . . . . . . . . . . . . . . . …………………28
2.4.3 Machine Learning . . . . . . . . . . . . . . . . . . . . . ………………. ...30
2.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . …………………. . . . . . 35
I Foundations of Portfolio Theory 37
3 Modern Portfolio Theory 38
3.1 Efficient Frontier and Capital Market Line . . . . . . . . . . . …………….. 38
3.1.1 Case without riskless asset . . . . . . . . . . . . . . . . . . . .. . . . . . . 39
3.1.2 Case with a riskless asset . . . . . . . . . . . . . . . .. . . . . . . . . . . . 44
3.2 Capital Asset Pricing Model . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 50
3.2.1 Case without riskless asset . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.2 Case with a riskless asset . . . . . . . . . . . . . . . . .. . . . . . . . . . . .54
3.3 Multi-factor Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4 Challenges of Modern Portfolio Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.4.1 Estimation Techniques in Portfolio Allocation . . . . . .. . . . . . .62
3.4.2 Non-Elliptical Distributions and Conditional Value-at-
Risk (CVaR) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .66
3.5 Quantum Annealing in Portfolio Management . . . . . . . . . . . . . . . . . . . . . 68
3.6 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70
CONTENTS
4 Bayesian Methods in Portfolio Optimization 73
4.1 The Prior . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 The Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .80
4.3 The Posterior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.4 Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.5 Hierarchical Bayesian Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .90
4.6 Bayesian Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.6.1 Gaussian Processes in a Nutshell . . . . . . . . . . . . . . . . . . . . . . . . . .93
4.6.2 Uncertainty Quantification and Bayesian Decision Theory . . . . . 97
4.7 Applications to Portfolio Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.7.1 GP Regression for Asset Returns . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.7.2 Decision Theory in Portfolio Optimization . . . . . . . . . . . . . . . . . . 100
4.7.3 The Black-Litterman Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .103
4.8 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
II Risk Management 109
5 Risk Models and Measures 110
5.1 Risk Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . . . 111
5.2 VaR and CVaR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 113
5.2.1 VaR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . .. . .114
5.2.2 CVaR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 116
5.3 Estimation Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .119
5.3.1 Variance-Covariance Method . . . . . . . . . . . . . . . . . . . . . . . . . .. . .120
5.3.2 Historical Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .120
5.3.3 Monte Carlo Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .121
5.4 Advanced Risk Measures: Tail Risk and Spectral Measures . . . . . . . . . . . . . .121
5.4.1 Tail Risk Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.4.2 Spectral Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
6 Factor Models and Factor Investing 128
6.1 Single and Multi-Factor Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
6.1.1 Statistical Models . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 130
6.1.2 Macroeconomic Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .131
6.1.3 Cross Sectional Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .133
6.2 Factor Risk and Performance Attribution . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.3 Machine Learning in Factor Investing . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 145
6.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
7 Market Impact, Transaction Costs and Liquidity 149
7.1 Market Impact Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ….150
7.2 Modeling Transaction Costs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . …153
7.2.1 Single asset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . … 156
CONTENTS
7.2.2 Multiple assets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . …..158
7.3 Optimal Trading Strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . …...160
7.3.1 Mei, DeMiguel and Nogales (2016) . . . . . . . . . . . . . .. . . . . … .. 161
7.3.2 Skaf and Boyd (2009) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . …..164
7.4 Liquidity Considerations in Portfolio Optimization . . . . . . . . . . . . . . . …...166
7.4.1 MV and Liquidity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
7.4.2 CAPM and Liquidity . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 168
7.4.3 APT and Liquidity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 170
7.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 172
III Dynamic Models and Control 174
8 Optimal Control 175
8.1 Dynamic Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . .175
8.2 Approximate Dynamic Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
8.3 The Hamilton-Jacobi-Bellman Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
8.4 Sufficiently Smooth Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . .179
8.5 Viscosity Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .181
8.6 Applications to Portfolio Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
8.6.1 Classical Merton Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .185
8.6.2 Multi-Asset Portfolio with Transaction Costs . . . . . . . . . . . . . . . 186
8.6.3 Risk-Sensitive Portfolio Optimization . . . . . . . . . . . . . . . . . . . . . 188
8.6.4 Optimal Portfolio Allocation with Transaction Costs . . . . . . . . . 189
8.6.5 American Option Pricing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .189
8.6.6 Portfolio Optimization with Constraints . . . . . . . . . . . . . . . . . . . 190
8.6.7 Mean-Variance Portfolio Optimization . . . . . . . . . . . . . . . . . . . .190
8.6.8 Sch¨odinger Control in Wealth Management . . . . . . . . . . . . . . . 191
8.7 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .193
9 Markov Decision Processes 195
9.1 Fully Observed MDPs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
9.2 Partially Observed MDPs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 199
9.3 Infinite Horizon Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .202
9.4 Finite Horizon Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .206
9.5 The Bellman Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
9.6 Solving the Bellman Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .212
9.7 Examples in Portfolio Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
9.7.1 An MDP in Multi-Asset Allocation with Transaction
Costs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
9.7.2 A POMDP for Asset Allocation with Regime Switching . . . . . 214
9.7.3 An MDP with Continuous State and Action Spaces for
Option Hedging with Stochastic Volatility . . . . . . . . . . . . . . . 215
9.8 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
CONTENTS
10 Reinforcement Learning 219
10.1 Connections to Optimal Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
10.1.1 Policy Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
10.1.2 Value Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
10.1.3 Continuous vs. Discrete Formulations . . . . . . . . . . . . . . . . . . . . .226
10.2 The Environment and The Reward Function . . . . . . . . . . . . . . . . . . . . . . 228
10.2.1 The Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
10.2.2 The Reward Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .232
10.3 Agents Acting in an Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
10.4 State-Action and Value Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .238
10.4.1 Value Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .238
10.4.2 Gradients and Policy Improvement . . . . . . . . . . . . . . . . . . . . .240
10.5 The Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .. . . . . . . . . . . . 243
10.6 On-Policy Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
10.7 Off-Policy Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
10.8 Applications to Portfolio Optimization . . . . . . . . . . . . . . . . . . . . . . . . . 253
10.8.1 Mean-Variance Optimization . . . . . . . . . . . . . . . . . . . . . . . . 253
10.8.2 Reinforcement Learning Comparison with Mean-Variance
Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .254
10.8.3 G-Learning and GIRL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
10.8.4 Continuous-time Penalization in Portfolio Optimization . . .259
10.8.5 Reinforcement Learning for Utility Maximization . . . . . . . .260
10.8.6 Continuous-Time Portfolio Optimization with Transaction
Costs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .261
10.9 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . 262
IV Machine Learning and Deep Learning 265
11 Deep Learning in Portfolio Management 266
11.1 Neurons and Activation Functions . . . . . . . . . . . . . . . .. . . . . . . . . . . . 266
11.2 Neural Networks and Function Approximation . . . . . . . . . . . . . . . . . . 269
11.3 Review of Some Important Architectures . . . . . . . . . . . . . . .. . . . . . . . 273
11.4 Physics-Informed Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
11.5 Applications to Portfolio Optimization . . . . . . . . . . . . . . . . . . . . . . . . .292
11.5.1 Dynamic Asset Allocation Using the Heston Model . . . . . . 292
11.5.2 Option-Based Portfolio Insurance Using the Bates Model . .293
11.5.3 Factor Learning Approach to Generative Modeling of
Equities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
11.6 The Case for and Against Deep Learning . . . . . . . . . . . . . . . . . . . . . . 296
11.7 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . 298
12 Graph Based Portfolios 300
12.1 Graph Theory Based Portfolios . . . . . . . . . . . . . . . . . 300
12.1.1 Literature Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .300
12.1.2 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
CONTENTS
12.2 Equations and Formulas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
12.2.1 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .302
12.3 Hierarchical Risk Parity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
12.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .309
13 Sensitivity-based Portfolios 310
13.1 Modelling Portfolios Dynamics with PDEs . . . . . . . . . . . . . . . . . . . . . . 312
13.2 Optimal Drivers Selection: Causality and Persistence . . . . . . . . . . . . . . 313
13.3 AAD Sensitivities Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .319
13.3.1 Optimal Network Selection . . . . . . . . . . . . . . . . . . . . . . . 319
13.3.2 Sensitivity Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .320
13.3.3 Sensitivity Distance Matrix . . . . . . . . . . . . . . . . . . . . . . . .320
13.4 Hierarchical Sensitivity Parity . . . . . . . . . . . . . . . . . . . . . . .322
13.5 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
13.5.1 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
13.5.2 Experimental setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
13.5.3 Short-to-medium investments . . . . . . . . . . . . . . . . . . . . . 324
13.5.4 Long-term investments . . . . . . . . . . . . . . . . . . . . . . . . . . 328
13.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
V Backtesting 333
14 Backtesting in Portfolio Management 334
14.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . …………….. .. . . . . ..334
14.2 Data Preparation and Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
14.3 Implementation of Trading Strategies . . . . . . . . . . . . . . . . . . . . . . . . . 335
14.4 Types of Backtests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
14.4.1 Walk-Forward Backtest . . . . . . . . . . . . . . . . . . . . . . . . 336
14.4.2 Resampling Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
14.4.3 Monte Carlo Simulations and Generative Models . . . . 337
14.5 Performance Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .337
14.6 Avoiding Common Pitfalls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
14.7 Advanced Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
14.8 Case Study: Applying Backtesting to a Real-World Strategy . . . . . . . 339
14.9 Impact of Market Conditions on Backtest Results . . . . . . . . . . . . . . . .340
14.10 Integration with Portfolio Management . . . . . . . . . . . . . . . . . . . . . .. . 340
14.11 Tools and Software for Backtesting . . . . . . . . . . . . . . . . . . . . . . .. . . 341
14.12 Regulatory Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
14.13Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
15 Scenario Generation 344
15.1 Historical Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
15.2 Bootstrapping Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
15.3 Copula Based Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
CONTENTS
15.4 Risk Factor Model Based Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . .345
15.5 Time Series Model Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .346
15.6 Variational Autoencoders . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
15.7 Generative Adversarial Networks (GANs) . . . . . . . . . . . . . . . . . .. . . .347
Appendices 348
15.8 Software and Tools for Portfolio Optimization . . . . . . . . . . . . . . . . . 348
