㈠ 01 隱馬爾可夫模型 - 馬爾可夫鏈、HMM參數和性質
先直白得講性質: 當前的狀態只和上一時刻有關,在上一時刻之前的任何狀態都和我無關。我們稱其 符合 馬爾可夫性質。
下面是理論化的闡述:
設{X(t), t ∈ T}是一個 隨機過程 ,E為其狀態空間,若對於任意的t1<t2< ...<tn<t,任意的x1,x2,...,xn,x∈E,隨機變數X(t)在已知變數X(t1)=x1,...,X(tn)=xn之下的條件分布函數只與X(tn)=xn有關,而與X(t1)=x1,...,X(tn-1)=xn-1無關,即條件分布函數 滿足 下列等式,此性質稱為 馬爾可夫性 ;如果隨機過程 滿足 馬爾可夫性,則該過程稱為馬爾可夫過程。
馬爾可夫鏈 是指具有馬爾可夫性質的隨機過程。在過程中,在給定當前信息的情況下,過去的信息狀態對於預測將來 狀態 是無關的。
例子: 在今天這個時間點而言,過去的股價走勢對我預測未來的股價是毫無幫助的。
PS:上面馬爾可夫鏈中提到的 狀態 ,在本例指的是 股價 。
在馬爾可夫鏈的每一步,系統根據 概率分布 ,可以從一個狀態變成另外一個狀態,也可以保持當前狀態不變。狀態的改變叫做 轉移 ,狀態改變的相關概率叫做 轉移概率 。
例子: 當前時間狀態下的股價,可以轉變成下一時刻的股價,股價的轉變即 狀態的改變 。這個狀態現在可以上升(股價提高),狀態也可以下降。我可以根據當前股票的價格去決定下一刻股價上升、下降、不變的概率。這種股價變動的概率稱為 狀態轉移概率 。
馬爾可夫鏈中的 三元素是 :狀態空間S、轉移概率矩陣P、初始概率分布π。
1、狀態空間S - 例: S是一個集合,包含所有的狀態 S 股價 ={高,中,低} ;
2、初始概率分布π - 例:
股價剛發行的時候有一個初始價格,我們認為初始價格為高的概率為50%,初始價格為中的概率是30%,初始價格為低的概率是20%。我們記股票價格的初始概率分布為:π=(0.5,0.3,0.2);對應狀態:(高、中、低); 初始概率分布是一個向量 ,如果有n個狀態,π是n維向量。
3、轉移概率矩陣P - 例:
現在有個股價為中,下一個時刻狀態轉變的可能性有三種,中→高、中→低、中→中;將三種轉變的概率。此外當前時刻也有股票的價格屬於低,對應的轉變可能包括低→高、低→低、低→中;即每種狀態都有可能轉變成其他的狀態,若一共有n個狀態,形成的 轉移概率矩陣 應該是n×n階矩陣。這里需要注意的是,股價從高→低,和低→高的概率是不同的。
設將天氣狀態分為晴、陰、雨三種狀態,假定某天的天氣狀態只和上一天的天氣狀態有關,狀態使用1(晴)、2(陰)、3(雨)表示,轉移概率矩陣P如下:
第n+1天天氣狀態為j的概率為:
因此,矩陣P即為條件概率轉移矩陣。矩陣P的第i行元素表示,在上一個狀態為i的時候的分布概率,即每行元素的和必須為1。
隱馬爾可夫模型(Hidden Markov Model, HMM)是一種統計模型,在語音識別、行為識別、NLP、故障診斷等領域具有高效的性能。
HMM是關於時序的概率模型,描述一個含有未知參數的馬爾可夫鏈所生成的不可觀測的狀態隨機序列,再由各個狀態生成觀測隨機序列的過程。
HMM是一個雙重隨機過程---具有一定狀態的隱馬爾可夫鏈和隨機的觀測序列。
HMM隨機生成的狀態隨機序列被稱為狀態序列;每個狀態生成一個觀測,由此產生的觀測隨機序列,被稱為觀測序列。
思考: z1,z2...,zn是 不可觀測的狀態,x1,x2,...xn是 可觀測到的序列 ;不可觀測的狀態覺得可觀測序列的值(z的取值決定x的取值);
1、在 z1、z2 不可觀測 的情況下,x1和z2獨立嗎?x1和x2獨立嗎?
回答: 這個問題可以回顧之前的 貝葉斯網路 來理解。
首先z1,z2都是離散的值,但x1的值可能是離散的也可能是連續的。比如z是天氣情況,每天天氣的改變是離散的。x是因為天氣而改變的一些其他狀態,比如x=(地面是否潮濕、路上行人數量、雨傘銷售數量...);
在z1和z2不可觀測的情況下,x1和z2不獨立,x1和x2也是不獨立的。
2、 在 z1、z2可觀測 的情況下,x1和z2獨立嗎?x1和x2獨立嗎?
回答: 在z1和z2可觀測的情況下,因為x1和z2的取值只和z1有關,所以就獨立了。同樣在給定了z1和z2的情況下,x1和x2也獨立。
請回顧貝葉斯網路中的獨立性問題來思考這個問題。
04 貝葉斯演算法 - 貝葉斯網路
回顧:
一般而言,貝葉斯網路的有向無環圖中的節點表示隨機變數,可以是可觀察到的變數,或隱變數,未知參數等等。連接兩個節點之間的箭頭代表兩個隨機變數之間的因果關系(也就是這兩個隨機變數之間非條件獨立);如果兩個節點間以一個單箭頭連接在一起,表示其中一個節點是「因」,另外一個節點是「果」,從而兩節點之間就會產生一個條件概率值。
PS:每個節點在給定其直接前驅的時候,條件獨立於其非後繼。
HMM 由隱含狀態S、可觀測狀態O、初始狀態概率矩陣π、隱含狀態轉移概率矩陣A、可觀測值轉移矩陣B(又稱為混淆矩陣,Confusion Matrix);
π和A決定了狀態序列,B決定觀測序列,因此HMM可以使用三元符號表示,稱為HMM的三元素:
S可以統計歷史出現的所有狀態;
初始概率分布π,統計S中各個狀態各自出現的概率作為我們的初始概率分布π向量值;
S是所有可能的狀態集合,O是所有可能的觀測集合:
I是長度為T的狀態序列,Q是對應的觀測序列:
S={下雨,陰天,晴天};O={地上干,地上濕}
I = {晴,雨,雨,陰,晴,陰}
Q={干,濕,濕,濕,干,干}
A是隱含狀態轉移概率矩陣:
其中aij是在時刻t處於狀態si的條件下時刻t+1轉移到狀態sj的概率。
a 晴雨 = 某天是晴天條件下,下一天是雨天的概率。 (某一時刻→下一時刻)
B是可觀測值轉移概率矩陣:
其中bij是在時刻t處於狀態si的條件下生成觀測值oj的概率。
b 晴干 = 某天是晴天條件下,某天是地是乾的的概率。 (同一時刻)
π是初始狀態概率向量:
其中πi是在時刻t=1處於狀態si的概率。
π 晴 = 初始第一天是晴天的概率;
π 雨 = 初始第一天是雨天的概率;
p(i t | .....) 表示在從 t-1時刻的觀測值q t-1 ,一直到第1時刻觀測值q1 的條件下,在第t時刻發生狀態的概率。
性質1: 最終分析結果發現,在第t時刻發生狀態的概率it只和t-1時刻有關。
性質2: 第t時刻的觀測值qt只和第t時刻的狀態it有關。
假設有三個盒子,編號為1,2,3;每個盒子都裝有黑白兩種顏色的小球,球的比例。如下:
按照下列規則的方式進行有放回的抽取小球,得到球顏色的觀測序列:
1、按照π的概率選擇一個盒子,從盒子中隨機抽取出一個球,記錄顏色後放回盒子中;
2、按照某種條件概率選擇新的盒子,重復該操作;
3、最終得到觀測序列:「白黑白白黑」
例如: 每次抽盒子按一定的概率來抽,也可以理解成隨機抽。
第1次抽了1號盒子①,第2次抽了3號盒子③,第3次抽了2號盒子②.... ; 最終如下:
①→③→②→②→③ 狀態值
白→黑→白→白→黑 觀測值
1、 狀態集合: S={盒子1,盒子2,盒子3}
2、 觀測集合: O={白,黑}
3、 狀態序列和觀測序列的長度 T=5 (我抽了5次)
4、 初始概率分布: π 表示初次抽時,抽到1盒子的概率是0.2,抽到2盒子的概率是0.5,抽到3盒子的概率是0.3。
5、 狀態轉移概率矩陣 A:a11=0.5 表示當前我抽到1盒子,下次還抽到1盒子的概率是0.5;
6、 觀測概率矩陣 B:如最初的圖,b11=第一個盒子抽到白球概率0.4,b12=第一個盒子抽到黑球概率0.6;
在給定參數π、A、B的時候,得到觀測序列為「白黑白白黑」的概率是多少?
這個時候,我們不知道隱含條件,即不知道狀態值:①→③→②→②→③ ;
我們如何根據π、A、B求出測序列為「白黑白白黑」的概率?
02 隱馬爾可夫模型 - HMM的三個問題 - 概率計算、學習、預測
㈡ 鞅過程與馬爾科夫過程的關系
鞅和馬爾可夫過程沒有包含的關系。因為鞅代表的是公平游戲,而馬爾可夫過程側重過程無記憶性。兩者沒有內在聯系。
鞅(martingale):如果隨機過程X(t)滿足對任意的s<t,都滿足,則稱為鞅。
直觀上而言,已知鞅過程在某一時刻的值時,其任意之後時刻的條件期望為這一時刻的值。從賭徒的角度來看,它是一個公平的游戲。
舉例而言,如果我們在玩搖骰子比大小的游戲,每一輪輸家要給贏家一元錢。假設游戲公平,在第十局結束後,你已經發現自己贏了4元,在十一局時,由於游戲的公平性,你有一半幾率贏一元,也有一半幾率輸一元。此時你在第十一局結束後收益的條件期望為4元。甚至,在第二十局時你收益的期望依然是4元。從第十局以後,無論局數為多少,你的條件期望都會等於在第十局的收益。此時你的收益就是一個鞅過程。
馬爾可夫過程(Markov Process):如果隨機過程X(n)滿足對任意時刻,給過去全部經歷的路程,其分布與給最近一點的位置相同,即。
直觀上而言,如果我要研究一個馬爾可夫過程未來的發展,你給我這個過程經歷的路程與給我你最後觀察到的點的位置是等價的,即擁有路程並不能帶來更多的信息。這或許有點難以理解,但如果你假設股票的價格是馬爾可夫過程,那麼你做決策僅僅在乎此時的股票價格而不會在乎股票整體的走勢。這說明,馬爾可夫過程側重於過程的無記憶性。
舉例而言,小紅家住在10樓,她可以坐電梯或者走樓梯下樓。但是樓梯口某個位置特別暗,有可能會在那栽跟頭。如果我們假設這是個馬爾可夫過程,當我們觀察到小紅今天走樓梯下樓時,我們就會說小紅今天有幾率p在那邊摔倒,此時摔倒的幾率為一個常數。轉而言之,我們並不在乎小紅走過多少次樓梯口,我們假設她永遠不會從上次的摔倒中學習。也就是說,小紅在樓梯口摔了一次與摔了十次後,只要觀察到她走樓梯,她就有相同的機會在同樣的地方栽跟頭。
對於布朗運動而言,其既是鞅又是馬爾可夫過程。
由於布朗運動的增量獨立且均值為0的特性,(即與獨立且均值為0)。我們很容易證明布朗運動即是鞅又是馬爾可夫過程。但對於一般的情形,鞅與馬爾可夫過程並沒有更多相關性。究其原因,是因為兩者的側重點不同,鞅側重公平性,而馬爾可夫過程側重無記憶性。這兩者並無聯系。
兩者無包含關系舉例。
是馬爾可夫卻不是鞅的過程:帶飄移的布朗運動:。此時無記憶性並不違背,因為與都具有獨立增量,因此知道路徑並不會比知道最近的點要優越。但是這個過程卻不是鞅,因為它並不公平。由於飄移項的引入,其均值會一直增大,在賭博中,如果你的期望收益一直變大,那這個游戲一定不會是公平的。因此,這個過程是馬爾可夫卻不是鞅。
是鞅卻不是馬爾可夫的過程:過程相關的Ito積分:。此時在t時刻的增量會是與過去所有路徑的積分相關的隨機變數。此時僅僅知道最近一點的觀察值不足以給出很好的預測,我們需要知道全部的路程。但這個過程卻會是鞅,因為每一個增量都可以表示成路徑和布朗運動增量的和,而布朗運動均值為零,故其增量會為零,不違背鞅的性質。因此,這個過程是鞅而不是馬爾可夫。
㈢ 隨機過程在金融領域應用的有關題目,請教高人指點~~~
解答:本題我們可以直接利用獨立同分布的對數正態隨機變數的定義來解答。
1)假設Z是標准正態隨機變數,則第一周股票價格上升的概率是
P(S(1)/S(0) >1)=P{ln[S(1)/S(0) ]>0}=P{Z>-0.0165/0.0730}=P{Z>-0.226}=P{Z<0.226}查表約等於0.5894. 於是連續兩周價格上升的概率為(0.5894)²=0.3474.
2)兩周後的股票價格高於今天的價格概率為P{S(2)/S(0) >1}=P{[S(2)/S(1)][S(1)/S(0)>1}
=P{ln[S(2)/S(1)]+ln[S(1)/S(0)>1}>0
=P{Z>-0.0330/0.0730√2}=P{Z>-0.31965}=P{Z<0.31965}查表約等於0.6354.
㈣ 馬爾科夫鏈在經濟預測和決策中的應用
馬爾科夫鏈對經濟預測和決策是通過模型來進行的。
馬爾可夫鏈,是指數學中具有馬爾可夫性質的離散事件隨機過程。該過程中,在給定當前知識或信息的情況下,過去(即當前以前的歷史狀態)對於預測將來(即當前以後的未來狀態)是無關的。
馬爾科夫鏈是一種預測工具。適宜對很多經濟現象的描述。最為典型的就是對股票市場的分析。有人利用歷史數據預測未來股票或股市走勢,發現並不具備明顯的准確性,得出的結論是股市無規律可言。
經濟學者們用建立馬爾科夫鏈模型來進行預測和決策,一般分為三步,設定狀態,計算轉移概率矩陣,計算轉移的結果。
㈤ 用人工智慧計算股票的漲和跌可行嗎
其實現在人工智慧發展的這么快,我們很多事情藉助電腦的幫助就可以完成了,但是股價這個波動性,隨機性這么強的東西,我覺得還是不行。只要把這個函數寫出來就可以預測股價了。這個函數是什麼樣子的? 我們可以嘗試用N個模型(線性,非線性, 概率)來進行逼近。如果股價的變化是符合這幾個模型的,那麼在有足夠多的訓練數據的情況下,股價將被模擬出來。但是事實是,在嘗試過許多許多模型的情況下,這些模型幾乎沒能預測股價的變化,有的模型只能在特定的區間能做一些不是十分精準的預測。
所以說,電腦是不能這么乾的。