常州市建设银行网站,手机网站建设机构,苏州做网站,广州装修公司哪家好背景
闲来无事翻了一下之前买的一个机器学习课程及之前记录的网络笔记#xff0c;发现遇到公式都是截图#xff0c;甚至是在纸上用笔推导的。重新整理一遍之前逻辑回归函数的学习笔记#xff0c;主要是为了玩一下 LaTex 语法#xff0c;写公式挺有意思的。
整理之前三篇笔…背景
闲来无事翻了一下之前买的一个机器学习课程及之前记录的网络笔记发现遇到公式都是截图甚至是在纸上用笔推导的。重新整理一遍之前逻辑回归函数的学习笔记主要是为了玩一下 LaTex 语法写公式挺有意思的。
整理之前三篇笔记汇总如下
逻辑回归上函数求导过程自推 LaTex 语法逻辑回归中数学公式学习笔记 LaTeX 版逻辑回归下 Sigmoid 函数的发展历史
逻辑回归 S 曲线的发展历史
Sigmoid 这个S 形是怎么发展的呢又怎么想到用它来做分类的呢罗马不是一天建成的Sigmoid 函数也不是一天形成的。逻辑回归的历史相当悠久迄今大概已经有200年。它的前身则在18世纪就已经出现了。
18世纪随着工业革命的深入世界经济、科技的发展美洲的发现以及随之而来的大移民和北美人口迅猛增长……各个学科对于统计学的工具性需求越来越强烈。到了19世纪为了研究人口增长以及化学催化反应与时间的关系人们发明了逻辑函数。
指数函数
这个大家都不陌生这就是传说中增长最快的曲线它的数学表达式为 f ( x ) a x f(x)a^x f(x)ax
最初学者们将人口或化合物的数量与时间的函数定义为 W ( t ) W(t) W(t) t t t 代表时间变量 W ( t ) W(t) W(t) 代表总量用指数函数表示为 W ( t ) a e b t 其中 a e b 均为模型参数 t 为模型变量。 W(t)ae^{bt}其中 aeb 均为模型参数t 为模型变量。 W(t)aebt其中aeb均为模型参数t为模型变量。
该函数在坐标系中的表现为
用该模型为一个国家的人口进行建模已经被证明在一个国家新建早期人口增长状况是复合该模型的。马尔克斯的人口论中讲述的「在没有任何外界阻碍的情况下人口将以几何级增长」正是基于指数模型。
我还想到了各种投资理论提倡的复利、非线性增长等也是基于这个模型。
对该函数求微分就可以得到增长率函数 W ′ ( t ) d W ( t ) d t W^{}(t)\frac{dW(t)}{dt} W′(t)dtdW(t)
修正指数函数
19世纪早期开始有数学家、统计学家质疑上述模型任何事物如果真的按照几何级数任意增长下去都会达到不可思议的数量。
然而在自然界中并没有什么东西是在毫无休止地增长的。当一种事物数量越来越多以后某种阻力也会越来越明显地抑制其增长。
比利时数学家 Verhulst 给出了一个新的模型 W ′ ( t ) b W ( t ) − g ( W ( t ) ) W(t)bW(t)-g(W(t)) W′(t)bW(t)−g(W(t))
其中 g ( W ( t ) ) g(W(t)) g(W(t))是以 W ( t ) W(t) W(t)为自变量的函数它代表随着总数增长出现的阻力。
Verhulst 尝试了几种不同的阻力函数后发现 g(W(t)) 是 W(t) 的平方形式时新模型显示了它的逻辑性。对人口增长率公式修正取 g ( ( W ( t ) ) b ( W ( t ) ) 2 L g((W(t))\frac{b(W(t))^2}{L} g((W(t))Lb(W(t))2其中 L 为 W(t) 的上限增长率函数为 W ′ ( t ) b W ( t ) − b ( W ( t ) ) 2 L b W ( t ) ( 1 − W ( t ) L ) \begin{align} W^{}(t)bW(t)-\frac{b(W(t))^2}{L}\newline bW(t)(1-\frac{W(t)}{L})\newline \end{align} W′(t)bW(t)−Lb(W(t))2bW(t)(1−LW(t))
这个公式将增长率表现为总量 W(t)、极限值L、总量和极限值之间的差比之间的关系。
令 P ( t ) W ( t ) L P(t)\frac{W(t)}{L} P(t)LW(t)使用商的求导公式 u W ( t ) , v L uW(t),vL uW(t),vL 计算该函数的微分 P ′ ( t ) W ′ ( t ) ∗ L 0 ∗ L L 2 W ′ ( t ) L 2 W ′ ( t ) L \begin{align} P^{}(t)\frac{W^{}(t)*L0*L}{L^2}\newline\frac{W^{}(t)}{L^2}\newline \frac{W^{}(t)}{L} \end{align} P′(t)L2W′(t)∗L0∗LL2W′(t)LW′(t)
将公式 2代入公式5中可以得到 P ′ ( t ) W ′ ( t ) L b W ( t ) L ( 1 − W ( t ) L ) b P ( t ) ( 1 − P ( t ) ) \begin{align} P^{}(t)\frac{W^{}(t)}{L} \newline\frac{bW(t)}{L}(1-\frac{W(t)}{L}) \newline bP(t)(1-P(t)) \end{align} P′(t)LW′(t)LbW(t)(1−LW(t))bP(t)(1−P(t)) P ′ ( t ) b P ( t ) ( 1 − P ( t ) ) P(t)bP(t)(1-P(t)) P′(t)bP(t)(1−P(t))这是一个一阶自治微分方程导数是自身的函数结合前面 逻辑回归上函数求导过程自推 LaTex 语法 的推导结果可知这里 P(t) 就是逻辑回归函数 g ( z ) 1 1 e − z g(z)\frac{1}{1e^{-z}} g(z)1e−z1
模型含义 意义当一个物种迁入到一个新生态系统中后,其数量会发生变化。假设该物种的起始数量小于环境的最大容纳量则数量会增长。该物种在此生态系统中有天敌、食物、空间等资源也不足非理想环境则增长函数满足逻辑斯谛方程,图像呈S形此方程是描述在资源有限的条件下种群增长规律的一个最佳数学模型。
