信息熵：要考虑信源所有可能发生情况的不确定性。若信源符号有n种取值：U1 ，… ,Ui, … ,Un,对应概率为p1, … ,pi, … ,pn,且各种出现彼此独立。此时信源的平均不确定性应当为单个符号不确定性的统计平均值（E），成称为信息熵，即
-
-
交叉熵(cross entropy)是用于表征两个变量概率分布P, Q（假设P表示真实分布, Q为模型预测的分布） 的差异性 。交叉熵越大 , 两个变量差异程度越大。
-
也称为KL散度（Kulllback-Leibler divergence, 简称KLD）、信息散度（information divergence）、信息增益（information gain）。定义为：是交叉熵与信息熵的差值。表示用分布Q模拟真实分布P所需的额外信息。
-
例题：假设某字符发射器随机发出0和1两种字符。且其真实发出概率分布为A。现在有两人的观察概率分布B与C。各个分布如下：
-A(0)=1/2, A(1)=1/2
B(0)=1/4， B(1)=3/4
C(0)=1/8， C(1)=7/8
则B和C哪个更接近实际分布A？
-求解过程：
-
在嵌入式和移动设备上实现高精度的实时人脸识别，已经有一种高效的深度卷积神经网络模型Lightfacenet。该文在网络中结合深度可分离卷积、逐点卷积、瓶颈结构和挤压结构提出了轻量化神经网络单元，改进非线性激活函数。
-神经网络的发展有两个方向，一个是层数更多、宽度更广的大的神经网络，另一方面就是嵌入式和移动设备上的轻量级发展。
-轻量化的神经网络主要考虑三个维度：参数少，速度快和精度高
-
F是W H D 的特征图，K是W H D 的深度可分卷积核，公式如下：
-
该结构包含三个部分：
-
挤压函数Fsq，将全局空间沿着特征通道方向压缩为一个通道信息，该通道有全局特征通道的感受野，将空间维度H W D 缩小为 1 1 D ，ud表示第d层通道的特征图，zd表示第d层通道统计的数据。
-
激励函数Fex，使用了带有Sigmoid激活的门控机制学习参数W，为特征通道生成权重s。
-
重组权重函数Frw，将激励函数输出的结果和原来的特征图进行通道乘积为特征图权重加权
-作用：提升有用的特征和抑制用处不大的特征。
-该文章使用Hard_Swish激活函数，可以显著提高神经网络的准确性。
-
Swish非线性激活函数可以提高网络准确性，但是需要大量计算。所以该文章引进了分段式线性函数（Hard_Sigmoid）代替Sigmoid函数：
-
可以提高模型推理速度。
--1. 全局深度卷积层本质上是深度卷积层 ↩ -- -
文件—>偏好设置—>Markdown,勾选内联公式，重启typora。
- -
用两个“$”将数学公式括起来”$数学公式$“。例如：$a+b$，$a+b$。
-| Markdown | -算式 | -
|---|---|
| $x^2$ | -$x^2$ | -
| $y_1$ | -$y_1$ | -
| $1/2$ | -$1/2$ | -
| $\frac{1}{2}$ | -$\frac{1}{2}$ | -
| $\cdots$ | -$\cdots$ | -
| $\sqrt{2}$ | -$\sqrt{2}$ | -
| $\vec{a}$ | -$\vec{a}$ | -
| $\int{x}dx$ | -$\int{x}dx$ | -
| $\int_{1}^{2}{x}dx$($\int^{2}_{1}{x}dx$) | -$\int^{2}_{1}{x}dx$ | -
| $\lim{a+b}$ | -$\lim{a+b}$ | -
| $\lim_{n\rightnarrow+\infty}$ | -$\lim_{n\rightarrow+\infty}$ | -
| $\lim_{n\rightarrow-\infty}$ | -$\lim_{n\rightarrow-\infty}$ | -
| $\lim_{n\leftarrow-\infty}$ | -$\lim_{n\leftarrow-\infty}$ | -
| $\sum{a}$ | -$\sum{a}$ | -
| $\sum_{n=1}^{100}{a_n}$ | -$\sum_{n=1}^{100}{a_n}$ | -
| $\prod(x)$ | -$\prod(x)$ | -
| $\prod_{n=1}^{99}{x_n}$ | -$\prod_{n=1}^{99}{x_n}$ | -
| 字母 | -Markdown | -
|---|---|
| $\alpha$ | -$\alpha$ | -
| $\beta$ | -$\beta$ | -
| $\gamma$ | -$\gamma$ | -
| $\delta$ | -$\delta$ | -
| $\epsilon$ | -$\epsilon$ | -
| $\varepsilon$ | -$\varepsilon$ | -
| $\zeta$ | -$\zeta$ | -
| $\eta$ | -$\eta$ | -
| $\theta$ | -$\theta$ | -
| $\iota$ | -$\iota$ | -
| $\kappa$ | -$\kappa$ | -
| $\lambda$ | -$\lambda$ | -
| $\mu$ | -$\mu$ | -
| $\nu$ | -$\nu$ | -
| $\xi$ | -$\xi$ | -
| $\omicron$ | -$\omicron$ | -
| $\pi$ | -$\pi$ | -
| $\rho$ | -$\rho$ | -
| $\sigma$ | -$\sigma$ | -
| $\tau$ | -$\tau$ | -
| $\upsilon$ | -$\upsilon$ | -
| $\phi$ | -$\phi$ | -
| $\varphi$ | -$\varphi$ | -
| $\chi$ | -$\chi$ | -
| $\psi$ | -$\psi$ | -
| $\omega$ | -$\omega$ | -
| $\Omega$ | -$\Omega$ | -
| $\Psi$ | -$\Psi$ | -
| $\Phi$ | -$\Phi$ | -
| $\Upsilon$ | -$\Upsilon$ | -
| $\Sigma$ | -$\Sigma$ | -
| $\Pi$ | -$\Pi$ | -
| $\Xi$ | -$\Xi$ | -
| $\Lambda$ | -$\Lambda$ | -
| $\Theta$ | -$\Theta$ | -
| $\Delta$ | -$\Delta$ | -
| $\Gamma$ | -$\Gamma$ | -
| 算式 | -Markdown | -
|---|---|
| $\sin$ | -$\sin$ | -
| $\ln2$ | -$\ln2$ | -
| $log_{12}{30}$ | -$log_{12}{30}$ | -
| $\log10$ | -$\log10$ | -
| 运算符 | -Markdown | -
|---|---|
| $\pm$ | -$\pm$ | -
| $\times$ | -$\times$ | -
| $\cdot$ | -$\cdot$ | -
| $\div$ | -$\div$ | -
| $\neq$ | -$\neq$ | -
| $\equiv$ | -$\equiv$ | -
| $\leq$ | -$\leq$ | -
| $\geq$ | -$\geq$ | -
| 符号 | -Markdown | -
|---|---|
| $\forall$ | -$\forall$ | -
| $\infty$ | -$\infty$ | -
| $\empty$ | -$\empty$ | -
| $\exists$ | -$\exists$ | -
| $\nabla$ | -$\nabla$ | -
| $\bot$ | -$\bot$ | -
| $\angle$ | -$\angle$ | -
| $\because$ | -$\because$ | -
| $\therefore$ | -$\therefore$ | -
$c(u)=\begin{cases} \sqrt\frac{1}{N}, u=0\\ \sqrt\frac{2}{N}, u\neq0\end{cases}$
-$c(u)=\begin{cases} \sqrt\frac{1}{N}, u=0\\ \sqrt\frac{2}{N}, u\neq0\end{cases}$
-1 | $$ |
$a \quad b$
-\a \quad b$
-1 | $ a \quad b $ |
-
- ${highlightKeyword(content, slice)}...
`; - }); - - resultItem += '${imageTitle}
`); - // Make sure img title tag will show correctly in fancybox - $imageWrapLink.attr('title', imageTitle).attr('data-caption', imageTitle); - } - }); - - $.fancybox.defaults.hash = false; - $('.fancybox').fancybox({ - loop : true, - helpers: { - overlay: { - locked: false - } - } - }); - }, - - registerExtURL: function() { - document.querySelectorAll('.exturl').forEach(element => { - element.addEventListener('click', event => { - var exturl = event.currentTarget.getAttribute('data-url'); - var decurl = decodeURIComponent(escape(window.atob(exturl))); - window.open(decurl, '_blank', 'noopener'); - return false; - }); - }); - }, - - /** - * One-click copy code support. - */ - registerCopyCode: function() { - document.querySelectorAll('figure.highlight').forEach(element => { - const box = document.createElement('div'); - element.wrap(box); - box.classList.add('highlight-container'); - box.insertAdjacentHTML('beforeend', 'Change dir to NexT directory. There must be layout, source, languages and other directories:
$ cd themes/next
-$ ls
-_config.yml crowdin.yml docs gulpfile.js languages layout LICENSE.md package.json README.md scripts source
-Install module to source/lib directory:
$ git clone https://github.com/theme-next/theme-next-canvas-nest source/lib/canvas-nest
-Enable module in NexT _config.yml file:
canvas_nest:
- enable: true
- onmobile: true # display on mobile or not
- color: '0,0,255' # RGB values, use ',' to separate
- opacity: 0.5 # the opacity of line: 0~1
- zIndex: -1 # z-index property of the background
- count: 99 # the number of lines
-And, if you wants to use the CDN, then need to set:
-vendors:
- ...
- canvas_nest: //cdn.jsdelivr.net/gh/theme-next/theme-next-canvas-nest@latest/canvas-nest.min.js
- canvas_nest_nomobile: //cdn.jsdelivr.net/gh/theme-next/theme-next-canvas-nest@latest/canvas-nest-nomobile.min.js
-$ cd themes/next/source/lib/canvas-nest
-$ git pull
-Change dir to NexT directory. There must be layout, source, languages and other directories:
$ cd themes/next
-$ ls
-_config.yml crowdin.yml docs gulpfile.js languages layout LICENSE.md package.json README.md scripts source
-Install module to source/lib directory:
$ git clone https://github.com/theme-next/theme-next-pace source/lib/pace
-Enable module in NexT _config.yml file and select your theme:
pace:
- enable: true
- # Themes list:
- # big-counter | bounce | barber-shop | center-atom | center-circle | center-radar | center-simple
- # corner-indicator | fill-left | flat-top | flash | loading-bar | mac-osx | material | minimal
- theme: minimal
-And, if you wants to use the CDN, then need to set: (you also need to find your corresponding theme css link in jsdelivr)
-vendors:
- ...
- pace: //cdn.jsdelivr.net/npm/pace-js@1/pace.min.js
- pace_css: //cdn.jsdelivr.net/npm/pace-js@1/themes/blue/pace-theme-minimal.css
-$ cd themes/next/source/lib/pace
-$ git pull
-