keming

Keming's World

Report from Goldman Sachs

高盛的报告出中文版了 关于人工智能行业，一直缺一个靠谱的分析报告 因此我决定信一波资本家 pdf版 放在百度网盘里了，大家可以来看看，密码bend 高盛行业报告中文版pdf 简单展示下 信息量还是相当的大 大家有需要的可以自行查看。

Posted by keming on November 29, 2017

Universal perturbations

扰动 一直都有在深层神经网络的输入中加入扰动来误导分类结果的说法，之前听说的都是随机扰动。最近看到一篇论文，使用了全局的扰动来干扰分类器，效果十分可怕。 论文在arxiv中有提供： Universal adversarial perturbations 直接上效果 看个示意图...

Posted by keming on November 27, 2017

About Convolution

卷积神经网络 这个没什么好说的，凡是做深度学习的人没有不了解二维卷积的，这几天看Xception，突然发现自己了解的卷积还停留在Lenet时代，实在不应该，所有稍微谈一谈。 Ｆactorized Convolution 之前是看过这样一篇论文的，大家有兴趣可以去看看，还有一篇相...

Posted by keming on September 16, 2017

A Wrong Opinion

深度学习 众所周知，深度学习起源于神经网络，而在感知机时代，机器学习就已盛行。 不提所谓的三起三落，回顾历史，机器学习方法已经应用了几十年。 在深度学习之前，机器学习方法具有很大的局限性，它无法解决较复杂的模型，在一些典型的图像处理和自然语言识别应用中都表现不佳。 最近听到最...

Posted by keming on August 29, 2017

Sigmoid Loss

sigmoid与softmax 这两个东西拿到一起比较基本就是它们在最后一层做分类了。 对于二分类，我们当然会首先想到sigmoid，大名鼎鼎的logistic回归嘛！一旦类别超过2，我们也很快会想到softmax。事实上，对于softmax来说，二分类同样可以做，无非是个二元的on...

Posted by keming on August 22, 2017

Multi-labels Classification

多标签与多分类 多分类是指在一个模式中将输入分成多个类，可做one-hot编码，用softmax处理。 多标签是指在一个模型中有多个模态，一个输入可能有多个属于的模态。这是一个同时做多分类的问题。可以用sigmoid处理，loss使用交叉熵求和。 多标签增加了模型的复杂度 ...

Posted by keming on August 21, 2017

Tricks of NN

LRN 似乎已被弃用，除了AlexNet，效果不太好。 数据增强 尤其对图像来说，可以做crops，旋转，还可以做multi-size的训练。 Batch Normalization 对mini-batch的各样本同一维度进行处理，需要batch size，不适合直接用于RNN。 Lay...

Posted by keming on August 18, 2017

PCA降维与卷积升维

最近刚看了点PCA的应用，对于其能够实现降维感到很惊奇。只是给定一堆samples，给定每个sample的属性值，此外没有任何分类信息，就能够将属性的个数减少而不过多影响整体。 它是如何办到的 PCA(Principal Component Analysis)用中文讲就是主成分分析。 ...

Posted by keming on June 2, 2017