ML study Blog

(转)神经网络性能, 复杂度分析

Roofline Model与深度学习模型的性能分析 https://zhuanlan.zhihu.com/p/34204282 卷积神经网络的复杂度分析 https://zhuanlan.zhihu.com/p/31575074 takeaways 时间复杂度决定了模型的训练/预测时间。如果复杂度过高，则会导致模型训练和预测耗费大量时间，既无法快速的验证想法和改善模型，也无法做到...

Posted by zihuaweng on August 25, 2018

Depthwise Separable Convolution, MobileNets, Xception

这次介绍Depthwise Separable Convolution, 这种卷积层的设计是为了减少参数和计算量, 同时提高准确度或者保持准确度. 其中有几个轻量级模型, 包括MobileNets(v1, v2), Xception, 他们的设计初衷都是为了能够简化模型, 提高模型速度和准确度. 这几个模型都使用到了depthwise separable Convolution. Dept...

Posted by zihuaweng on August 14, 2018

algorithm & interview

记录一些有用的资料和网站用于日常学习算法及面试

Algorithm 每天做一两题, 有益身心 :D Big-O cheat sheet practise_1 project_2 Interview How To Prepare For an Interview In One Month The Technical Interview Cheat Sheet leetcode leetcode guid...

Posted by zihuaweng on July 12, 2018

HOG理解

Histograms of Oriented Gradients

总流程描述子描述子是从图片或者局部提取的有用特征. 一般来说, 特征描述子把widthxheightx3的图片转换为长度为n的向量. HOG中图片大小为64x128x3, 描述子长度为3780 计算得到的描述子经过SVM等的分类器可以进行二分类. In the HOG feature descriptor, the distribution ( histograms )...

Posted by zihuaweng on July 4, 2018

神经网络框架汇总(待更新)

记录现有的一些神经网络框架

深度学习火了这么久, 每天都有新的论文, 大多数都是原有的结构再修改的, 但也不乏有很多新的网络结构(一直在追赶大牛的脚步很心累). 最近看了一个汇总的网站, 于是乎觉得应该记录下来, 下次见到各种XXNN, XXN不会眼花, 2333333 先上一张汇总图镇楼下面只列出一些比较常用的: Feed forward neural networks (FF or FFNN) and pe...

Posted by zihuaweng on June 28, 2018

人脸检测算法 -- Haar

Haar Classifier解析

Haar Classifier 这是基于Haar feature的cascade分类器, 出自Paul Viola和Michael Jones的论文, “Rapid Object Detection using a Boosted Cascade of Simple Features”. 有的资料也描述为Viola Jones face detection. 是一个基于机器学习的传统图像处理...

Posted by zihuaweng on June 26, 2018

情绪识别 -- 文献调研

汇总有关情绪识别的一些研究

最近做了一些情绪识别的调研工作, 最主要是做人脸2D图像的情绪识别, 不包括视频,3D,脑电图等的研究, 当然, 时效性什么的我们就不考虑了哈~~ 一些有用的网站 Adam Geitgey人脸识别 High Quality Face Recognition with Deep Metric Learning 研究文献 DAGER: Deep Age, Gender and...

Posted by zihuaweng on June 19, 2018

逻辑回归

Logistic Regression

逻辑回归（二分类回归模型）针对一个二分类问题,我们希望可以使用一个模型区别0,1. 但是直接得到0,1的话往往不太准确,但是得到倾向于0或者1的程度是多少能够得到更加准确的结果,也就是不直接得到0,1而是得到条件概率P(Y=1|X=x),P(Y=0|X=x),再给定阈值去判断倒到底是1还是0. 所以怎么才能在一个模型中,学习到变量的条件概率呢? 最简单的办法是用线性回归解决这个问题. 下...

Posted by zihuaweng on June 1, 2018

gpu cpu差别, gpu选择(未完)

记录有关gpu的性能及相关的模型的性能分析

gpu,cpu差别在优化线上模型部署的时候遇到了cpu,gpu并发跟不上的问题，所以特意研究了一下gpu,cpu差别。把整合的内容记录下来，分别有硬件，软件角度分析。硬件 GPU为什么设计的 GPU的设计主要针对解决那些可以分解成成千上万个小块并且可以独立运行的问题，适用于计算量大，简单，多并行的计算。所以设计了很多小的数据单元执行同样的任务。 GPU由多个流处理器簇（SM）排列组成，...

Posted by zihuaweng on April 15, 2018

python web sever--gunicorn

gunicorn使用解析

gunicorn 是一个WSGI HTTP server Web Server <=====WSGI=====> Python APP 客户端发送一个请求，nginx接收到请求后转发给我们的服务端，服务端需要接受HTTP请求、解析HTTP请求、发送HTTP响应，这些都是体力活，为了不写写些东西，我们需要一个统一的接口来处理这些东西，这就是WSGI。 WSGI 其实是一种网...

Posted by zihuaweng on April 12, 2018

ZihuaWeng's Blog