写在前面的话：文章内容来源于但不限于网络、书籍、个人心得体会等，意在总结和方便各位同行快速参考，共同学习进步，记录自己的问题。错误在所难免，有请各位批评斧正。如有侵权，烦请第一时间通知，我会立即删除相关内容，万分感谢！
In practice, single scale is good enough. (The main reason why it can faster x10 than SPP-Net)
多任务损失函数：
第一项是分类损失函数，第二项是定位损失函数，k是类别索引，R个ROI的损失值取平均，k*是实际类别
边框回归： A smooth L1 loss which is less sensitive to outliers than L2 loss
Fast R-CNN 技巧 ：
对全连接层参数矩阵做了一个SVD分解，mAP几乎不怎么降（0.3%），但速度提速30%
数据增量：水平翻转
将VOC2012的数据也作为拓展数据加入到finetune的数据中，结果VOC07的mAP从66.9到了70.0
结论：
Fast RCNN和RCNN相比，训练时间从84小时减少为9.5小时，测试时间从47秒减少为0.32秒。在PASCAL VOC 2007上的准确率相差无几，约在66%-67%之间。
1.网络末端同步训练的分类和位置调整，提升准确度
2.使用多尺度的图像金字塔，性能几乎没有提高
3.倍增训练数据，能够有2%-3%的准确度提升
4.网络直接输出各类概率(softmax)，比SVM分类器性能略好
5.更多候选窗不能提升性能
Fast R-CNN不足：
1. Region proposal耗时（提region proposal 2~3s，而提特征分类只需0.32s），大部分时间用来提Region proposal
2. 伪端到端训练（region proposal使用selective search先提取处来，占用磁盘存储）
