查看: 1189| 回复: 6
跳转到指定楼层
上一主题 下一主题
收起左侧

请教神经网络模型准确率跳跃式提升的异灵现象(有图)

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
本帖最后由 Nirvanawill 于 2023-2-12 11:54 编辑

背景:
第一次来地里发帖,30多岁转码大叔刚上岸数据岗,在学习Micheal Nelson的神经网络。把所有数学公式推导参悟后进入手动阶段。

模型:只用Numpy从零写识别手写数字神经网络模型


机器:树莓派3B+,四核CPU只用一核计算
Python: 3.9,Nelson的代码用python2写的,我修改了兼容python3
训练数据:6万手写数字
测试书据:   1 万
网络结构
784(pixel输入) =》32(单层隐藏层) =》10 (0-9识别)   识别率巅峰是95.5%
784(pixel输入) =》32 x 16(双层隐藏层) =》10                 识别率巅峰是95.3%  (增加过多深度没用)
784(pixel输入) =》48(单层隐藏层) =》10                         识别率巅峰是96.1%
问题出在把隐藏层从48个神经元调到64的时候识别率没咋提升,还是96%,反而发现学习的时候在一次ephoch准确率从87%飞跳到95%


想请教地里的能人,这有可能是哪些方面的原因呢?难道这就是所谓的脑袋开窍了?
谢谢了。

image.png (5.77 KB, 下载次数: 0)

image.png

上一篇:上岸的另一个option?
下一篇:How to effectively use Leetcode in 2022!
🔗
licro 2023-2-13 01:15:13 | 只看该作者
全局:
本帖最后由 licro 于 2023-2-12 09:38 编辑

神经网络的可解释性比较小,如果复盘把网络初始值定格,再把每一波所有错误结果打出来,可得精确解释。这里靠猜,一波training的准确率提升将近10%可能是之前把1预测成7或者把7预测成1了,训练完之后能把1和7分清楚了。
回复

使用道具 举报

全局:
可能是这一个epoch刚好到了一个gradient比较大的区域,这种现象蛮正常的。
回复

使用道具 举报

🔗
 楼主| Nirvanawill 2023-2-13 01:22:11 | 只看该作者
全局:
licro 发表于 2023-2-12 12:15
神经网络的课解释性比较小,如果复盘把网络初始值定格,再把每一波所有错误结果打出来,可得精确解释。这里 ...

感谢,这个猜测很make sense。

我可能去把每次epoch后的模型pickle dump一次做forward feeding 看看。
回复

使用道具 举报

🔗
 楼主| Nirvanawill 2023-2-13 01:27:04 | 只看该作者
全局:
本帖最后由 Nirvanawill 于 2023-2-12 12:30 编辑
找啊找工作 发表于 2023-2-12 12:18
可能是这一个epoch刚好到了一个gradient比较大的区域,这种现象蛮正常的。

看来我还有很多经验要积累。gradient较陡峭的地方没考虑。

补充内容 (2023-02-13 01:29 +8:00):
遇到这种准确率停滞或者跳跃的情况,我再试试把learning rate调小试试,也许学习曲线会平滑些。
回复

使用道具 举报

全局:
Nirvanawill 发表于 2023-02-12 09:27:04
看来我还有很多经验要积累。gradient较陡峭的地方没考虑。

补充内容 (2023-02-13 01:29 +8:00):
与其减小lr,可以试试exponential learning rate schedule,或者别的scheduler

也可以试试momentum,你可能仍旧会看到某个跨度比较大的epoch,但是可以让算法继续explore这个跨度大的区间
回复

使用道具 举报

🔗
 楼主| Nirvanawill 2023-2-13 02:23:18 | 只看该作者
全局:
找啊找工作 发表于 2023-2-12 12:41
与其减小lr,可以试试exponential learning rate schedule,或者别的scheduler

也可以试试momentum,你可 ...

https://arxiv.org/pdf/1910.07454.pdf

我先去消化下exponential learning rate吧。这几年技术迭代太快了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表