服务器gpu_v100跑X-Chest-Ray 14笔记

news/2024/7/4 13:05:50
  • 显存估计:每张卡16G的显存,一共4张,跑32的batch size,3*1024*1024的输入,densenet161,改classifier为14分类并sigmoid输出(多标签),导致显存不足,所以改成densenet121,可以,但是不能加载预训练模型,因为v100集群是不联网的
  • 时间估计:我跑的是X-Chest-Ray 14的全集,取94999张作为训练集,17121张作为验证集,之前用9层的CNN试跑一下看看有没有bug都跑了一天一夜,所以差不多可以估计一下时间,是快不了的
  • 预处理方差mean=[0.485, 0.456, 0.406]和方差std=[0.229, 0.224, 0.225]
  • 一般来说只能申请一个结点的,因为只跑一个训练,只有一个任务,一个任务只能一个结点
  • 先写好批处理文件run.sh
    #!/bin/bash
    cd xxxx
    yhrun -n 1 -c 2 -p gpu_v100  python3 xxx.py | tee result.txt

    用notepad++改成unix格式,然后调用yhbatch命令上传该sh文件(记得-p指定分区,我用的是v100,所以是gpu_v100),yhq命令查看作业队列,如果发现队列里没有自己的作业,说明跑完了,可能是有bug。只有跑完了,才会把输出写入文件xxx.out,所以只要用xft看到xxx.out的大小是0B,就说明还没跑完。

  • 跑之前,要记得module load需要的环境,每次连接都要load一遍

http://www.niftyadmin.cn/n/3658085.html

相关文章

Visual Studio中的Class Designer设计工具需要您的建议!

帮同事Post一下相关调查,有兴趣的朋友可以参加一下,谈谈自己对Class Designer工具的看法 大家好,Class Designer是Visual Studio里的一个工具,可以将类之间的结构关系可视化、支持开发人员对类进行视觉化的设计和重构。它充分利用…

使用WinDbg对Windows Live Toolbar死锁的简单分析

我一直在用Windows Live Toolbar中的Live Favorites来同步我的书签信息,但是速度总是很慢,甚至完全死掉。今天闲来无事,刚看到Mark的一篇Blog http://blogs.technet.com/markrussinovich/archive/2006/08/31/453100.aspx,对于他不…

week2课堂笔记

搜索技巧: 必应国际版在谷歌用不了的时候用知乎好过百度快照功能 表示一定包含,-表示剔除,要加个空格“ ”内的内容表示不可拆分*表示通配符,表示不确定内容,模糊搜索,比如how * you, 或者吴*豪…

Windows Vista真的只是加了新界面吗?

经常看到很多朋友认为Windows Vista的改变主要是在界面上的。事实是,界面可能确实是Vista对普通用户最为有吸引力的一大方面,也是宣传最多的,但是事实上,Windows Vista还有着非常之多的重大改进:比如内核级别的改变有&…

数电学习笔记(2)

TTL逻辑器件分成54系列和74系列两大类,其电路结构、逻辑功能和 电气参数完全相同。不同的是54系列工作环境温度、电源工作范围比 74系列的宽。74系列工作环境温度为00C~ 700C,电源电压工作范围为 5V5%;而54系列工作环境温度为-550…

如何构造一个元素类型为Struct的SafeArray

在有些时候,我们需要构造一个元素类型为Struct的SafeArray,在MSDN并没有文档解释到底应该如何去做到这一点,下面的代码片断解释了如何去构造这样一个SafeArray。假设我们有如下的Struct:struct myStruct{unsigned char Name[255];…

嵌入式系统学习笔记(2)——单片机的硬件结构:引脚、CPU、存储器

8大部件,单一总线:微处理器、数据存储器、程序存储器、I/O口(P0-P3)、特殊功能寄存器、中断系统、定时/计数器、串行口 P0-P3是4个8位并行I/O口,其中P0口数据地址分时复用,要特别注意串行口是全双工异步串行…

嵌入式系统学习笔记(3)——I/O口电路结构、时钟周期、复位

P1口写数据时,将数据写到D0口,向P1W发写信号,这时Q口输出D0,Q非口输出D非,导致P10口输出D0。读数据时,可以从锁存器读,也可以直接从P10管脚读,取决于P1R1和P1R2,而且读锁…