move more links from Doc Project front page
[wiki.git] / doc / afs-and-you.html
1 [[!meta title="AFS and You"]]
2
3 <div style="float: right; font-size: 0.8em; background-color: #D0D0D0; margin: 1em;">
4         <ol>
5                 <li><a href="#WhatisAFS">What is AFS?</a></li>
6                 <li><a href="#SomeMITAFSterminology">Some MIT/AFS terminology</a></li>
7                 <li><a href="#TheBasics">The Basics</a>
8                         <ol><li><a href="#TheLayoutofaTypicalMITLocker">The Layout of a Typical MIT Locker</a></li>
9                                 <li><a href="#AccessingLockers">Accessing Lockers</a>
10                                         <ol><li><a href="#FromAthena">From Athena</a></li>
11                                                 <li><a href="#FromtheWeb">From the Web</a></li>
12                                         </ol>
13                                 <li><a href="#CheckingQuota">Checking Quota</a></li>
14                         </ol>
15                 <li><a href="#CommonTasks">Common Tasks</a>
16                         <ol><li><a href="#ControllingWhocanAccessFiles">Controlling Who can Access Files</a></li>
17                                 <li><a href="#CreatinganAFSGroup">Creating an AFS Group</a></li>
18                                 <li><a href="#ControllingAccessfromtheWeb">Controlling Access from the Web</a></li>
19                         </ol>
20                 <li><a href="#Troubleshooting">Troubleshooting</a>
21                         <ol>
22                                 <li><a href="#ImtryingtoaccessmyfilesfslasaysIshouldhavepermissionsherebutitstillsays:Permissiondenied">I'm trying to access my files, <tt>fs la</tt> says I should have permissions  &hellip;</a></li>
23                                 <li><a href="#IdreallypreferthatnoteveryonecouldlistmyfileshowshouldIstopthis">I'd really prefer that not everyone could list my files, how should I stop  &hellip;</a></li>
24                                 <li><a href="#Itwasaround6amonaSundaymorningandsuddenlyIcouldntaccessmyfiles">It was around 6am on a Sunday morning and suddenly I couldn't access my  &hellip;</a></li>
25                                 <li><a href="#ItisntSundayandIcantgettomyfiles">It isn't Sunday and I can't get to my files</a></li>
26                         </ol>
27                 <li><a href="#AdvancedTasks">Advanced Tasks</a>
28                         <ol>
29                                 <li><a href="#PuttingSoftwareinaLocker">Putting Software in a Locker</a></li>
30                                 <li><a href="#Acquiringanewlocker">Acquiring a new locker</a></li>
31                         </ol>
32                 <li><a href="#SeeAlso">See Also</a></li>
33         </ol>
34 </div>
35
36
37 <p>
38 Mostly written by Donald Guy, <br />
39 drawn from a variety of sources. <br />
40 Credit goes to them, blame goes to him.
41 </p>
42 <h2 id="WhatisAFS">What is AFS?</h2>
43 <p>
44 The <strong>Andrew File System</strong> or <strong>AFS</strong> is a distributed network file system invented at <a href="http://www.cmu.edu/index.shtml">Carnegie Mellon University</a> as part of Project Andrew (approximately their equivalent of MIT's Project Athena). More importantly, it is the file system used to store most files on Athena today. This includes your personal home directory, the data and websites of many living groups and student groups on campus, and probably some of the software you run (if you ever use Athena clusters). (Though all user directories were migrated from NFS in the summer of 1992, some files probably still remain on NFS and, of course, various file systems are used on personal computers and servers.)
45
46 </p>
47 <p>
48 <strong><i>In Short: AFS is probably where some of the files you care about live</i></strong>
49 </p>
50 <p>
51 For the most part, using AFS, particularly at MIT, is well-hidden and can be used like any other UNIX file system. For some things, you will need to know a bit more. Let's start by defining some terms.
52 </p>
53 <h2 id="SomeMITAFSterminology">Some MIT/AFS terminology</h2>
54 <dl><dt><strong>locker</strong></dt><dd>
55 For practical purposes, a folder. Probably the what you'll care about most of the time. Technically any directory mountable under /mit, regardless of how its stored. Today, most lockers lockers are stored in AFS.
56 </dd></dl>
57 <dl><dt><strong>tokens</strong></dt><dd>
58 Essentially proof to the AFS servers that you are who you say you are, thus allowing you to access files you are supposed to. Analogous to Kerberos tickets. 
59
60 </dd></dl>
61 <dl><dt><strong>cell</strong></dt><dd>
62 AFS concept of an "administrative domain of authority." Each cell has its own set of users, groups, and administrators. Analogous to a Kerberos realm. Each top-level directory in /afs corresponds to a cell. The cells you are most likely to care about are <tt>athena.mit.edu</tt> and <tt>sipb.mit.edu</tt>.
63 </dd></dl>
64 <h2 id="TheBasics">The Basics</h2>
65 <h2 id="TheLayoutofaTypicalMITLocker">The Layout of a Typical MIT Locker</h2>
66 <p>
67 Every Athena user has a locker (their home directory), which mounts at <tt>/mit/&lt;username&gt;</tt>. From a technical standpoint, it is stored in the volume <tt>user.&lt;username&gt;</tt> which is located at <tt>/afs/athena.mit.edu/user/&lt;first letter&gt;/&lt;second letter&gt;/&lt;user name&gt;</tt>. For example, the user <tt>joeuser</tt> has a home directory that mounts at <tt>/mit/joeuser</tt>, is volume <tt>user.joeuser</tt>, and is accessible at <tt>/afs/user/j/o/joeuser</tt>. Lockers for projects, software, classes, living groups, and student groups are all mounted at <tt>/mit/&lt;lockername&gt;</tt> and stored at various places in AFS.
68
69 </p>
70 <p>
71 Within each locker, there are (by default) 4 special subdirectories you want to care about.
72 </p>
73 <dl><dt><strong><tt>Public</tt></strong></dt><dd>
74 By default, this directory can be read by everyone (and I do mean EVERYONE!), so put files here you want to share with the entire world.
75 </dd><dt><strong><tt>Private</tt></strong></dt><dd>
76 By default, this directory can only be read and can only be <i>listed</i> by you (from AFS, not from web) whereas the files in other directories can (by default) only be read by you, but can be listed by anyone. This means that other people can't see the contents of your files, but they can see what files you have outside of <tt>Private</tt> 
77 </dd><dt><strong><tt>OldFiles</tt></strong></dt><dd>
78
79 This folder is a link to a read-only copy of a backup of your files (created nightly at 3 a.m.). This copy cannot be edited and does not count towards the locker's quota. (From a technical standpoint, this is a separate volume, user.&lt;username&gt;.backup and is stored only as changes against the current copy.)
80 </dd><dt><strong><tt>www</tt></strong></dt><dd>
81 Where you should put a website, if you want one. There is very little special about this directory from an AFS standpoint, but it is world-readable (like Public) and is linked directly to <tt>http://www.mit.edu/~&lt;lockername&gt;</tt> as well as <tt>http://web.mit.edu/&lt;lockername&gt;</tt>.
82 </dd></dl>
83 <h2 id="AccessingLockers">Accessing Lockers</h2>
84 <h3 id="FromAthena">From Athena</h3>
85
86 <p>
87 On Athena, you can access a locker either as its full AFS path, if you know it (e.g. <tt>/afs/athena.mit.edu/course/6/6.01</tt>), or under <tt>/mit</tt> if it is "attached." Yet a third way is to use tilde expansion and simply <tt> cd ~~&lt;locker&gt; </tt> (e.g. <tt>cd ~~6.01</tt>) which will take you to the full path. Often, however, you want to attach lockers because it is easier to refer to them outside of the shell (in a script, for example) and software is set up to run with a path under <tt>/mit</tt>. There are a few ways to attach a locker: 
88
89 </p>
90 <ul><li>If you are running on a <a href="http://debathena.mit.edu">Debathena</a> machine, such as <a href="http://linerva.mit.edu">linerva.mit.edu</a>, then simply <tt>cd /mit/&lt;locker&gt;</tt> and it will be auto-attached.
91 </li><li>If you are on another Athena machine and don't want to run software out of the locker, than simply type <tt>attach &lt;locker&gt;</tt> and then <tt>cd</tt> to it.
92
93 </li><li>If, however, you want to use software in the locker, you will be better served by running <tt>add &lt;locker&gt;</tt> (e.g. <tt>add ruby-lang</tt>). This will attach the locker at <tt>/mit/&lt;locker&gt;</tt> and will add the <tt>bin</tt> directory (for your architecture) of that locker to your PATH. What this means is that you should be able to run any program located in that locker by simply typing the name of the program at the command line.
94 <ul><li>If you frequently use the same locker, it may be helpful for you to add the <tt>add &lt;locker&gt;</tt> command to your <tt>.environment</tt> file. To do this simply from the Athena command line, type <tt>echo "add lockername" &gt; ~/.environment</tt> or <tt>echo "add lockername &gt;&gt; ~/.environment</tt>.
95
96 </li></ul></li></ul><h3 id="FromtheWeb">From the Web</h3>
97 <p>
98 Generally any locker that you would access on Athena as <tt>/mit/&lt;locker&gt;</tt> is accessible on the web as <tt>http://web.mit.edu/&lt;locker&gt;</tt>. For example, the barnowl locker is at <a href="http://web.mit.edu/barnowl">http://web.mit.edu/barnowl</a>. As you can see, if there is no index.html (see below), the files in the directory are listed. By default, however, none of the contents are readable except in the <tt>www</tt> and <tt>Public</tt> folders.
99
100 </p>
101 <p>
102 Also, you may access something in one of the MIT AFS cells by taking its full AFS path after web.mit.edu (<a href="http://web.mit.edu/afs/athena.mit.edu/activity/c/chess-club">http://web.mit.edu/afs/athena.mit.edu/activity/c/chess-club</a>). (That link also shows that if you have a text file named README readable, as a link to Public/README for example, its contents will be displayed below the directory listing).
103 </p>
104 <h2 id="CheckingQuota">Checking Quota</h2>
105 <p>
106 You are only allocated a certain amount of disk space by MIT. To check the quota of the locker you are presently in run <tt>fs listquota</tt>. You will see output similar to the following:
107 </p>
108 <pre>user@host:/mit/chess-club$ fs listquota
109 Volume Name                   Quota      Used %Used   Partition
110 activity.chess-club         1500000     13163    1%         90% 
111 </pre><p>
112 If this information is good enough for you, then you are done. If not, read on.
113 </p>
114
115 <h2 id="CommonTasks">Common Tasks</h2>
116 <h2 id="ControllingWhocanAccessFiles">Controlling Who can Access Files</h2>
117 <p>
118 You may be familiar with Unix permissions. Sad to say, but that knowledge is basically useless here. Whereas Unix permissions, are per-file, AFS permissions are controlled by <strong>Access Control List</strong>s (<strong>ACL</strong>s) on a per-directory basis. 
119 </p>
120 <p>
121 To view the ACL for a given directory (where you have permission to do so), run <tt>fs listacl</tt> or <tt>fs la</tt>, for short. For a typical user locker, the ACL in the top level will look like this 
122
123 </p>
124 <pre>user@host:~$ fs la
125 Access list for . is
126 Normal rights:
127   system:expunge ld
128   system:anyuser l
129   user rlidwka
130 </pre><p>
131 This is a list of users or <a href="#CreatinganAFSGroup">AFS groups</a> and their permissions in this directory (and subdirectories that don't have their own ACL modifications). In AFS there are seven permissions as follows
132 </p>
133 <blockquote>
134 <table>
135 <tr><td><strong>r</strong></td><td>  read   </td><td>   user or members of group can read files in the directory    (i.e. see the contents of files)                  
136 </td></tr><tr><td><strong>l</strong></td><td>  list   </td><td>   user or members of group can list files in the directory    (i.e. see the names of files)                     
137
138 </td></tr><tr><td><strong>i</strong></td><td>  insert </td><td>   user or members of group can create files (or subdirectories) in the directory                                
139 </td></tr><tr><td><strong>d</strong></td><td>  delete </td><td>   user or members of group can delete files in the directory                                                    
140 </td></tr><tr><td><strong>w</strong></td><td>  write  </td><td>   user or members of group can modify files in the directory  (i.e. change the contents of files)               
141 </td></tr><tr><td><strong>k</strong></td><td>  lock   </td><td>   user or members of group can lock files in the directory   (you will likely never use this)                   
142
143 </td></tr><tr><td><strong>a</strong></td><td>  admin  </td><td>   user or members of group can see and change permissions. It does <strong>not</strong> affect pre-existing subdirectories.
144 </td></tr></table>
145 </blockquote>
146 <p>
147 To add a user or group to the ACL for a given directory simply run <tt>fs setacl</tt> or <tt>fs sa</tt> as follows:
148
149 </p>
150 <pre>fs sa &lt;directory&gt; &lt;user or group&gt; &lt;permissions&gt;
151 </pre><dl><dt><tt>&lt;directory&gt;</tt></dt><dd>
152 can be an absolute or relative path, usually you will want <tt>.</tt>
153 </dd><dt><tt>&lt;user or group&gt;</tt></dt><dd>
154 can be any user or group. Some you probably want to know: system:anyuser means EVERYONE (the entire AFS-using world plus the entire world wide web), system:expunge is the daemon for MIT's delete/lsdel/undelete utilities to work in a given directory.
155 </dd><dt><tt>&lt;permissions&gt;</tt></dt><dd>
156
157 can be a string of the above letters (in any order) or any of the words <tt>read</tt>, <tt>write</tt>, <tt>all</tt> and <tt>none</tt> which are equivalent to <tt>rl</tt>, <tt>rlidwk</tt>, <tt>rlidwka</tt> and the empty string, respectively 
158
159 </dd></dl>
160 <p>
161 For example, if <tt>user</tt> wants his friends <tt>sipbtest</tt> and <tt>jarandom</tt> to be able to read and write files and anyone to be able to read files in his <tt>awesome_project</tt> directory, he might have a session that looks like this
162 </p>
163 <pre>user@host:~$ cd awesome_project/
164 user@host:~/awesome_project$ fs sa . system:anyuser read
165 user@host:~/awesome_project$ fs sa . jarandom write
166 user@host:~/awesome_project$ fs sa . sipbtest write
167 user@host:~/awesome_project$ fs la
168 Access list for . is
169 Normal rights:
170   system:expunge ld
171   system:anyuser rl
172   sipbtest rlidwk
173   jarandom rlidwk
174   user rlidwka
175 user@host:~/awesome_project$
176
177 </pre><p>
178 See also: <tt>man 1 fs</tt>, <tt>fs help &lt;command&gt;</tt>
179 </p>
180 <h2 id="CreatinganAFSGroup">Creating an AFS Group</h2>
181 <p>
182 The "normal" way to make an AFS group would be with a command similar to <tt>pts creategroup &lt;your user name&gt;:&lt;group name&gt;</tt> and then add people with <tt>pts adduser &lt;user&gt; &lt;full group name&gt;</tt>(e.g. If Donald Guy wanted to created a group for people to edit his www directory (including <tt>sipbtest</tt> and <tt>jflorey</tt>, he might use the following chain of commands <tt>pts creategroup fawkes:www ; pts adduser sipbtest fawkes:www; pts adduser jflorey fawkes:www; fs sa ~/www fawkes:www write</tt>
183
184 </p>
185 <p>
186 This method will work, but at MIT, it is much more common to use moira lists as a group. To create a new list, use the web interface at <a href="https://wserv.mit.edu:444/fcgi-bin/lc">https://wserv.mit.edu:444/fcgi-bin/lc</a>? to create a moira list, NOT A MAILMAN LIST and be sure to check the box for "Should this list be an AFS Group?" (to make an already existing moira list into an AFS group simply <tt>blanche -G &lt;list&gt;</tt>). After the servers update (which may take anywhere between 1 second and 10 minutes depending on the number of similar requests), the AFS group system:&lt;list name&gt; will exist in the athena.mit.edu cell. 
187 </p>
188 <p>
189 This is useful because one often wants the same certain people who can operate on files in a folder to be a mailing list. Thus, for example, it is possible to send mail to gnu@mit.edu and use system:gnu as an AFS group on ACLs. (it is also possible to make moira lists that are AFS groups, but not mailing lists).  
190 </p>
191 <p>
192 see also: <tt>man 1 pts</tt>
193
194 </p>
195 <h2 id="ControllingAccessfromtheWeb">Controlling Access from the Web</h2>
196 <p>
197 If you make a directory listable and readable by system:anyuser then it can be viewed by any user on the web via the urls mentioned <a href="#FromtheWeb">above</a>
198 </p>
199 <p>
200 Unfortunately, just because you add specific users to an AFS ACL does not mean they can see the folder when the access from the web. IS&amp;T, however, does provide a solution to this. First, make sure that the wanted directory is not readable by system:anyuser. Next <tt>fs sa &lt;dir&gt; system:htaccess.mit read </tt>. Then create a file named <tt>.htaccess.mit</tt> in that directory. In that file you can do three things, 
201
202 </p>
203 <ul><li>You can require that the user have valid certificates:
204 <pre>  &lt;limit GET&gt;
205   require valid-user
206   &lt;/limit&gt;
207 </pre></li></ul><ul><li>You can require the reader be (a) specific user(s), for example:
208 <pre>  &lt;limit GET&gt;
209   require user fawkes jflorey siptest jarandom
210   &lt;/limit&gt;
211
212 </pre></li><li>You can require that the reader be a member of one of certain moira groups (notice these are <strong>moira</strong> groups, there is no "system:". For example:
213 <pre> &lt;limit GET&gt;
214   require group sipb-staff sipb-prospectives
215  &lt;/limit&gt;
216 </pre></li></ul><p>
217 There after the users should be able to get to the folders at <tt>http<b>s</b>://web.mit.edu/&lt;locker&gt;/&lt;path to folder&gt;</tt> if they have certificates and no one should be able to reach it via http. Make sure to add yourself if you are going to be accessing it.
218
219 </p>
220 <p>
221 see also: <a href="http://web.mit.edu/is/web/reference/web-resources/https.html">http://web.mit.edu/is/web/reference/web-resources/https.html</a>
222 </p>
223 <h2 id="Troubleshooting">Troubleshooting</h2>
224 <h3 id="ImtryingtoaccessmyfilesfslasaysIshouldhavepermissionsherebutitstillsays:Permissiondenied">I'm trying to access my files, <tt>fs la</tt> says I should have permissions here, but it still says <tt>: Permission denied</tt></h3>
225 <p>
226 There are two likely possibilities. First, its likely that your tokens may have expired. To get new tokens, make sure you have valid kerberos tickets and then run <tt>aklog</tt>. Another possibility is that you have tokens but not for the correct cell. <tt>tokens</tt> will tell you what tokens you already have. In all likelihood, if you are reading this, you probably want <tt>aklog athena sipb</tt>. Finally, a third possibility is that your group membership has changed since you acquired tokens. Try running <tt>aklog -force</tt>
227
228 </p>
229 <h3 id="IdreallypreferthatnoteveryonecouldlistmyfileshowshouldIstopthis">I'd really prefer that not everyone could list my files, how should I stop this?</h3>
230 <p>
231 What you <strong>don't</strong> want to do is take away the l permission from <tt>system:anyuser</tt> because then no one will be able to get to your <tt>Public</tt> or <tt>www</tt> which you probably don't want. All told, there is no way to stop people on Athena from listing your files (unless you keep everything under <tt>Private</tt> or a similarly restricted directory). It is rather trivial to stop web users, however. A solution I recommend, if you have a website in <tt>www</tt>, is to make a page <tt>redirect.html</tt> (or similar) with the contents like:
232
233 </p>
234 <pre>&lt;html&gt;
235 &lt;head&gt;
236   &lt;meta http-equiv="Refresh" content="0; url=http://www.mit.edu/~&lt;lockername&gt;/"&gt;
237 &lt;/head&gt;
238 &lt;body&gt;
239   &lt;p&gt;Please go to my &lt;a href="http://www.mit.edu/~&lt;lockername&gt;/"&gt;www&lt;/a&gt;!&lt;/p&gt;
240
241 &lt;/body&gt;
242 &lt;/html&gt;
243 </pre><p>
244 and then doing a <tt>ln -s www/redirect.html index.html</tt> in the top level of the locker. Alternatively you can link index.html to a blank file in your <tt>Public</tt> or <tt>www</tt> (you can't simply it in the top level because its not readable there, this will result in a 403 Forbidden error).
245 </p>
246 <h3 id="Itwasaround6amonaSundaymorningandsuddenlyIcouldntaccessmyfiles">It was around 6am on a Sunday morning and suddenly I couldn't access my files</h3>
247
248 <p>
249 Yeah, most AFS servers restart weekly at 6 AM on Sunday.
250 </p>
251 <h3 id="ItisntSundayandIcantgettomyfiles">It isn't Sunday and I can't get to my files</h3>
252 <p>
253 There may be a non-scheduled AFS outage. Check <a href="http://3down.mit.edu">3down</a>, hopefully it will be back up soon :-(.
254 </p>
255 <h2 id="AdvancedTasks">Advanced Tasks</h2>
256 <h2 id="PuttingSoftwareinaLocker">Putting Software in a Locker</h2>
257 <p>
258 The Athena environment was designed to allow software to run on several architectures on the same network. On modern Athena, this means 32-bit x86s running Linux, 64-bit x86s running Linux, and SPARCs running Solaris. To accommodate these these various architectures AFS (at least on Athena) has a notion of what systems are compatible with the operating system. You can find these by running <tt>fs sysname</tt>.
259
260 </p>
261 <p>
262 The special variable @sys in a path corresponds to the first of these that matches. When a user runs <tt>add</tt>, <tt>/mit/&lt;locker&gt;/arch/@sys/bin</tt> is added to their PATH and <tt>/mit/&lt;locker&gt;/man</tt> or <tt>/mit/&lt;locker&gt;/arch/@sys/man</tt> is added to their MANPATH.
263
264 </p>
265 <p>
266 Primarily because of this fact, a typical locker is set up with the following sort of layout:
267 </p>
268 <pre>user@host:/mit/&lt;some locker&gt;$ tree -dL 2
269 .
270 |-- arch
271 |   |-- i386_linux22
272 |   |-- i386_linux24 -&gt; i386_rhel4/
273 |   |-- i386_rh9 -&gt; i386_linux24
274 |   |-- i386_rhel3 -&gt; i386_rhel4
275 |   |-- i386_rhel4
276 |   |-- sgi_65
277 |   |-- sun4x_510
278 |   |-- sun4x_57
279 |   |-- sun4x_58 -&gt; sun4x_510/
280 |   `-- sun4x_59 -&gt; sun4x_58
281 |-- bin -&gt; arch/@sys/bin
282 |-- include -&gt; arch/@sys/include
283 |-- info
284 |-- lib -&gt; arch/@sys/lib
285 |-- man
286    `-- man1
287
288 </pre><p>
289 Please note that the @sys variable should really be used ONLY in these convenience in symlinks. To make the folder in arch you usually want to either pick a more general architecture and set it up yourself or simply use the following command in the top level of the locker:
290 <tt>mkdir -p arch/$ATHENA_SYS/{bin,lib,include</tt>}. After making this folder, make the shortcut symlinks with commands similar to <tt>ln -s arch/@sys/bin bin</tt> (again, this is the <i>ONLY</i> time you should use @sys yourself). Other than that, its mainly just a matter of making sure to run configure with options like <tt>--prefix=/mit/&lt;lockername&gt;</tt> and <tt>--with-manpath=/mit/&lt;lockername&gt;/man</tt>. 
291
292 </p>
293 <p>
294 See also: <tt>man lockers</tt>
295 </p>
296
297 <h2 id="Acquiringanewlocker">Acquiring a new locker</h2>
298 <p>
299 While it is easily possible to make an AFS group for yourself, it is harder to get a new locker. If you want a locker for something official like a student group or a piece of software, send an email to <a href="mailto:accounts@mit.edu">accounts@mit.edu</a> explaining what you need it for and someone at IS&amp;T will let you know. If you feel it is something less official or you would just rather consider it a SIPB project (perhaps get other SIPB people involved) send an email to <a href="mailto:sipb-afsreq@mit.edu">sipb-afsreq@mit.edu</a> instead. In either case, if a mount point under <tt>/mit</tt> fails to get set up for you, let <a href="mailto:hesreq@mit.edu">hesreq@mit.edu</a> know.
300 </p>
301
302    
303 <h2 id="SeeAlso">See  Also</h2>   
304 <p>SIPB's older guide, <a href="http://stuff.mit.edu/afs/sipb.mit.edu/project/doc/afs/html/afs-new.html">Inessential AFS</a>  <br /> OpenAFS documentation  at <a href="http://www.openafs.org/">http://www.openafs.org/</a>
305 </p> 
306